这些小活动你都参加了吗?快来围观一下吧!>>
电子产品世界 » 论坛首页 » 综合技术 » 基础知识 » 数据存储系统的IOPS性能与哪些因素有关?

共2条 1/1 1 跳转至

数据存储系统的IOPS性能与哪些因素有关?

高工
2021-05-18 15:26:32     打赏

image.png

IOPS(Input/Output Operations Per Second)故名思意就是数据存储系统每秒能完成的I/O读写次数,即单位时间内系统能处理的I/O请求数量,是一个用于计算机数据存储性能测试的量测指标。这里的存储系统可以是单块硬盘或者单台设备,也可以是包含多台设备的一套存储网络系统,比如SAN或者分布式多节点系统等。

image.png

1、系统的硬盘数量和类型

(1)硬盘数量即一套存储系统能同时管理和运行的硬盘数量是多少块,一般情况下,硬盘数量越多,整体IOPS性能会越好,可以简单的理解为堆叠。

(2)硬盘的类型,具体包括硬盘的接口类型,机械硬盘还是SSD硬盘等。机械硬盘的转速、容量(存储密度)、磁头寻道时间、旋转延迟,数据传输时间等,都和系统的IOPS性能相关联。而固态硬盘SSD是一种电子装置,避免了传统HDD磁盘在寻道和旋转上的时间花费,存储单元寻址开销大大降低,因此IOPS可明显提高。

2、网络和接口速度

对一套存储系统来说,应用服务器和存储设备之间的网络带宽和网络接口速度以及多节点情况下各存储节点之间所使用的网络速度也都是影响IOPS性能的重要因素。

3、应用的随机读写或者顺序读写I/O比例

根据实际应用情况可将IOPS细分为如下几种情形: 

(1)读写混合以及随机I/O负载情况下的IOPS,这个与实际I/O情况最为相符,大多数应用是要关注此指标。

(2)100%随机读负载情况下的IOPS(Random Read IOPS)。

(3)100%随机写负载情况下的IOPS(Random Write IOPS)。

(4)100%顺序读负载情况下的IOPS(Sequential Read IOPS)。 

(5)100%顺序写负载情况下的IOPS(Sequential Write IOPS)。

以上每种不同情况下的IOPS性能差别是很大的,比如一般顺序的读写肯定比随机读写的IOPS值要高,顺序寻址时间比随机的快,如下图所示。

image.png

此外,传统的机械硬盘读取和写入时间差不多,而大部分闪存SSD的写入速度比读速度要慢很多,原因是无法写入一个之前写过的区域,会强制引导垃圾数据回收功能,但总体SSD性能肯定要好于HDD。

4、Cache命中率

Cache命中率对实际IOPS有决定性的影响,Cache命中率取决于数据分布、Cache SIZE大小、数据访问规则以及Cache算法,我们这里把这些内部原理都省略掉,只强调:对于一个存储系统来说,读Cache的命中率越高,一般就表示它可以支持更多的IOPS。那么什么叫命中率呢?终端用户访问加速缓存时,如果缓存驻了要被访问的数据时就叫做命中,如果没有的话需要回到原设备提取,就是没有命中。命中率=命中数/(命中数+没有命中数),缓存命中率也是判断加速效果好坏的重要因素之一。

5、RAID或文件系统模式

包含传统的RAID以及分布式文件系统等,对于顺序读写而且写性能要求高、有冗余要求的应用,选择RAID1或RAID10。顺序写要求高的数据, 应单独在一个RAID组中,避免来回寻址,典型的有Oracle的 redo log、 Exchange 的 Transaction log等日志型数据。对于有额外备份措施的数据、且没有冗余的要求,,读写性能要求高的选择RAID0,比如实时数据采集。对于读要求高于写要求、随机写要求不高、且容量上有考虑的,选择RAID5。对于分布式软件定义存储系统,小文件类和随机读写频繁的选择副本机制,其他的可选择纠删码模式。

6、队列深度

主要指端口队列中等待服务的I/O请求数量。如果I/O请求的数量超过了最大队列深度,则该事务将在一段时间无法重新尝试。使用SAS和SATA,排队的I/O请求有一定的局限,但NVMe在大大增加队列深度方面是一个重要的进步,NVMe可以提供海量队列深度。其实加大硬盘队列深度就是让硬盘不断工作,减少硬盘的空闲时间。

7、应用线程数

线程数和IOPS的关系不言而喻,一个应用同时工作的线程越多,那么自然需要更多的I/O并发,所以就需要更高的IOPS来支撑,反之亦然。

image.png

1、利用测试工具

对于测试工具来讲,一个请求从主机下发到存储,存储完成后返回到主机,这才算是I/O的一个完整周期。存储设备制造商提出的IOPS性能不保证,是指实际应用下的性能,因为实际情况多种多样。但IOPS可以通过测试程序来模拟一些不同的业务情形,建立测试模型,然后按照测试模型来实际运行,以便找到最佳的存储配置。

2、根据经验和行业参考值来估算

每种类型的硬盘都有在特定环境下的IOPS参考值或者理论值。如果预估IOPS,最主要是读写比例和RAID模式的写惩罚,要有一个固定参考值,才能估算出较为接近的数值。

硬盘的IOPS参考值以及总的可用IOPS的计算公式如下:

单硬盘IOPS = 1000ms / ((磁盘旋转延迟时间(ms) +  磁头寻道时间(ms))

系统总的IOPS=硬盘数量 × 单磁盘IOPS

系统总的可用IOPS=(系统总的IOPS×写百分比÷RAID写惩罚)+(系统总的IOPS×读百分比)

RAID5写惩罚为4,RAID6写惩罚为6,RAID10写惩罚为2,RAID1写惩罚为2,RAID0写惩罚为1,分布式多节点的以此类推。

个人觉得如果不是那种每秒钟都有几十次以上的在线交易系统,绝大部分业务系统的IOPS需求都是比较容易满足的。如果能估算出应用总的IOPS需求,那么就可以计算出需要多少块硬盘了。

image.png

对于数据块很小并且随机读写频繁的应用,IOPS是关键衡量指标,比如OLTP(Online Transaction Processing)在线交易处理。而对于大数据块并且是顺序读写的应用,如VOD(Video On Demand)视频类需求,这种应用则更加关注吞吐量指标(Throughput),这时候IOPS指标就不是那么的重要了。

例如:读取10000个1KB文件,用时10秒,虽然Throught(吞吐量)=1MB/s,但是IOPS=1000 ,这种场景下对于追求IOPS性能的应用就有意义。

若,读取1个10MB文件,用时0.2秒,IOPS只等于5,但是Throught(吞吐量)=50MB/s,这种场景下对于追求吞吐量的应用就有意义。

因此,并不是每个应用都要追求高的IOPS性能的,也就是不是每套存储系统的性能都是以IOPS作为唯一的衡量指标,要根据应用的数据块大小以及应用的特性来综合判断哪个指标是最需要关注的!

转贴自网络



高工
2021-05-18 23:53:35     打赏
2楼

因素还是蛮多的


共2条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]