RAID-Zの読み込みのIOPSはなぜ低いのか

現在ftp.jaist.ac.jpはストレージの性能不足に悩まされています。ピーク時にストレージのI/Oが飽和して、スループットがやや低くなることがあります。ストレージは11本のHDDで組んだRAID-Z2を2組たばねて構成しています。読み込みのIOPSは、HDDが22本あるのに約600しか出ません。HDDのIOPSは約180出ているので、全体のIOPSはHDDの約3.6本分になります。

これはあくまでもキャッシュなしの性能です。読み込みのI/Oの98%はARCかL2ARCのいずれかにヒットするので、キャッシュ込みのIOPSは約30,000となります。最近はこれでも足りなくなっているので、死蔵しているメモリが192GiBのサーバーに移行して、ARCを増やして性能を改善する予定です。

ストレージの読み込みのIOPSが低いのは、RAID-Z2を11本のHDDで組んでいるからです。性能よりも容量を重視してあえてそうしてあります。以前RAID-Zを組むHDDの数を増やしても読み込みのIOPSが増えないことを説明しましたが、今回はデータをもとにこれを説明します。

以下に示したのは、RAID-Z2の1秒間の読み込みのI/Oの回数をサイズごとに集計したものです。ZFSのブロックサイズは、セクターサイズの512バイト(AFTなら4096バイト)から128Kiバイトまで可変なのでI/Oのサイズが変化します。ftp.jaist.ac.jpは大きなファイルが多いので一番多いのは128Kiバイトのブロックです

RAID-Z2	size	count
	2048	1
	6144	1
	101888	1
	3072	2
	5632	2
	8704	2
	53760	2
	3584	3
	5120	4
	512	7
	8192	7
	4608	9
	131072	204
	total	245

以下に示したのは、HDDの1秒間の読み込みのI/Oの回数をサイズごとに集計したものです。

HDD	size	count
	1536	1
	5120	1
	7680	1
	11776	1
	43520	1
	3072	2
	2048	4
	5632	5
	73216	5
	2560	6
	58880	6
	4096	7
	29184	7
	11264	8
	6144	9
	58368	9
	1024	81
	512	212
	14848	795
	14336	990
	total	2151

RAID-Z2のパリティを除くHDDの数9で128Kiバイトを割って、セクターサイズの512で丸めたのが、一番多いブロックの14336バイトです。二番目に多い14848バイトはそれに512を加えたものです。合計を見るとRAID-Z2の約9倍のI/Oが行われているのがわかります。

以前に説明したとおり、一つのブロックのRAID-Zへの書き込みは、分割したブロックがセクターサイズより小さくならない限り、すべてのHDDに分割されます。読み込むときにはパリティを除いたすべてのHDDを読む必要があります。そのためHDDの数を増やせばその分多くのI/Oが発生します。HDDの数を増やしてもRAID-ZのIOPSが増えないのはそのためです。

普通のRAIDの場合はストライプサイズをI/Oのブロックサイズと合わせれば、一つの読み込みに対してHDDへのI/Oは一つしか発生しません。これがRAID-Zととの大きな違いです。