新しいストレージ構成について

前回述べたように性能には苦しめられたものの、ストレージをiSCSIのボリュームに一度移行したおかげで、HDDのストレージを再構築できました。今回は、24スロットのSASエンクロージャーの2TBのHDDを4TBに交換して、11本構成のRAID-Z2が2組とスペア2本だったのを、6本構成のRAID-Z2を4組にしました。容量は36TBから64TBに増えました。

今回のストレージの性能は前と比べて2倍しかありません。RAID-Zは1組でHDD 1本分のIOPSしか出ません。前は2組で2本分だったのが今回は4組なので4本分です。ミラーにすれば読み込み性能は24本分で12倍になりますが、性能が過剰なのと容量が12TBしか増えないこともあって、この構成になりました。今回も容量重視で組んだストレージの性能の低さを、キャッシュでカバーするもくろみです。

ftp.jaist.ac.jpの場合、ファイルシステムのI/Oはほとんどキャッシュにヒットします。去年12月の平均では、ARCに91.9%ヒットしていて、L2ARCに75.1%ヒットしていました。トータルでは98.0%です。キャッシュがこれだけ効いていても、去年後半は日中のストレージの負荷が上限に張り付いていました。それでも性能を2倍にしか上げなかったのは、サーバーのメモリが64GBから192GBに増えたので、キャッシュのヒット率が上がると考えたからです。

ところが、現在のキャッシュのヒット率は以前より下がっています。ストレージ移行後の2月23日から26日までの平均で、ARCには95.7%ヒットしていますが、前回述べたようにL2ARCのヒット率が低く24.1%しかヒットしていません。トータルでは96.7%です。しかし、これはまだチューニングの余地があると考えています。

ストレージの性能とは別に、4TB×6本のRAID-Z2にはresilverが現実的な時間で終わらない懸念があります。しかし、Solaris 11.2でresilverが高速化したとの記事があったので問題ないと判断しました。実際に、容量が半分埋まった状態でresilverを掛けてみたところ、平均的なワークロード下で29時間で終わりました。これなら終わる見込みが立たないという事態は避けられそうです。