11月30日のトラブルについて

遅くなってしまいましたが、11月30日に起きたトラブルについて報告しておきます。11月30日の日中にftp.jaist.ac.jpの性能が激しく劣化する現象が起きました。

その日はJAISTの電源工事があって、電源が一系統ずつ一度切れることになっていました。SunFire T2000とHDDのエンクロージャーの電源は二重化してありましたが、SSDを収めたエンクロージャーは二重化していませんでした。つまり電源工事中に電源供給が絶たれることになります。

そこで電源が切れても問題が起きないように、前日の夜からSSDを切り離しました。SSDが使えないとZFSのL2ARCが使えません。L2ARCなしで一日乗り切ろうとしたわけです。ところが日中にストレージの性能が足りなくなり、ftp.jaist.ac.jpの性能は大幅に劣化することになりました。

以前はL2ARCがなくてもストレージの性能は足りていました。しかし9月の末からストレージの負荷がかなり増えています。SourceForgeのアジアのミラーが減って、ftp.jaist.ac.jpへのアクセスが増えたからです。ARCのヒット率は93%と依然として高いのですが、I/Oの絶対数が増えたため、ARCから外れたI/OがHDDで処理可能なIOPSを超えてしまいました。