これは英語版の和訳です。 内容が重複する日本語の記事を2つ削除しました。
ZFSのL2ARCは名前こそL2ですが、CPUのL2キャッシュとは大きく異なっています。次の図はZFSのキャッシュの構造を示しています。L2ARCはHDDからARCに読み込まれたブロックのみをキャッシュします。ARCのHDDに書き込まれようとしているダーティなブロックはキャッシュしません。L2ARCとHDDの間のデータ転送はありません。ZFSは要求されたブロックがARCになくL2ARCにあったときに、L2ARCからARCに読み込んで返します.
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、
このサーバにまつわるよしなしごとを語ります。
English versions of some posts on another blog.
2011年12月4日日曜日
大きすぎるl2arc_write_maxはよくない
この記事は全面的に間違えています。この記事はZFSのL2ARCの性能を向上させる方法として以下のものを紹介しています。
- ZFSのレコードサイズを128KBよりずっと小さなものにする
- l2arc_write_maxをより大きくする
- l2arc_noprefetchを0に設定する
2011年12月1日木曜日
L2ARCの効果を分析してみた
「L2ARCを外してみた」という記事を書き始めたのは、I/Oの帯域とヒット率からL2ARCは効果がないと思ったからです。しかし結論は逆になりました。ftp.jaist.ac.jpのワークロードは主にランダムリードです。L2ARCはランダムリードの性能を向上させるとzpool(1M)に書いてあるので、評価はIOPSで行うべきでした。
2011年11月29日火曜日
ストライピングはなぜ速いのか
普通のRAIDでもRAID-Zでも複数のディスクにデータがストライピングされます。ディスクの本数を増やせばシーケンシャルリードは速くなると一般に言われていますし、実際そうです。ランダムリードとはいえ、ストライピングされているのにRAID-Zが遅いことに納得できない人が多いようです。何の説明が足りないか考えていて、ハードディスクの遅延を忘れていたことに気が付きました。僕もそれを忘れていたため誤った説明をしていました。
2011年11月26日土曜日
L2ARCを止めてみた(後編)
前編に書いたように、pcacheをARCでキャッシュしない設定でデータを取ってみたところ、ARCのヒット率は93.4%から59.8%にL2ARCは63.5%から3.6%に激減しました。pcacheはほぼ変わらず59.8%です。ARC、L2ARCともにヒットしたデータは、ほとんどpcacheからもたらされたものであったことがわかります。L2ARCにいたってはほとんどがそうでした。このときの処理の流れを示したのが以下の図です。
2011年11月22日火曜日
L2ARCを止めてみた(前編)
「RAID-Zは遅いよ」で書いたように、ZFSのSSDによるキャッシュとしてL2ARCと自作のpcacheを用いていています。SSDはIntel X25-M 160GBが4個あり、L2ARCとpcacheに2個ずつ割り当てています。pcacheはARCでキャッシュしています。pcacheの役割はARCとL2ARCが埋まるまでの時間かせぎなので、それでいいと思っていました。
2011年11月20日日曜日
Solaris 10 08/11 (u10)へのアップグレードではまった
以前からpcacheのZFSで、消したファイルの領域が解放されない現象に悩まされていました。ファイルをオープンしているプロセスがいるならわかるのですが、サービスを全部止めてオープンしているプロセスがいなくなっても空き領域が増えないのです。その結果、duで確認した使用量とdfで確認した使用量がどんどん乖離していきます。
2011年11月14日月曜日
RAID-Zは遅いよ
以前紹介しましたが、ftp.jaist.ac.jpのストレージは2TBのDeskstar 7K2000を24個積んでいます。ZFSの構成は、11個ずつでRAID-Z2を2つ作りストライピングしています。残りの2個はRAID-Z2のスペアです。この構成の問題は読み込みのIOPS (1秒間あたりに可能な読み込み回数)がとても少ない低いことです。
2011年8月30日火曜日
sourceforge.netのミラーサーバに復帰しました
昨晩からsourceforge.netのミラーサーバのリストにftp.jaist.ac.jpが復帰しました。Geeknetから求められた書類にサインするための学内の事務手続きがかなり難航して時間が掛かってしまいました。日本の皆様にはご不便をお掛けして申し訳ありませんでした。私自身も一ユーザとして不便に思っていたので復帰できてうれしいです。
2011年8月17日水曜日
トラフィックの新記録が出ました
昨日のFirefox 6のリリースで、ftp.jaist.ac.jpが流したトラフィックの新記録が出ました。5分平均で3835.9Mbpsがその記録です。実際には一時的に4Gbpsの上限にぶつかっています。23時過ぎにトラフィックがガクッと落ち込んでいるのは、上限にぶつかったためBouncerから死亡判定を受けてトラフィックが割り当てられなくなったためです。
2011年7月25日月曜日
sourceforge.netのミラーについて
7月22日からsourceforge.netのミラーサーバのリストからftp.jaist.ac.jpが外されています。sourceforge.netを運営するGeeknetから、ミラーサーバにおける個人情報の取り扱いを、アメリカとEUとスイスの法律に基づいて行う旨の書面にサインして返送することを求められたのですが、学内の手続きに時間が掛かってしまったため外されてしまいました。手続きは進んでいますので、近日中に復帰すると思います。ftp.jaist.ac.jpが使えない間は、National Center for High-Performance Computingが提供している台湾のミラーサーバを使うのがよいと思います。
[7月26日]正確な状況を記載しました。
[7月26日]正確な状況を記載しました。
2011年3月9日水曜日
SSD cache for Apache httpd
Our server has four SSDs (Intel X25-M 160GB). We are using two for L2ARC of ZFS. We need another cache just after boot up because L2ARC is volatile. We create an original caching mechanism named pcache (periodic file caching), and use two SSDs for it.
2011年3月8日火曜日
HTTPリクエストに基づくファイルキャッシュ機構
HTTPリクエストに基づくファイルキャッシュ機構のソースを公開しました。リクエストをしばらく集計してからキャッシュするファイルを決めて、非同期にファイルをSSDにキャッシュするので、mod_disk_cacheのようにリクエスト時にクライアントを待たせることがありません。技術的な概要は前に説明した通りです。この説明と大きく異なるのは、rsyncを実行しないで自前でファイルを更新することです。
2011年1月17日月曜日
Solaris 10のSMFの話をしよう
このエントリはカーネル/VM Advent Calendarの42日目のために書きました。
Solaris 9ではOSの起動時や終了時の処理は、/etc/init.dに格納されたシェルスクリプトによって行われます。実行される順序は、/etc/rc?.dに作成されたシェルスクリプトへのリンクの名前で決まります。リンクの名前は、開始のための処理はS、終了のための処理はKで始めて、次に2桁の数字を続けて処理の順序を制御します。
他のSystem V系のUNIXや、System V互換のinitを採用しているLinuxディストリビューションでも同様の方法が用いられています。この方法では処理の依存関係の管理が困難ですし、依存関係のない処理を並列に実行して起動時間を短縮することもできません。
Solaris 9ではOSの起動時や終了時の処理は、/etc/init.dに格納されたシェルスクリプトによって行われます。実行される順序は、/etc/rc?.dに作成されたシェルスクリプトへのリンクの名前で決まります。リンクの名前は、開始のための処理はS、終了のための処理はKで始めて、次に2桁の数字を続けて処理の順序を制御します。
他のSystem V系のUNIXや、System V互換のinitを採用しているLinuxディストリビューションでも同様の方法が用いられています。この方法では処理の依存関係の管理が困難ですし、依存関係のない処理を並列に実行して起動時間を短縮することもできません。
2011年1月9日日曜日
Ubuntuのアップデートを高速化する方法
Ubuntuのアップデートでパッケージのダウンロードが遅いのは、デフォルトで設定される「日本のサーバ(jp.archive.ubuntu.com)」が遅いからです。サーバの変更方法を覚えてもらうために、意図的に性能を落としているそうです。そこで、アップデートに用いられるサーバを「日本のサーバ」から変更する方法を紹介しておきます。対象のバージョンは10.10です。
登録:
投稿 (Atom)