2013年12月29日日曜日

ZFSの空き容量には気を付けよう

このエントリーをはてなブックマークに追加
空き容量の少ない状態で運用してはいけないことは、ZFSを運用する際の常識です。ファイルシステムに書き込むときにコピーオンライトするため、必ずコピーが行われます。空き容量に余裕がないと連続する空き領域を確保できず、書き込みが致命的に遅くなります。そして削除のときもメタデータのコピーが必要なので、空き容量が少ないと削除も致命的に遅くなります。空き領域が足りないのに削除が遅いので詰みます。

ZFSで使用量が90%を超えるのはかなり危険です。しかし、ftp.jaist.ac.jpのZFSの使用量は90%を超えても何の問題もなく、95%に達してもなお問題ありませんでした。書き換えが少ないなら、ぎりぎりまで使っても平気なのかと思っていたのですが、そんなに甘くはありませんでした。Fedora 20をミラーした直後に書き込み性能が大きく低下し、ほかのミラーがとどこおるようになりました。

そこで空き領域を確保するために、まずobsoleteなFreeBSDのpkgngの非公式なミラーと、Scientific Linuxのバージョン4以前のファイルを削除しました。DebianのISOイメージは、古いものから最新のビルドまであらゆるものをミラーしていたのですが、最新のリリース版を残して削除しました。これで使用量は85%まで減りました。

ストレージの容量を増やす方法については現在検討中です。増えたらDebianのすべてのISOイメージのミラーは復活させるつもりです。

2013年12月17日火曜日

UltraSPARC T1のシングルスレッド性能の低さ

このエントリーをはてなブックマークに追加
小ネタです。先日のプレゼンの中で、UltraSPARC T1のシングルスレッド性能が低いため、日ごろの管理作業でレスポンスが遅くイライラすると言いました。この遅さを表現するために「いつの時代のCPUだよ」と言ったのですが、あまりいい表現ではなかったです。より的確に表現するなら、過負荷のサーバーにログインして作業しているときの「あれ」です。ftp.jaist.ac.jpの場合は、CPUの負荷が50%程度で普通に動いているときでも、ログインするとレスポンスが「あれ」なんです。どれだけイライラするかおわかりいただけますよね。

2013年12月10日火曜日

第九回カーネル/VM探検隊で発表してきました

このエントリーをはてなブックマークに追加
12月8日に行われた第九回カーネル/VM探検隊でftp.jaist.ac.jpに関する話をしてきました。主にUltraSPARC T1について話しました。わりと変わったアーキテクチャのCPUなので、この会に集まる低いレイヤーに興味がある人たちに楽しんでもらえると思いまして。でも、こんなマイナーなCPUの話題を選んだのに、次の発表者と話題がかぶってしまいました。次の方の話題がUltraSPARC T1のオープンソース版のOpenSPARC T1だったんですよ。これがカーネル/VM探検隊のおもしろいところですね。



2013年10月11日金曜日

ログファイルの圧縮方法

このエントリーをはてなブックマークに追加
以前紹介したのですが、ftp.jaist.ac.jpのアクセスログの圧縮にはpbzip2を使っています。最初はgzipを使っていましたが、アクセス数の増加とともにログが大きくなって、ディスク容量を圧迫するようになってきたのでbzip2に切り替えました。

2013年9月2日月曜日

rsync冬のBAN祭り

このエントリーをはてなブックマークに追加
去年の年末にrsyncのアクセス数を減らす対策をした話を書くのを忘れていました。以前の分析で、rsyncはアクセス数のわりにストレージに大きな負荷を掛けていることがわかったので、アクセス数を減らす対策を取りました。

2013年6月21日金曜日

Linux Mintのミラーを再開しました

このエントリーをはてなブックマークに追加
Linx Mintのミラーを再開しました。実は一か月くらい前に再開したのですが、なかなか気付いてもらえないものですね。ISOイメージはnocodecsだけです。リポジトリはLinux MintLinux Mint Debianの両方をミラーしています。 完全なISOイメージの配布は違法なのでミラーしていません。必要なら海外からダウンロードしてください。

完全なISOイメージを配布できないのはlibdvdcssとw32/w64codecsが含まれているからです。libdvdcssの配布は不正競争防止法に触れるのでできません。w32/w64codecsに含まれているWindowsのDLLは、再配布が禁止されているプロプライエタリなものなので配布できません。

nocodecsに含まれているMPEG LAの特許を含むコーデックについては、ほかのディストリビューションでも普通に配布しているので、そのまま配布します。経済活動の一環としての配布ではないので、特許の「業としての実施」に当たらないと考えています。

2013年3月24日日曜日

L2ARCの容量を増やしてみた

このエントリーをはてなブックマークに追加
最近、ftp.jaist.ac.jpのストレージの負荷が限界に達していて、サービスの品質がかなり低下していました。CPUやネットワークではなくストレージが先に限界に達したのは、以前説明したとおり性能よりも容量を重視してRAID-Zを組んであるからです。ストレージの負荷を減らすために、メモリが192GBのサーバーにリプレースしてARCを増やす予定でしたが、準備に時間が掛かるので現行のサーバーのL2ARCを増やしてみました。

L2ARCとして追加したのは4つのPlextor M5 Pro 512GBです。これまでのL2ARCは4つのIntel X25-M 160GBで640GBでした。これが約2.7TBに増えたことになります。現在、L2ARCは約1.3TBまで埋まっていて、ヒット率は88%でストレージの負荷は30%です。先週の同時間帯のL2ARCのヒット率は73%でストレージの負荷は70%でした。L2ARCミスが27%から12%に減ったので、ストレージの負荷が半分以下になっています。これでサービスの品質はかなり上がったはずです。

2013年3月22日金曜日

計画停電にともなうサービス停止のお知らせ

このエントリーをはてなブックマークに追加
3月23日はJAISTで計画停電が予定されているため、ftp.jaist.ac.jpは6時頃から18時頃までサービスを停止します。ご迷惑をお掛けしますが、あらかじめご了承願います。

2013年2月13日水曜日

Debianリポジトリの設定方法

このエントリーをはてなブックマークに追加
先日ftp.jaist.ac.jpのDebianリポジトリのディレクトリ名をDebianからdebianに変更しました。正確にはDebianからdebianに張ってあったシンボリックリンクを削除しました。この変更に対応するには、/etc/apt/sources.listのDebianをdebianに直すより、CDNミラーに変更するほうが良いです。
deb http://ftp.jp.debian.org/debian/ squeeze main contrib non-free
ほとんどの場合ftp.jp.debian.orgはftp.jaist.ac.jpを指します。ftp.jaist.ac.jpが止まっていれば他のミラーに切り替わります。この設定のほうが便利です。

2013年2月11日月曜日

Raspberry PiのSDカードイメージのミラーを始めました

このエントリーをはてなブックマークに追加
Raspberry PiのSDカードイメージのミラーを始めました。downloads.raspberrypi.org/images/以下をftp.jaist.ac.jp/pub/raspberrypi/にミラーしています。ミラー元のイメージファイルのURLは、CDNからダウンロードするページにリダイレクトされますが、ミラーからは直接ダウンロードできます。このミラーを実現するために書いたPerlスクリプトを公開しています。これを用いると同様のミラーを簡単に提供できます。

2013年1月22日火曜日

RAID-Zの読み込みのIOPSはなぜ低いのか

このエントリーをはてなブックマークに追加
現在ftp.jaist.ac.jpはストレージの性能不足に悩まされています。ピーク時にストレージのI/Oが飽和して、スループットがやや低くなることがあります。ストレージは11本のHDDで組んだRAID-Z2を2組たばねて構成しています。読み込みのIOPSは、HDDが22本あるのに約600しか出ません。HDDのIOPSは約180出ているので、全体のIOPSはHDDの約3.6本分になります。

これはあくまでもキャッシュなしの性能です。読み込みのI/Oの98%はARCかL2ARCのいずれかにヒットするので、キャッシュ込みのIOPSは約30,000となります。最近はこれでも足りなくなっているので、死蔵しているメモリが192GiBのサーバーに移行して、ARCを増やして性能を改善する予定です。

2013年1月14日月曜日

cdimage.debian.org/cdimageのミラーを始めました

このエントリーをはてなブックマークに追加
cdimage.debian.org/cdimageのミラーを始めました。ミラー先はftp.jaist.ac.jp/pub/Linux/debian-cdimageです。このディレクトリには開発中のバージョンのISOイメージがあります。ミラー元には古いリリース版のISOイメージもありますが、容量の都合でミラーしていません。