2010年11月18日木曜日

SolarisでAMD SP5100のAHCIモードが使えない

このエントリーをはてなブックマークに追加
新しいサーバにとりあえずOpenIndianaをインストールしようとしたのですが、SATAをAHCIモードにするとハードディスクを認識しません。Solaris 11 Expressも試してみたのですがだめでした。同じチップセットのDellのPowerEdge R715でSolarisは動くことになっているので、HCLのデータを見てみたのですがIDEモードで動かしていました。

ロープロファイルブラケットを作ってみた

このエントリーをはてなブックマークに追加
新しいサーバ用のNICとしてIntel X520-DA2を2枚購入しました。X520-DA2は10GbpsのSFP+を2ポート備えているカードです。他と比べてずっと安かったのでDellから購入したのですが、ここで問題が発生しました。Dellから購入したカードにはロープロファイルブラケットが付いていなかったのです。カードはロープロファイルに対応しているのにブラケットが付いていないとは思いませんでした。このカードをオプションで選択できるDellのサーバは、フルハイトのスロットを持っているので付いてないんですね。しかし、先日紹介したベアボーンはロープロファイルスロットしかないので刺さりません。
Intel X520-DA2
刺さりません

2010年11月10日水曜日

新しいサーバを構築中

このエントリーをはてなブックマークに追加
今のSun Fire T2000はCPUの処理能力が不足気味なので、処理能力の高いサーバに置き換えることにしました。UltraSPARC T2のT5120が1台あるのですが、メモリが16GBしかないので増設する必要があります。しかし純正メモリはとても高いし、適当なメモリを刺したら保守が効かなくなります。そこで新たにx86サーバを1台作ることにしました。

2010年9月27日月曜日

IPv6に対応しました

このエントリーをはてなブックマークに追加
第二十六回 WIDE賞(2010年秋)をもらいました。表彰文はネタなので本気にしないでください。そもそも熱と電源で困ったことはないんですよ。ディスク容量とCPUの処理能力とメモリ容量の不足とは長い間戦ってきましたけど。表彰文の後半は我々への要求なので、Zinくんがその一つであるIPv6対応をしました。アドレスは2001:200:141:feed::feedです。それっぽいアドレスですね。

2010年9月17日金曜日

BufferedLogsは効果絶大

このエントリーをはてなブックマークに追加
Apache HTTP ServerのBufferedLogsディレクティブは、マニュアルでexperimentalとされていたので今まで試していませんでした。BufferedLogsディレクティブを有効にすると、リクエストごとにログを出力せずに、いったんバッファに蓄えてまとめて出力するようになります。

2010年9月10日金曜日

ブロワが壊れた

このエントリーをはてなブックマークに追加
実は1か月以上前から、Sun Fire T2000の背面のファントレイのブロワが壊れたままになっていました。ファントレイは以下の写真のような部品です。壊れたままになっていたのは、直したくても直せなかったからです。

2010年9月9日木曜日

ftp.jaist.ac.jpの最も忙しい一日

このエントリーをはてなブックマークに追加
昨日、Firefox 4.0β5/3.6.9/3.5.12、Thunderbird 3.1.3/3.0.7、SeaMonkey 2.0.7が同時にリリースされました。そのせいでftp.jaist.ac.jpには、これまでにないほど高い負荷が掛かっていました。

2010年8月1日日曜日

kstatは便利

このエントリーをはてなブックマークに追加
MRTGでサーバを監視するときには、普通はサーバにnet-snmpをインストールしてSNMPで情報を取得します。しかし、TCPのコネクション数が1万を超えると、snmpdがTCP-MIBのコネクションの情報を収集するためにCPUを浪費します。以前紹介したようにキャッシュを増やすと、かなり改善されますが浪費はします。TCP-MIBを外したsnmpdを作るという手もありますが、ftp.jaist.ac.jpではMRTGをローカルで動かしているのでSNMPにこだわる必要はありません。

2010年7月24日土曜日

パイプ経由のログ出力はCPUを浪費する

このエントリーをはてなブックマークに追加
Apache HTTP Serverでログをパイプ経由でプログラムに出力すると、リクエストを処理するたびにログを処理するプログラムへのコンテキストスイッチが起こります。そのためアクセスが増えたときにCPUをかなり浪費します。UltraSPARC T1は32個のコンテキストを保持できて、1クロックでコンテキストスイッチできるので問題ないと思っていました。しかし、CPUの使用率が100%に達して、さらに負荷が掛かる状況になると違いました。

ftp.jaist.ac.jpにはパイプ経由のログ出力が3つあります。エラーログとアクセスログのrotatelogsへの出力と、以前紹介したSSDキャッシュのためのプログラムへの出力です。アクセスが多いときには最後の1つを止めていました。これを止めないと13,500クライアント、660リクエスト/秒が限界で、ロードアベレージが10,000を超えます。止めれば17,000クライアント、790リクエスト/秒までいけます。rotatelogsをやめてファイルにログを直接出力するようにすれば、さらに余力ができるはずです。今後はFirefoxのアップデートで欧米からのアクセスがなくなるので、そこまで逼迫することはないでしょうけど。

2010年7月22日木曜日

Mozilla.orgのミラーサーバの選択方法が変わりました

このエントリーをはてなブックマークに追加
何度か紹介していますが、Mozilla.orgのミラーサーバの選択は、各サーバのウェイトと地域に基づいて行われており、アジアのトラフィックの15%はアジアのサーバに割り当てられています。しかし、この設定では日本からグルジアやトルコにつながる確率も上がるため、ダウンロードの高速化にはあまり貢献しません。

北アメリカとヨーロッパはこの比率が50%になっていました。しかし、本日未明にこの地域の人達が、ほとんどのミラーサーバはこれらの地域にあるのだから100%でいいのではないかと言い出して、その通りに設定されました。

アジアは域内の接続性がよくないので単に比率を高めても意味がありません。それはMozilla.orgの担当者も認識していて、中国は別の一つの地域にしてあると言うのです。それなら日本も一つの地域にして、日本のトラフィックは100%日本に振ってくれないかと提案したら、この提案が通りました。

今日からはFirefoxやThunderbirdのダウンロードやアップデートは、国内のミラーサーバを介して行われるようになります。そして国内のミラーサーバの管理者は、深夜に北アメリカやヨーロッパから押し寄せるトラフィックに悩まされずに安眠できるわけです。これはうれしい。

2010年6月24日木曜日

ロードアベレージが10,000を超えた

このエントリーをはてなブックマークに追加
昨日Firefox 3.6.4と3.5.10がリリースされたのですが、今回はCPUが忙しかったです。何度かロードアベレージが10,000を超えました。

2010年5月28日金曜日

ip_squeue_bindは0にするといいらしい

このエントリーをはてなブックマークに追加
先日増設したネットワークカードでCPUの負荷が偏る問題を検討していてわかったのですが、カーネルパラメータのip_squeue_bindはsun4vでは0にしたほうがよいようです。

2010年4月30日金曜日

今度はネットワークカードのチューンアップ不足でした

このエントリーをはてなブックマークに追加
本日未明にUbuntu 10.04がリリースされて日中多くのアクセスがあったのですが、9.10に続いてふたたびftp.jaist.ac.jpの性能が出ませんでした。原因は、先日導入したネットワークカードのチューンアップ不足でした。

2010年4月13日火曜日

ヤフオクで落札したQuad GbEを増設してみた

このエントリーをはてなブックマークに追加
以前のエントリで書いたように、4つあるネットワークインターフェイスを全部アグリゲートしていたのをやめて、2本ずつアグリゲートしてIPMPでロードバランスするようにしてみました。しかし、インターフェイスが突然応答しなくなる症状は治まるどころか、よけいにひどくなってしまいました。

2010年3月25日木曜日

ログローテーションはrotatelogsで、圧縮はpbzip2で

このエントリーをはてなブックマークに追加
Apache HTTP Serverで日ごとに別のファイルにログを出力するのは、標準添付されているrotatelogsでできるのですが、意外と知られていないようです。アクセスログならこんな感じです。
CustomLog "|/インストール先/bin/rotatelogs /出力先/access_log.%Y%m%d 86400 540" combined

2010年3月16日火曜日

1/4の確率でつながらない

このエントリーをはてなブックマークに追加
タイトル通り憂鬱です。昨晩(3月15日)20時過ぎから本日(3月16日)午後1時半ごろまで、一部のIPアドレスからftp.jaist.ac.jpにつながらないという現象が起きていました。一部のIPアドレスというのは、全アドレスのちょうど1/4です。アグリゲートした4つのインターフェイスのうち1つが死んでいたため、インターフェイスを振り分けるハッシュ関数で、死んだインターフェイスに当たってしまったIPアドレスからftp.jaist.ac.jpに一切つながらない状態でした。

こういう事故を防ぐために、LACP (Link Aggregation Control Protocol)があるのですが、前回1つインターフェイスが死んだときは、縮退せずに全部のインターフェイスが応答しなくなったため、何かおかしいということで切ってしまいました。今回はLACPなしで1本だけ死んだため、中途半端につながらない状態が長時間続いてしまいました。一部のアドレスだけつながらないものですから、BANされたのではないかと、身に覚えのある海外のサーバ管理者からお詫びのメールをいただく始末。いえいえ悪いのはこちらなんですよ。

本質的な原因はさっぱりわからないのですが、このところのトラブルはインターフェイスを4本アグリゲートしてから起きているので、以前のように2本ずつ2組に戻しました。性能はだいぶ落ちますが、このところのトラブルはひどいので、これで様子を見ます。

2010年3月13日土曜日

リンクアグリゲーションがバグってる?

このエントリーをはてなブックマークに追加
昨日はひどい一日でした。日本時間の早朝に、Mozilla.orgがFirefoxの3.0.xと3.5.xに3.6へのアップグレードをうながすダイアログを表示する指令を出したのですが、この件に関する事前の連絡が一切なかったのです。

2010年3月10日水曜日

Fedoraは週末に強い

このエントリーをはてなブックマークに追加
最近、http://ftp.jaist.ac.jp/で直近2時間くらいのダウンロード傾向がわかるようにしてみました。サーバで30分に1度データを生成して、ブラウザがAjaxで取ってきてCSSで描画します。データの生成は、SSDにキャッシュするファイルを決定するプログラムにやらせています。

2010年2月22日月曜日

2TBのハードディスクを追加してみた

このエントリーをはてなブックマークに追加
以前作ったSASエンクロージャは3.5インチベイが24個あったのですが、まだ2TBのハードディスクが高かったので12本しか積みませんでした。最近安くなってきたので、もう12本増設してみました。玉は前回と同じDeskstar 7K2000 HDS722020ALA330です。構成も前回と同様9D+2P+1SのRIAD-Z2で、前回組んだRAID-Z2にaddしたので、RAID-Z2×2のストライピングです。

2010年2月20日土曜日

オンボードのGbEの性能が出ませんでした

このエントリーをはてなブックマークに追加
2月18日の朝から定例のFirefoxのアップデートが始まりました。今回は借りていたSun Multithreaded 10 GbE Networking Card (nxge)を返却していたので、オンボードの4つのGbEをアグリゲートして立ち向かったのですが、見事に玉砕しました。

18日の18時ごろに急に出力パケットが詰まり、外からのpingにも応えなくなったので、一番怪しいLSOを切って19時ごろにリブートしました。ところが1時間も経たないうちにまた詰まってしまったので、今度はJumbo Frameを切って21時15分ごろにリブートしたのですが、ちょっと手違いがあって20分ほど外からアクセスできないになってしまいました。

2010年2月3日水曜日

Mozilla.orgのミラーネットワーク(2)

このエントリーをはてなブックマークに追加
Firefox 3.6が先日リリースされたのですが、ダウロードが殺到したとかそんな話はまったくありません。3.5.6/3.0.16、3.5.7/3.0.17、および3.6の各リリースの、りリース時刻を含む3日間のMozilla.org向けの使用帯域のグラフがこれです。