Solaris 11 for x86からEPYCはどう見えるのか

$ cat /etc/release
                             Oracle Solaris 11.3 X86
  Copyright (c) 1983, 2018, Oracle and/or its affiliates.  All rights reserved.
                             Assembled 02 March 2018

$ prtdiag -v
System Configuration: Dell Inc. PowerEdge R7415
BIOS Configuration: Dell Inc. 1.2.5 03/13/2018
BMC Configuration: IPMI 2.0 (KCS: Keyboard Controller Style)

==== Processor Sockets ====================================

Version                          Location Tag
-------------------------------- --------------------------
AMD EPYC 7551P 32-Core Processor CPU1

==== Memory Device Sockets ================================
(以下省略)

ハードウェアをEPYCサーバーにリプレースしました

最初に、5月12～13日の計画停電によるシステム停止で、ご迷惑をおかけしたことをおわびします。

このタイミングでftp.jaist.ac.jpのハードウェアのリプレースを行いました。新しいサーバーはAMD EPYC 7551Pを一つ搭載したDell PowerEdge R7415です。従来はSupermicro 2024GにOpteron 6344を4つ搭載して48コアでしたが、今回はシングルソケットで32コアとなります。

従来からJAISTは、Dellから機材の提供を受けて評価することを継続的に行っていました。今回EPYCを試したい旨打診したところ、DellがEPYCを推していることもあり、機材を提供していただけることになりました。

シングルソケットなのは、Dellが推しているのがこの構成であることと、Solaris 11 for x86のライセンス費がソケット単位なので、ライセンス費が1/4になるJAIST側のメリットが合致した結果です。

リプレースしてからhttpdの動作が安定しなくて、何度かサービスが止まっていますが、近日中に解決する予定です。サービスが安定したら、実運用での新旧サーバーの性能比較を紹介する予定です。

Intel SSD DC P3520を導入しました

3月9日にIntel SSD 750が壊れてからしばらくはL2ARCなしで運用していました。2月末にsourceforge.netがミラーをほぼ全消失させる事故を起こしていたおかげで、アクセスがぐっと減っていたのでL2ARCなしでも乗り切れていました。ミラーが復旧するにつれてHDDの負荷が厳しくなってきたので、4月半ばに新しいSSDを導入しました。

導入したのはIntel SSD DC P3520 2TBです。導入した直後はSolaris 11で認識されなかったり、されても数日で見えなくなったりしていましたが、ファームウェアを MDV10271に更新したところ問題なく使えるようになりました。

ようやくサーバーを交換したのですが

前述したように、故障したHDDを抱えて性能が低下したストレージとSun Fire T2000の組み合わせを、iSCSIのストレージを接続した別のサーバーに切り替える作業を1月26日に行いました。サーバーのハードウェアは以前紹介したものです。OSは、性能とZFSの安定運用の観点からSolaris 11のx86版を選択しました。

これでftp.jaist.ac.jpの性能が改善するかと思いきや、iSCSIのストレージの性能が低くかったため逆に悪化してしまいました。ストレージの性能が低かったのは、諸般の事情でiSCSIのボリュームを束ねてRAID-Z2を組んでいたからです。RAID-Zはレイテンシの一番大きなデバイスに足を引っ張られるので、レイテンシのばらつきの大きい仮想化ストレージで組んではいけません。負荷テストをして大丈夫だったからとのことなのですが…

今年のftp.jaist.ac.jpは調子が悪いです

今年に入ってからftp.jaist.ac.jpがすごく遅かったり、落ちていたりすることが増えています。その原因はストレージのトラブルや設計ミスですが、もうすぐ収束する予定です。

最初のトラブルは1月5日に置きました。2組のRAID-Z2のうち一方で3本のHDDが故障して、ストレージが使えなくなったのです。もともと故障したHDDが複数あったのを、ストレージの負荷が高すぎてresilverが終わらないので、あえて放置してありました。ところが、この日にHDDが1本見えなくなりとどめを刺されました。

UltraSPARC T1のシングルスレッド性能の低さ

小ネタです。先日のプレゼンの中で、UltraSPARC T1のシングルスレッド性能が低いため、日ごろの管理作業でレスポンスが遅くイライラすると言いました。この遅さを表現するために「いつの時代のCPUだよ」と言ったのですが、あまりいい表現ではなかったです。より的確に表現するなら、過負荷のサーバーにログインして作業しているときの「あれ」です。ftp.jaist.ac.jpの場合は、CPUの負荷が50%程度で普通に動いているときでも、ログインするとレスポンスが「あれ」なんです。どれだけイライラするかおわかりいただけますよね。

第九回カーネル／VM探検隊で発表してきました

12月8日に行われた第九回カーネル／VM探検隊でftp.jaist.ac.jpに関する話をしてきました。主にUltraSPARC T1について話しました。わりと変わったアーキテクチャのCPUなので、この会に集まる低いレイヤーに興味がある人たちに楽しんでもらえると思いまして。でも、こんなマイナーなCPUの話題を選んだのに、次の発表者と話題がかぶってしまいました。次の方の話題がUltraSPARC T1のオープンソース版のOpenSPARC T1だったんですよ。これがカーネル／VM探検隊のおもしろいところですね。

11月30日のトラブルについて

遅くなってしまいましたが、11月30日に起きたトラブルについて報告しておきます。11月30日の日中にftp.jaist.ac.jpの性能が激しく劣化する現象が起きました。

新しいサーバのCPUとメモリを増設してみた

以前新しいサーバを準備中であることを紹介しました。しかし、httpdのmod_limitipconnを外したらかなり余裕ができて、Sun Fire T2000でも何とかなっていたので長い間リプレースせずにいました。今は本当に限界なのでリプレースの準備をしています。

その際にCPUとメモリを増設して、CPUを48コアにメモリを192GBにしました。DIMMスロットが32あるのにメモリが192GBなのは、以前積んでいた4GB×16枚に8GB×16枚を混載したからです。仮想化を用いない単一のシステムに、これだけのCPUとメモリを載せるのは珍しいのではないでしょうか。

ロープロファイルブラケットを作ってみた

新しいサーバ用のNICとしてIntel X520-DA2を2枚購入しました。X520-DA2は10GbpsのSFP+を2ポート備えているカードです。他と比べてずっと安かったのでDellから購入したのですが、ここで問題が発生しました。Dellから購入したカードにはロープロファイルブラケットが付いていなかったのです。カードはロープロファイルに対応しているのにブラケットが付いていないとは思いませんでした。このカードをオプションで選択できるDellのサーバは、フルハイトのスロットを持っているので付いてないんですね。しかし、先日紹介したベアボーンはロープロファイルスロットしかないので刺さりません。

Intel X520-DA2

刺さりません

新しいサーバを構築中

今のSun Fire T2000はCPUの処理能力が不足気味なので、処理能力の高いサーバに置き換えることにしました。UltraSPARC T2のT5120が1台あるのですが、メモリが16GBしかないので増設する必要があります。しかし純正メモリはとても高いし、適当なメモリを刺したら保守が効かなくなります。そこで新たにx86サーバを1台作ることにしました。

ブロワが壊れた

実は1か月以上前から、Sun Fire T2000の背面のファントレイのブロワが壊れたままになっていました。ファントレイは以下の写真のような部品です。壊れたままになっていたのは、直したくても直せなかったからです。

ヤフオクで落札したQuad GbEを増設してみた

以前のエントリで書いたように、4つあるネットワークインターフェイスを全部アグリゲートしていたのをやめて、2本ずつアグリゲートしてIPMPでロードバランスするようにしてみました。しかし、インターフェイスが突然応答しなくなる症状は治まるどころか、よけいにひどくなってしまいました。

2TBのハードディスクを追加してみた

以前作ったSASエンクロージャは3.5インチベイが24個あったのですが、まだ2TBのハードディスクが高かったので12本しか積みませんでした。最近安くなってきたので、もう12本増設してみました。玉は前回と同じDeskstar 7K2000 HDS722020ALA330です。構成も前回と同様9D+2P+1SのRIAD-Z2で、前回組んだRAID-Z2にaddしたので、RAID-Z2×2のストライピングです。

新しいストレージを構築してみた(ハード編)

先日壊れたSATAのディスクアレイの筐体ですが、これは寄贈してもらった試作機なので(こんなんばっかり)、修理については営業と相談してくれとサポートに言われてしまいました。お金を出して修理してまで使いたい筐体でもないので、お財布と相談して新しいストレージを調達することにしました。

メモリを64GB積んでみる

Sunから贈られたSun Fire T2000にはメモリが16GB積まれていました。2006年秋から話が始まって、USの決裁が下りて実物が届けられたのは2007年5月です。8コアモデルにメモリ16GBですから、当時としてはがんばった構成だったと思います。16あるメモリスロットに、1GBメモリがぎっちり刺さっていました。

SSDによるコンテンツキャッシュ(ハード編)

先日のエントリでSun Fire T2000はUltraSPARC T1には4Gbpsの帯域を埋める能力があると書きましたが、それを実現するには一つボトルネックを解決しなければなりません。それはディスクI/Oです。最近の速いハードディスクでも最外周で100MB/sくらいしか出ません。ビットにすると800Mbpsですね。ぜんぜん足りないのでRAIDを組んで性能を稼ぐ必要があります。

UltraSPARC T1の弱点とUltraSPARC T2

UltraSPARC T1には決定的に向かない仕事があります。各コアは整数ユニットは持ってるんですが、浮動小数点ユニットは8つのコアで共有していて、浮動小数点ユニットを使うだけで40サイクルのペナルティがあります。だから浮動小数点演算をたくさんする仕事はだめです。

Ultra SPARC T1のこと

http://ftp.jaist.ac.jp/に書いてあるんですけどftp.jaist.ac.jpはSun Fire T2000で動いてます。この子のCPUのUltraSPARC T1には8つのコアがありますが、クロックヘルツはわずか1GHzです(最近は1.4GHzのもあります)。各コアにはアウトオブオーダ実行もスーパースカラーもありません。だからとても遅いです。

UltraSPARC T1は8つのコアのそれぞれで4つのスレッドを実行できるので、OSから見ると32個CPUがあるように見えます。ところが、各コアは4つのスレッドのうち実行可能なものをクロックごとに順番に実行するだけなので、残念ながら実力はCPU 8個分です。 それもとても遅いCPUの。