プロの世界を垣間見た男(地球シミュレータ見学記・機器説明編)   

2003年5月14日




☆タコ記事・ヨタ記事ばかりではマズイという事で...   
秋葉原では神田祭りが盛り上がっているようだが、たるさんも盛り上がっている。 今日は久々にまともなネタで勝負できそうだからだ。

たるさんのWebサイトは基本的に低レベルヨタ記事系サイトなのだが、 たまにはまともなネタで勝負しないと本当にヨタが身に染みついてしまう。 これ以上進行性ヨタ症候群が重症化すると、 場末の技術者としては窓際技術者どころかリストラされかねないのである。

と言うわけで、今日はヨタ抜きの真面目系で行くことにしたい。

さて、皆様は地球シミュレータを覚えておいでであろうか?  たるさんのヨタ記事では 時流に流されなかった開発・地球シミュレータ時流に流されなかった開発・ 地球シミュレータ (ネット・トポロジ編) で紹介したが、現時点で世界最速の汎用スーパーコンピュータである。

今日は、縁あってこの地球シミュレータをナマで見学できたので、 ヨタ...いや、ヨタ抜きで見学記を書いてみた。 (う〜ん、たるさんのレベルで書ききれるのか?) と言うわけで、ちょっと遅めのGW特別企画ってところだ。

☆まずは地球シミュレータを堪能していただきましょう。   
まず、見学させていただいた地球シミュレータについて 画像を多めにしてレポートしてみよう。 この話題は2〜3回に分けて書く予定で、まず初回の今回は軽くジャブ程度。 と言うわけで今回は難しい話は無し。

JAMSTEC守衛所で 身分証兼カードキーを受け取る
一般公開日ではないのでガラガラである。


JAMSTECのサイトマップによると新杉田駅を降りて杉田公園脇に 施設があるとのことだったが、 目印の公園が全然見つからず遅刻するかと思ってビビッてしまった。 地元の人に場所を聞きまくってようやく到着。 (結局公園はあったのだが、町内会の児童公園みたいな小さな公園だった。 これじゃ、見つからないハズだ。)

研究所入り口の守衛さんに所員の方に約束した旨連絡し、 身分証兼カードキーを受け取る。 これで、外来用の施設にのみに入ることができる。

実際には、施設の説明を聞いてから箱物を見学させていただいたわけだが、 実際に物を見ていただいてから説明した方がわかり易いと思われるので、 先にそちらから解説していこう。

地球シミュレータの外箱、つまり建物であるが、大きめの体育館程度の大きさで、 形も体育館そっくり。パッと見、ここにスーパーコンピュータが収まっているとは 思えない外観である。中から体育会系の掛け声が聞こえてきそうな雰囲気である。

施設がわかったところで、まずは基本の危機管理について。 俗に「地震・雷・火事・オヤジ」と言うが、まず、地震から。

建物は免震構造のアイソレータ上に乗っかっていて、 大地震でも機械に影響がないようになっている。 免震アイソレータはゴム板と鉄板を交互積層した 1)タイプだそうである。 基礎には鉄筋の代わりにアラミド繊維が入っているそうだ。

つまり、アイソレータは絶縁も兼ねているわけで、 この免震構造のおかげで一点アースもやりやすかっただろうな、 と思ってしまう。

また、重量のかさむ冷却器・電源系を最下層に持ってきて建物自身の重心を下げている。 通常のビルでは電源は地下だが、冷却器はエアフローの得やすさから 最上層にあるのが普通だ。

地球シミュレータ棟の隣に人が住んでいる研究者棟があるのだが、 こっちの建物には免震構造が無い。2)

地球シミュレータ棟は免震構造、人の住む建物は免震無しと言うことで、 両者をつなぐアクセスウエイは地震の際に全く左右別々に振動することになる。 と言うわけで、アクセスウエイは写真の通り両者が別々に振動しても 振動を吸収できる構造になっている。

ジャバラ状のアクセスウエイ
左右の建物が別振動しても大丈夫。
ジャバラ構造の左端が建物と接合していない事がお分かり頂けるだろうか?


次は雷対策。 たるさん自身、誘導雷を拾って電話機を一台お釈迦にした経験があるし、 ISDNルーターがら火花が散った友人も知っているだけに、雷パワーは侮れない。

外板はアルミメッキ鋼板で、ノイズ対策のため3重のシールド処理がなされている。 アースは当然1点アース。(基本ですね。)

おもしろいのは避雷針で、最初は普通の電柱かと思ったのだが、 「電力供給用にしてはヤケに電線が貧弱だな〜。」と思ったら、 避雷針ならぬ避雷柱+避雷線であった。 これが、新築家屋の建築現場でよく見るお払いのしめ縄のように 建家の四方に張り巡らされていて、 あらゆる方向からの直撃雷にも耐えられる様になっている。 まさに、落雷という魔物の進入を防ぐ「現代の結界」である。

避雷柱と避雷線
カミナリによる誤動作を防ぐための現代の結界


避雷柱は建物に迷走電流が流れないように建物から離されて建っており、 地中故見学はできなかったが、 さぞやアースにも力が入っている事だろうと推察される。 これだけの規模になると迷走電流対策は結構大変だと推察する。 当然、誘導雷対策も完璧に施されているハズだ。

電磁シールドは外部のノイズが内部の機械に影響を与えないようにという 配慮からだが、内部の電磁波を外部に漏らさない意味も大きいそうだ。 写真でわかるとおり、地球シミュレータを収容している 建物は住宅地のど真ん中にある。 もし、電磁波がダダ漏れだったら周辺住民から反対運動が起きかねないわけで、 (携帯基地局の鉄塔が各地で反対運動を受けている事からもわかる。) このような事態を避けるためにも電磁波漏洩対策は重要な訳だ。

当たり前のことだが、外部からの電磁波も遮断されていている。 建設前に電磁界強度測定を行ったそうだが、 最大120dBμVの電磁波が検出されたそうである。 (たるさんが思うに測定器の測定上限に近い値のハズだ。)

これは、すぐ近くに高速道路が走っていて、ダンプの運ちゃんが 違法CB無線でとんでもない電波を出すのが原因だそうだ。 これに対抗すべく3重シールドが施されたというわけである。 それにしても120dBμVって...ダンプの運ちゃん、やめてよ。

閑静な住宅街の中にあるJAMSTEC
(JAMSTEC側から住宅街を見る。)
それ故、電磁波対策は出てゆく方向でも厳重である。

高速道路から強烈な電磁波がやってくる。
奥にちらりと高速道路が見えるのがおわかり頂けるだろうか?
それにしても120dBμVとは...


火災対策であるが、これは話を聞きそびれてしまったが、パッと見、 通常のハロン消火装置の様に見受けられた。 また、建物の構造材には耐熱不燃化処理が施されている事が確認できた。 所内各所に消化器が設置してある。

最後に、オヤジ対策。 外来者用施設には守衛所で入構証兼カードキーを受け取れば入れるのであるが、 地球シミュレータ棟には、ある侵入者対策が施されていて登録された所員でないと入れない。 詳細を語ることはセキュリティー上問題があるので差し控えたいのだが、 ある意味SF映画チックである。

また、オペレーションルームのフロントモニタに全監視カメラの映像が常時映っていて 侵入者を監視している。もちろん、警備室のモニタにも 同様の映像が出ていることだろう。 頑固オヤジといえど侵入は不可能だ。

ただし、たるさんが昔こことは別の研究所の セキュリティー担当者に聞いた話を一言言っておこう。

機密情報にアクセスする場合、スパイ映画のように 棟内にこっそりと侵入する事は全くナンセンスである。 実際の所、ほとんどの場合は所員の買収または弱みを握っての脅迫という形で 機密情報入手は行われるらしい。 まあ、このような施設の所員の場合、通常の買収手段(金や女)には 興味が無い人が多いだろうけどね。

けど、もしたるさんが所員なら「兄さん兄さん、 地球シミュレータの機密情報を手に入れてくれたら、 完品のTK-80BSをあげちゃうよ。ついでに美品の初代Apple IIも付けるよ。 どちらもレア物だよ。」 なんて籠絡されたら、あっさり転んでしまうかもしれないが...

☆地球シミュレータの舞台裏を見てみよう。   
では、早速内部に入ってみよう。 まず見せていただいたのは冷却器である。 これだけのスーパーコンピュータが出す熱だ。 CPUファンとは比べ物にならない巨大冷却器がガンガン冷気を送り出している。 この内部はとてつもない騒音で、人の話などまともに聞けない状態だ。 研究員の方もちゃんと承知していて、ドアを開ける前に説明を行って 内部では説明はしなかった。 何しろ、すぐ隣にいる人の話がほとんど聞き取れない。

巨大冷却器群
とてつもなくうるさい。

冷却風の通風口
構造体には不燃化処理が施されている。


冷気はアップフローで上側に流れる。 温度は16℃とのことで、少し肌寒く感じる。 ちなみに装置を冷却したあとには23℃程度になっているそうだ。

次にいよいよスーパーコンピュータ本体の見学をさせていただいた。 フロアに入ると窓越しに地球シミュレータの筐体が整然と置かれているのが見える。 窓ガラスはわずかに黄色がかっていて、たるさんの見るところ 明らかに電磁波漏洩対策が施されている事が伺える。 何らかの導電性多層膜が形成されているハズだ。

照明は一見すると単なる蛍光灯の様に見えるが、実はライトガイド方式である。 別の場所で照明した明かりを、導光路で導いて照明しているのである。 もちろんこれもノイズ対策の一環である。

見学用窓から全景写真を狙うがデジカメでは 入りきらない
上に光っているのは蛍光灯ではなくライトガイド照明


見学者用窓で写真など撮っていると、なんと地球シミュレータ自身の設置してある フロアに直接入れてくれると言うではないか。 これは本当に嬉しかったね。 見学者用フロアからの窓越し撮影だけで終わりと思っていたからね。

地球シミュレータ本体は筐体に入っていて、これ自体もシールドを兼ねている。 下からアップフローで冷気が入ってきて、上側に抜けていく。 熱い空気が上に行くのは自然の理で、実に自然な理想的エアフローである。

意外に広い機器間隔
メンテナンス性十分。

手前から中心部を見る
これらの筐体すべてに最新ハイテクが満載されている。
とてつもないハードウエア量である。


筐体間隔は思ったより広めで、一般家庭の廊下をやや狭くした位の幅がある。 配線長短縮よりもメンテナンス性を重視している事がうかがえる。

その昔、クレイ1とかで配線長を少しでも短くするためにC型の構造にしたとか、 NECのSX-2や日立のS-810では△型にしたとか、いろいろな逸話を聞いていたので、 配線長短縮のために筐体間隔は限界まで狭く作ってあると想像していたので、 これは驚きだった。 ノード間で配線長を短くしてもあまり効果が無いのだろうか?

床はフリーアクセスになっていて、吸着工具でベコッと簡単に外すことが出きる。 と言うことは、各ユニットは床の上に固定されているわけではなく、 構造体の上に直接乗っかっていて、床パネルも構造体にのっかているのだろう。 床にコンピュータを置くよりも構造体に直接接合した方が、 確かに確実な地震対策になるだろう。

吸着工具で床パネルを外す。
床パネルは自由に外すことが出来る。

クロスバー用ケーブル群
うず高く積まれたケーブルのため本当の床が見えない。


外してみると、床はとんでもない配線の山。 ケーブルがうずたかく積み上がっており、 ケーブルの山に隠れて真の床がまったく見えない。

単段クロスバー方式のネットワーク結合網を以前「かなり強烈な力技」 と表現したが、その予想は的中していたようだ。 ちなみに、所員の方もたるさんのWeb記事を読んでちゃんと頂いており (嬉し恥ずかしだね。)「力技です。」と言って笑っていた。

床パネルを照らす照明はライトガイドではなく、防爆構造の工事用ライトである。 配線は同軸ケーブルだから外部ノイズの影響は受けにくいハズで、 床パネルを導電性材料塗布加工する事でノイズを防ぐ事にして、 このライトはライトガイドにはしなかったのだろう。 (いつもは使わないライトだしね。)

ネズミの害が心配だという話をしたところ、 ネズミは入ってこれないようになっているそうだ。 電線の被覆に忌諱剤とか殺鼠剤が添加してあるのかと考えていたのだが、 そうか...免震構造のため建物自体がアイソレータで浮いているんだから、 高床式住居みたいについでにネズミ返しを付けていたりするのかもしれないな。 (下に追記があります)3)

ちなみに、「イタリアから来た研究者も同じ事を質問した。」って笑われました。

冷気の吹き出し口には網が貼ってあって、これも電磁ノイズ対策だそうだ。 (たるさんが思うに、たぶんネズミ侵入対策でもあると推察される。) 編み目の間隔は数mm程度で、これなら厳し目に考えて1/10λで考えても 10GHz程度までは十分防ぐことができそうである。

通風口には電磁波漏洩防止用金網が...
ネズミ対策も兼ねていると推察される。


ノードの外部パネルには国産スーパーコンピュータにふさわしい 日の丸マークが...と思っていたが、 これ日の丸を意味している訳ではないとの事だ。 「地球」シミュレータなので、地球の内部(核やマントル)を表しているそうだ。

ベクトルプロセッサ用筐体の中身がこれ。 更に厳重なシールドに包まれている。 パソコンを見慣れたたるさんには、コンピュータというよりも 強電機器を連想させてしまう堅牢な造りだ。

ノード横のトレードマーク
「日の丸」かと思ったら「地球」でした。

ノードの内部写真をご開帳
とは言っても、シールドが厳重で
プロセッサユニットまでは見えない。


地球シミュレータの心臓部、つまり中心にあるのはプロセッサ用の筐体ではなく、 ネットワーク用クロスバ網の筐体である。 プロセッサ用筐体が青色に塗装されているのに対し、 クロスバ用は緑色と塗り分けられている。

中心にクロスバ網が置いてあるのは、配線長をできるだけ短くするためだろうが、 地球シミュレータの中心的役割を果たしているユニットが クロスバ網であることを象徴的に示す事例だ。

配置としては、中心にクロスバ網がありその周りをベクトルプロセッサが同心円上に取り囲んでいる。 余った四隅にストレージデバイス群が置いてある。

1次ストレージはHDDが中心で、RAID5で組んであるそうだ。 HDDはもちろんパソコン用ではなく、高信頼性タイプ。 リトライが増えると、故障前でも交換してしまうそうで、 とすると地球シミュレータセンターのゴミ箱には、まだ使えるお宝がゴロゴロか? なんて不謹慎なこともつい考えてしまう。 あぁ、所員になりたい。

1次ストレージ用RAIDシステム
RAID5である。

2次ストレージ用 テープライブラリシステム
自動化された磁気テープ倉庫だと思えば良い。


2次ストレージは磁気テープである。 これが、テープを自動で読み書きする装置。 中に図書館のようにテープがずらっと並んでいて、ロボットアームが必要に応じて そいつを掴んではリーダーに組み込んでゆく。

制御装置になんとPC98-NXのファクトリーモデルを発見。 超ハイテク満載の地球シミュレータ内においてこんな物を見つけると、 ついホッとしてしまう瞬間である。

コントローラ部分に...
これは、どこかで見たような???

なんと、これはPC98-NX
ファクトリーモデルではあるが、れっきとした98。
こんなところでお目にかかろうとは...


テープライブラリシステムの近くにおもしろい物を発見。 こいつはSX-6と言って、NEC製スーパーコンピュータである。 スパコンの内部に、何故別のスパコンが...と思っていると、 「これは地球シミュレータの制御に使っています。」とのこと。

NEC製スーパーコンピュータSX-6
別のスパコンが地球シミュレータ内部に?


地球シミュレータレベルになるとシステム制御にも 超高速演算性能が要求されるわけで、 普通の汎用コンピュータでは力不足。 と言うわけで、新規に制御用スパコンを開発するくらいなら、 既存のスパコンを制御に使って設計費用を節約しようと言うわけだろう。

なるほど。 確かロケット開発でも旧型ロケットのメインエンジンを 新型機の第2段エンジンに使って経費節減するって話があったっけ。

このSX-6は2ノードとはいえ、ノード当たり16GFLOPSの処理能力がある。 制御にスパコンとは贅沢な話だ。 (ただし、ベクトルユニットは制御用途向きとは思えない。 スカラー部のみを使っているのかも? 聞きそびれました。) (訂正と追記があります)4)

今回は箱物の説明だけで結構な量になってしまった。 次回は本題の地球シミュレータ内部についてレポートしてみよう。 (続く)




−補足と訂正−

見学させて頂いた方からミスの指摘がありましたので一部訂正をします。 本文は訂正してしまったので、 どこを間違えたのかわかるように下記に示しておきます。

1)
最初はゴム+鋼板+アラミド繊維のアイソレータとして 書いてあったのだが、アラミド繊維は鉄筋の代わりに基礎の中に入っているそうで、 アイソレータ自身の強化用ではないそうだ。 鉄筋の変わりにアラミド繊維を使ったのは迷走電流対策だそうです。 なるほど。

2)
研究者棟にアイソレータが入っていないのは予算が付かなかったのではなく、 シミュレータ棟に金がかかりすぎて予算が回らなかったためとのこと。 これは、お詫びして訂正致します。

3)
聞きそびれた事に対するご回答を頂いたので、情報を追加します。 シミュレータ棟全体がアイソレータに乗っているので隙間が無く、 特にネズミ返しが無くてもネズミは入れないとのこと。 (電源・冷却水等のケーブル引き入れ部は処置されている。) 高さが1.6mもあるので、床下はご近所のネコの格好の住処になっているらしい。

4)
SX-6は地球シミュレータと同等の技術水準で造られているそうで、 型落ちでは無いとのこと。 (たるさんは地球シミュレータ→SX-7→SX-6とカウントして2世代前と数えたのだが、 中身の技術世代は同等とのことで間違いでした。)スミマセン。 また、写真の物はシングルノードではなく2ノードタイプで、 ベクトルプロセッサ部分はデータ加工に使うことがあるそうだ。

あと、排気温度を26℃と誤記していましたが、 23℃ですのでお詫びして訂正させて頂きます。

SX-6の処理能力を64GFLOPSから16GFLOPSに訂正。