プロの世界を垣間見た男(地球シミュレータ見学記・最終編)   

2003年7月1日




スズメの涙の金額に加え、保険料のボーナスへの上乗せ。 ボーナスが出たが、デカものを買えば一発アウトの逼迫財政。 今回は何を買おうか?

貧乏人の弱点は高価な機器を揃えられない事だろう。 例えば測定器の場合、たるさんの場合はオシロで限界である。(しかも中古) だから、それらでカタの付かない測定となると大変である。

この前もそうだった。

週末の湾岸高速をたるさんのプリメーラ・カミノが爆走する。 貧乏人たるさんは高価な測定器を買えないため、 神奈川に住む友人にスペアナ1)を借りに行くのだ。

HP(現アジレント)の8595Aをお借りして測定画面をデジカメにゲット。 で、家に帰って画像をPCにコピーして見ると、何とこれがピンボケ。 デジカメの液晶では解像度が小さいのでピンの甘さに気が付かなかったのだ。

成田−神奈川間再往復か〜。あぁ、虚脱感がぁ〜。 (T_T)

☆地球シミュレータに弱点はないのか?   
さて、気を取り直して、本題・地球シミュレータ最終編に入ろう。

今までずっと良いことばかりを書いてきたが、 誉めっぱなしってのも提灯記事的で公平ではない。 ここで、地球シミュレータに弱点は無いのか考えてみよう。

所員の方がおっしゃっていた弱点はいくつかある。 例えばストレージシステムが相対的に貧弱であるという事と、 ストレージシステムの信頼性確保である。

まず、ストレージシステムであるが1次がユーザーディスク230TB、 システムディスク460TBの計690TB、2次は磁気テープで1.5PBもある。 これはスパコンシステムとしては世界一なのは勿論のこと、 データベースシステムと比べて見てもそれほど遜色のないレベルである。

これだけあれば一見十分(なんせペタバイトですよ。 ペタは何と1015だからね。)な様だが、 これでも不足気味なんだそうだ。

例えば先ほどのAFES(大気大循環モデルプログラム)では 12TB/月ものデータを吐き出すそうで、たるさんのハードディスク (40GB)だったら全地球の気候変動を2時間24分しか記憶できない。

なお、ここで12TB/月というのは、地球シミュレータを 1ヶ月間動かして12TBのデータが吐き出されると言う意味ではなく、 1ヶ月分の気候変動を計算して吐き出されるデータが12TBと言う意味である。 (1日分の計算は640個あるノードの内、160個で計算した場合でも 5時間で終わるそうである。)

この地球シミュレータ、当初の目標処理能力はAFES実行時で5TFLOPSだったそうで、 5TFLOPSならこれで十分な記憶能力だったハズである。 ところが、うれしい誤算で26.58TFLOPSと予想以上の高性能が出た。 それ故に同じ稼働時間でも吐き出されるデータ量が半端ではないのだ。

二番目の弱点は信頼性に関する事項である。 地球シミュレータ完成当初はノードやネットワークの トラブルが比較的多かったそうだ。

それが、運用ノウハウの蓄積によりノードやネットワークのトラブルは順調に 減少。ネットワークに至ってはたるさんが訪ねて行った時点ではついに0件 まで追い込めたそうだ。

ところが、ストレージシステム、特に2次ストレージの故障が減らない そうである。 (1次ストレージはRAID5で守られている上に、リトライが増えると予防的交換 が行われるため比較的安全度が高い。) これらの故障率は運用開始時から横ばいだそうだ。 とは言っても、もちろん運用に支障が出るレベルの故障率では無いのだが、 故障の少ない2次ストレージシステムというのが欲しいのは事実だそうである。

あとは、電気を喰いまくるのも弱点である。 なんせ、立地選択要件の一つに「発電所に近いこと。」があった位だ。 電気・ガス・水道のユーティリティー費用は年間10億円にも達する。

地球シミュレータは本体系だけで常時6000〜7000KVAも電気を喰う。 しかも、停電時にはUPSでシステムを保護するわけだが、 本体があまりにも電気を喰うので ディスク・LAN・コントローラ系しかバックアップできないそうだ。 (UPSは1200KVA(5分)もの能力があるにもかかわらずである。)

停電時にストレージ系(左側写真)はバックアップされるが...
演算ノード(右側写真の青い筐体)はバックアップされない。

つまり、停電が起こったら前回セーブした時点以降の演算結果はすべておじゃん。 この点では我々のPCと同じで、 停電=「うぎゃ〜、データが飛んだ〜。」な状態なわけだ。 (ただし、ディスクはUPSで守られているので 前回セーブ時点以前のデータは保護される。)

今年の夏は原発不祥事問題で電力の安定供給が危ぶまれているだけに、 東京大停電には地球シミュレータセンターの方々も戦々恐々らしい。

あとは、地球シミュレータに関する誤解を一つ。

たるさん自身が「価格面ではスカラパラレル機の方が安い。」と思っており、 低経済性が地球シミュレータの弱点ではないのか?と思っていた。 しかし、この点では意外にそうではない事がわかった。

地球シミュレータの建造費は400億円、 一方、ASCI Whiteの建造費は1億ドルと ちょっと。仮に1億ドルきっかりとして、原稿執筆時の為替レートで計算すると 120億円である。つまり、約3.3倍の価格だ。

しかし、性能は地球シミュレータに比較的不利なLINPACKベンチマークで比べても約5倍 なのだから、コストパフォーマンス(単位価格当たりの性能)は なんと地球シミュレータの方がお買い得となっている。

これを見てもスカラパラレル機がベクトルパラレル機より安いというのは 事実に反している事がわかる。 400億円は確かに高いが、能力比では逆に安いのだ。

本当の意味で「地球シミュレータより安い」と言うためには、 PCクラスタ等と比較しなければならないようだ。

☆なぜ、世界の時流に流されなかったのか?   
次は地球シミュレータに関する初回記事でも書いた最大の疑問 「なぜ地球シミュレータは、スカラパラレル方式という、 世界の時流に流されなかったのか?」である。

地球シミュレータの特徴はもちろんベクトルプロセッサを採用したことに あるわけだが、「並列型ベクトル機は死んだも同然」と言われた中にあって、 なぜ地球シミュレータだけがベクトルプロセッサを採用したのだろうか?

これは、たるさんが設計者に会ったら一番聞いてみたかったことだが、 質問するまでもなく地球シミュレータ開発経緯の中に最大の中心人物として その解答が出てきた。

これには、ある信念のコンピュータ・アーキテクトが プロジェクトを支えていたことが最大の理由らしい。 その方の名は三好甫先生(故人)という。

三好先生は地球シミュレータのグランドデザインを行った方だが、この方は 「スーパーコンピュータはベクトル型でなければ高性能は出ない。」 という信念を持っていたそうだ。

この先生の開発方針によって地球シミュレータがベクトル型で行くという方針が 決まったそうである。 地球シミュレータ開発が時流に流されなかったのは、 実にこの三好先生の功績が最大のようだ。

そして、地球シミュレータが世界一になれたのは、この三好先生の先見性による 功績が大きいと言えるだろう。

地球シミュレータ最大の特徴はベクトル方式
時流に流されなかったのはなぜ?
三好先生の指揮下でプロジェクトが推進された事が最大の理由


☆名目値であと2年、実力値であと5年は君臨できる。   
では、この地球シミュレータ、俗な話で恐縮だが 何年先まで世界の頂点に君臨できるのであろうか?

たるさん自身はTOP500で3期(1年半)を以前予想した。 所員の方はもう少し詳細で、名目値と実力値に分けて話していただけた。

プロの予想では、地球シミュレータが世界一であるのは 名目値で2年、実力値で5年である。 これは、どういう事か?

TOP500で使われているLINPACKベンチマークは、基本的にスカラパラレル機に 有利だそうで、その敵方有利なベンチマークで首位の座は2年。 また、AFESのように地力の差が出る実際のアプリではスカラパラレル機は 効率が激減する。そのために、地球シミュレータに勝つためには その差を埋め合わせることの出来る さらにピーク性能の高いマシンが必要で、その出現にまでは5年程度かかる と予想しているそうだ。

進歩の早いこの世界で5年の先進性は圧倒的であり、 アメリカが血眼になって「対地球シミュレータ用スーパーコンピュータの開発」に 奔走するのもうなずけるものがある。

実効性能が高く、 事実上5年間は世界最速と予想される。
読者サービス2。 クリックすると元サイズのデジカメ画像が出ます。
壁紙用に限りご自由にお使いください。(ただし商利用や再配布は禁止)


☆「対地球シミュレータ用スーパーコンピュータ」というアメリカの国家戦略   
もっとも、喜びに浸ってばかりいる余裕は無いらしい。 アメリカの反撃が国策として始まっているからだ。

アメリカはスパコンを最重要な国力の源泉と考えている。 これは、CTBT(包括的核実験禁止条約)調印による 核実験の全面禁止によって、世界一のスパコンを持つアメリカだけが シミュレーション核実験により核開発を事実上続行できるという 観点から出た考え方だ。 アメリカ製スパコンが世界最速であることは、 アメリカにとって重要な国家戦略の一部なのである。

例えば、地球シミュレータ出現以前に世界最速だったASCI Whiteは ASCI計画によって開発されたスパコンだが、 本来ASCI計画そのものがASCIの名の通り国家戦略として スパコンで世界のイニシアティブを握るという目標を有している。 (ASCIとはAccelerated Strategic Computing Initiativeの略で、 直訳すると「先進戦略コンピュータ主導計画」とでもなろうか?) そして、その最大の使用目的はシミュレーション核実験であると言われている。

もちろん地球シミュレータはシミュレーション核実験には使用されないわけだが、 それでも彼らから見た場合、その処理能力は「目の上のたんこぶ」 みたいな存在である。その結果、今後のアメリカのスパコン開発では 「地球シミュレータに勝てること」が至上命題として求められているらしい。 あるプロジェクトなどは完成しても地球シミュレータに勝てない事が はっきりしてしまったために、「地球シミュレータに勝てること」を前提に 計画の練り直しが政府から指示されたそうである。

まあ、わかりやすく一言で言うと、 アメリカのスパコン戦略自体が「対地球シミュレータ用スーパーコンピュータの開発」 というステージに移行したという事だ。

この勝負の行方だが、はっきり言ってアメリカは本気である。 今日の日米の国力差を考えれば、 (見学させて頂いた所員の方には大変失礼で申し訳ない言い方なのだが)ポスト地球シミュレータにおいて日本が最速の地位を維持できるかどうかはイバラの道 ではなかろうか?

たるさん自身の考えでは、ポスト地球シミュレータの開発を急ぐべき と思うのだが... (この方式で「世界一の性能」という実績をちゃんと出しているんだから、 車の走らない高速道路建設なんかに税金をばらまくよりは、よほど 正しい税金の使い道だと思うのだけどね〜。)

☆見学を終えて...   
さて、今回の見学は実に興味深いモノであった。 特に2時間の見学予定をオーバーして4時間も熱弁を奮って頂いた 所員の方には大変感謝し、また厚くお礼を申し上げたい。 (後に、このWeb記事の間違い訂正にもご尽力頂きました。)

我々PCマニアは基本的に趣味のパソコンを楽しんでいるが、 最先端の技術開発競争に(片鱗とは言え)触れられたのは極めて有意義だった。 技術の頂点が高い事と技術の裾野が広い事には相関があると言われている。 その意味でPCマニアといえどスパコンの技術開発について理解を深めるのも ムダではなく、スキルアップにかなり有効だと思うのだ。

今回の見学では、本人がWeb記事を書くために結構勉強をしたということが 実は最大の収穫なのかもしれない。 例えば計算機科学の専門教育を受けた者でなければ「Amdahlの法則」 なんて知らずに終わるハズだしね。(ちなみに、たるさんの専門は化学)

一方、弊害と言えば...

以前、苺皿(AthlonXP-1700+1.5V版)を買い、オーバークロック特性を 報告すると約束した。 しかし、こんなすごいコンピュータを見てしまった以上、苺皿のOCなんて... 実はあれ以降OC実験はまったくの手つかず。 OCについては完全にやる気を失ったという事だろうか? (えっ、そんなのと比べるなって?)

☆お遊び編:ポスト地球シミュレータ   
「えっ、こんな事まで話して頂いていいの?」とこちらが思う位に 大サービスして頂いた地球シミュレータ見学会であるが、 唯一口が堅かったのはポスト地球シミュレータ計画に関してである。

ネットワーク結合網の光ファイバー化について話した時、 「光ファイバーにすると言ってもねぇ。」と少し否定的っぽく言われた事と、 現行の地球シミュレータのノード増設で対処出来ないか聞いたところ 「現状で最適なパフォーマンスが出るように設計されているのでそれは難しい。」 と言われたことが数少ないご意見であった。2) (立場上お話出来ない様子だったので、我々もそれ以上は話題にしなかった。)

そこで、たるさんがポスト地球シミュレータについて予測してみたい。 (もちろんアマチュアレベルで出来る話ではなく、お遊びレベルですが...)

まず、見学会で学んだ事を思い起こしてみる。 重要なのはパラレル機といえど単体のプロセッサ性能は高くなければならず、 スカラプロセッサの物量作戦はダメだということ。 そしてメモリのバンド幅の重要性。 もう一つは、ネットワーク結合網の重要性である。

まず、プロセッサはベクトル方式を維持すべきだろう。 スカラプロセッサが大規模配列に関してもピーク性能を 維持できるように進歩すればいいが、 今のPC用CPUの進化はその方向を向いていないからだ。

今回のワンチップ化で半導体プロセスの進化に歩調を合わせることは出来た。 だから、ベクトル方式ならば次回からは1チップのまま性能向上が可能なはずだ。

次にメインメモリのバンド幅改善である。 これはシリアル伝送化が有効だろう。

あのメモリ用コネクタの数を見て思ったのだが、 メモリのバンド幅向上にはメモリバスのbit数を下げなければ物理的に無理だ。 シリアル伝送は伝送レートを下げずにバスのbit数を下げられるから、 この問題の解消に有効だと考えている。

シリアル伝送、いや出来ることならば光ファイバー化してコネクタ面積当たりの バンド幅を極限まで高めるのである。

最後にネットワーク結合網の改善である。 これは、光化ではダメだろうか。 光ファイバー化ではなく、あくまで光化である。

まず、バンド幅は光化も光ファイバー化でも改善できる。 問題はレイテンシ改善だ。 光ファイバーはガラスの誘電率の関係で信号の伝搬速度が 真空中の光の半分以下だ。 ところが、空気を媒質とするならばそれは真空中とほぼ変わらない値となる。 レイテンシ面では空気は理想的媒体なのである。

それを改善するため、あえてファイバーを使わずにクリーンルーム化した 空気中に半導体レーザー光を直接送り込むのである。 筐体間はミラーでつなぐのだ。 (遠距離伝送ではないのでレーザー光のコヒーレンシーを考えれば可能なはず。)

ネットワーク結合網は床が見えないほどの配線量
接続配線量は総延長2400km、総重量140t


問題はクロスバ用交換網で、現状では光学系交換機は レイテンシが大きい場合が多い。 光電変換していては光化の意味が失われるため、 マイクロマシン技術等を駆使しての低レイテンシ光交換機の開発が 重要開発課題と言ったところだろうか?

どうだろうか? プロから見たら噴飯物かな?



1)
正式名称をスペクトラムアナライザと言う、非常に高性能な測定器のこと。 たるさんの場合、ボーナスを全額突っ込んで かろうじて中古が買えるという高価なシロモノ。 使う時には、柏手を叩いて拝んでから使わないとバチが当たるという噂もある。

こいつを個人で所有している方は、紛れもなく 超絶スキルの持ち主と考えて間違いない。

これは本当に便利な測定器だ。欲しい〜。 (8595Aは測定終了後に、たるさんのヨダレでネトネトに なっていた事は言うまでもない。) ただ、使いこなすにはスキルが必要で、もし購入したとしても たるさんのスキルでは宝の持ち腐れ状態になるのは確実である。 詳しく知りたい方は、今号のトランジスタ技術に特集記事がある。

2)
このような増設という考え方は別段突飛なシロウト思考という訳ではない。 実は先例がある。 ASCI計画のASCI Qがそれで、今回2台のASCI Qを1台に結合して 性能アップを狙った。

ASCI Qの稼働状態 理論ピーク性能 実効性能 効率
結合後 20.48TFLOPS 13.88TFLOPS 68%
結合前 10.24TFLOPS 7.72TFLOPS 75%

しかし、上表を見ての通り、2台を1台に結合しても性能は2倍にはならない。 プロセッサ数が増えれば増えるほど効率は低下し、 しかも、その被害はスカラパラレル機の方が相対的に大きいのである。