地球シミュレータ

地球シミュレータ（ちきゅうシミュレータ、英: ）は、NEC SXシリーズベース（現行機は第4世代のSX-Aurora TSUBASA B401-8）のスーパーコンピュータシステムである。

神奈川県横浜市金沢区の海洋研究開発機構 (JAMSTEC) 横浜研究所に設置されている。

目的・経緯 初代 1993年～1995年1994年春を除くにTOP500首位となった数値風洞計画（NAL、富士通）を先導した三好甫が、それに引き続き日本のスーパーコンピュータをリードするシステムとして、JAMSTECと日本電気を先導したのが本計算機計画である。また科学技術庁（1998年度当時）としては地球規模の環境変動の解明・予測といった大義の他、バブル崩壊により著しく落ち込んでいた業界の維持といった目的もあり、600億円を投じて開発が開始された。2001年下旬に三好は逝去したが、残された計画通りシステムは完成、2002年3月15日に運用を開始し、目標通りの威力を発揮した。まず、その実性能自体が「コンピュートニク」とすら呼ばれるほどの印象を高性能計算関連の（主として米国の）産官学に与えた。また科学的な成果としては、地球温暖化や地殻変動といった、文字通り地球規模でのシミュレーションに利用され、気候変動に関する政府間パネルの2007年ノーベル平和賞受賞にも大きく貢献し、他にも多くの計算科学による成果を上げた。その後も公募により、地球科学、先進・創出分野での共同利用が行われている他、2007年からは産業界による成果専有型の有償利用も可能となっている。 2代目以降 2009年3月に2代目のシステムへ更新、2015年3月には3代目、2021年3月には4代目のシステムに更新された。また初代以来、日本のHPCの旗艦としての役割を京・富岳と分担する他、名実共にNEC SXシリーズの旗艦という存在になっている。

構成 初代 250px|thumb|地球シミュレータ(初代)SX-5ベースである。SX-5では32チップで構成されていた計算モジュールを1チップ化し、それを8個集積した1ノードが8GFLOPS、それに16GBのメモリをともなう。640ノード（5,120CPU）を単段クロスバースイッチで接続、最大理論性能は40.96TFLOPSであった。このシステムのために開発された、計算モジュールを集積したチップは、SXシリーズの次の世代のSX-6にも活用された。

第2世代 250px|thumb|地球シミュレータ(2代目、2015年2月までの旧システム) SX-9ベースである。102.4GFLOPSの性能を持つプロセッサ8個と128GBのメモリを持つベクトル計算機ノード（地球シミュレータではPNと呼ばれる）160台（1,280CPU,1,280コア）を2段のクロスバースイッチでファットツリー状に接続し、最大理論性能131TFLOPSを実現している２００９年３月に新たなシステム（NEC SX-9/E）に更新しました。。

第3世代 代替文=地球シミュレータ（3代目、2021年2月までの旧システム）|サムネイル|地球シミュレータ（3代目、2021年2月までの旧システム） SX-ACEベースである。256GFLOPSの性能を持つプロセッサ1個（4コア）と256GBのメモリを持つベクトルノード5,120台（20,480コア）を2段のクロスバースイッチでファットツリー状に接続し、最大理論性能1.3PFLOPSを実現している地球シミュレータは、NEC社製のスーパーコンピュータSX-ACEで構成される、世界最大規模の分散メモリ型ベクトル並列計算機です。総計5120ノードの計算ノードを有し、各計算ノードは1基のCPU(4コア)と64GBのメモリを搭載しています。。

第4世代 720ノードのAMDのCPUと684ノードのSX-Aurora TSUBASA B401-8及び、8ノードのNVIDIA A100により、5,472台のベクトルエンジン（43,776コア）を搭載し、最大理論性能19.5PFLOPSを達成する見込みで、2021年3月1日より運用開始。200Gb/s HDR InfiniBandが使われている。また、データセンター環境監視システムにiDCNaviが使われている。

運用 単体能力を改善し、多目的に活用を図ることを目的として、スカラプロセッサからなるサーバを併用している。また、日本の学術研究のインフラストラクチャであるSINETに接続し、遠隔利用を可能にしている。AVS, Mathematica, Maple等の商用ソフトウェアやオープンソースソフトウェアも利用可能である。

第3世代までのOSはSXシリーズ用のSUPER-UXをベースに特化した拡張をしたものであり、プログラミング言語処理系としてはFortran 90・C/C++コンパイラが利用できる（いずれも地球シミュレータ専用のカスマイズや調整（チューニング）が入っている）。並列化にあたっては、「ハイブリッド並列化」と「フラット並列化」の二つのプログラミングモデルがある。前者はノード間並列化をMPI、ノード内並列をマイクロタスクまたはOpenMPで記述する一方、後者はノード間・ノード内の両方の並列化をいずれもMPIで書く。一般的には前者はパフォーマンス重視、後者はプログラミング効率重視のモデルとされている。ユーザはこれらの並列化に対応したプログラムをバッチジョブとして投入する。名前が与えるイメージとは裏腹に、GRAPEのような専用計算機ではなくあくまで汎用計算機であるので、地球科学とは直接にかかわりのない分子動力学計算などにも利用されている。

第4世代では、アーキテクチャの多様化とさらなる性能向上が図られており、AMD社製のEPYCプロセッサを基盤に、NECのSX-Aurora TSUBASA B401-8 ベクトルエンジン（Vector Engine, VE）およびNVIDIAのGPU A100を組み合わせたマルチアーキテクチャシステムとなっている。この構成により、従来のベクトルプロセッサに加えて、スカラプロセッサやGPUによる並列計算が強化され、様々な計算タスクに柔軟に対応できる設計となった。

OSにはLinuxベースのRocky Linuxが採用されており、VEノードにはNECのSX-Aurora TSUBASA専用の環境が提供されている。これにより、CPUノード、VEノード、GPUノードといった異なるアーキテクチャ間での効率的なジョブの割り当てやスケジューリングが可能となっている。特に、VEノードはNECの独自技術であるベクトル計算能力を備え、ベクトル化されたアプリケーションの高効率な実行が可能である。

プログラミング環境としては、従来から対応していたFortran、C、C++のコンパイラに加え、GPU向けにはCUDAなどの並列計算用フレームワークも利用可能となっている。並列化手法についても、従来のMPIによる並列化に加え、OpenMPを組み合わせたハイブリッド並列化が引き続きサポートされており、さらなるスケーラビリティと計算効率を実現している。

第4世代では、地球科学にとどまらず、AIや機械学習、さらには分子動力学や材料科学といった幅広い分野での利用が進んでいる。また、日本国内の学術ネットワークSINETに接続することで、国内外の研究者が遠隔からシステムを利用できるようになっており、その汎用性とアクセス性が大幅に向上している。

性能 初代 2002年3月15日に運用を開始したhttps://www.jamstec.go.jp/es/jp/es1/index.html。2002年6月にLINPACKベンチマークで実効性能35.86TFLOPSを記録し、スーパーコンピュータの計算性能の世界ランキングであるTOP500で第2位の IBM に5倍の差をつけてトップを獲得してTOP500 List, June 2002以来、2004年11月に IBM Blue Gene に首位を明け渡すTOP500 List, Nov.2004まで、5期連続でトップを維持した。これは全640ノードの内638ノード（5,104プロセッサ）を用いて得られたもので、ピーク性能に対する実測性能比は87.2％となる。ASCI Whiteが7.226TFLOPS（ピーク性能12.288TFLOPS：ピーク性能比58.8％）であったのと比較して、理論ピーク性能に対する実効性能の比が非常に高く、ベクトル計算機特有の高速メモリシステムおよび単段クロスバーネットワーク接続多数のマシン（あるいは、PU:ProcessUnit）同士を結合するネットワーク結合部にスイッチを配する。その結合方法が、マシン(PU)単位で観ると1対1結合であり転送速度は高速である（ワンステップで転送出来る）。その特徴より、理論ピーク性能に対する実効性能の比が他のネットワーク結合方式に比べて非常に高い。その反面、スイッチの数がマシン(PU)の数の2乗に比例するため、マシン(PU)の数が増える分スイッチを増やすのは予算的に難しくなる。また、多数のスイッチの同調を取りづらくなる特徴を持つ。によるものと分析された。

第2世代 初代のシステムを2009年3月に更新して、4月運用を開始したhttps://www.jamstec.go.jp/es/jp/es2/index.html。コストを抑え、さらに性能向上を図るため、2008年度に維持費とは別に5億円を計上し、6年間185億7600万円のレンタルにより新機種のSX-9/Eに更新し、ピーク計算能力を初代の3.2倍となる131TFLOPSに引き上げた。これにより、設置面積は半分の650平方メートル、電気代は従来の7-8割程度となる地球シミュレータの更新について、海洋研究開発機構計算システム計画・運用部、2008年11月14日 「地球シミュレータ」：計算能力毎秒１３１兆回　機種更新、毎日新聞、2009年2月27日。さらに、2009年6月にはLINPACKベンチマークで122.4TFLOPS（実行効率93.38%）を達成した。これは2008年11月発表のTOP500リストで実行効率世界1位、実行性能日本1位、世界ランキング16位に相当する新型「地球シミュレータシステム」、LINPACKベンチで122.4TFLOPSを達成、マイコミジャーナル、2009年6月4日。また、LINPACKを補完し、多面的な観点から性能を評価する目的で開発された性能指標を競うDARPA HPC Challenge Award Competitionにおいて、2009年11月には4部門(Global HPL, Global RandomAccess, EP STREAM, Global FFT)のうちEP STREAM、 Global FFT部門で3位「地球シミュレータ」がHPCチャレンジアワードの2指標で第3位を受賞、海洋研究開発機構、2009年12月1日、2010年11月にはGlobal FFT部門で1位を獲得した地球シミュレータがHPCチャレンジアワードの1指標で第1位を獲得、日本電気、2010年11月17日。

第3世代 SX-ACE 5120ノードへ2015年3月に更新平成27年度 地球シミュレータ産業戦略利用プログラム公募要領 独立行政法人海洋研究開発機構。このシステム更新で1.31PFLOPS、メモリ容量320TB、消費電力は約2MW以下（初代は約5MW、ES2は約3MW）となっている第3世代「地球シミュレータ」システムが本格稼働へ～1.31PFLOPS/320TB、実効性能で約10倍に。

第4世代 SX-Aurora TSUBASA B401-8, Vector Engine Type20B 8C 1.6GHz 5,472台へ2021年3月に更新。ピーク性能は19.5PFLOPS、前世代と比較して消費電力は同等ながら、設置面積は半減した。2021年6月のTOP500では、39位、ピーク性能13.448PFLOPSを記録している。

維持費 初代システムの維持費用は年間約50億円（内訳は電気代約5億円、ガス・水道代1億5000万円、保守費用45億円）であった。消費電力は約6MWで、実アプリケーションの性能を確保するための高速メモリとネットワークに必要な電力とされた。

地球シミュレータのような専用のベクトルプロセッサを用いた計算機は、近年主流となっているPCクラスタに比べ価格性能比が低く、性能当たりの消費電力が多いとされる。ベクトル計算機とPCクラスタは得意分野の違いもあり、単純比較することは必ずしも適切ではないが、例えば2006年から運用開始された東京工業大学のTSUBAMEは、2002年に運用開始時の地球シミュレータと比較して導入費用は20分の1、電気代は5分の1、計算速度は1.6倍（LINPACK性能比）であった。

脚注

外部リンク JAMSTEC 地球シミュレータ Top500 これが世界最速スパコン“地球シミュレータ”だ!(ASCIIデジタル記事2002年06月14日)　初代地球シミュレータ

地球シミュレータ第4世代へ、台風の卵発見や月間天気予報視野に(日経エレクトロニクス記事2020年10月23日) 「地球シミュレータ開発史」（海洋研究開発機構）PDF