最先端の素粒子物理データ解析システム換装で処理性能とストレージ容量を強化

東京大学素粒子物理国際研究センター様

プロジェクト概要

背景

素粒子物理学の国際共同実験で取得する膨大な実験データを高速に解析する大規模計算機システムを3年単位で換装している。第4期システムの目標は実験データの増加に対応した処理性能とストレージ容量の強化である。

ソリューション

832CPU/9984コアの計算サーバーおよび10.5Pバイトと大容量のディスクアレイ装置を採用。公開入札で選ばれた新日鉄住金ソリューションズの支援によって、サーバーやストレージなど600台超の機器を3カ月で換装する。

成果

短工期ながら計画通りハードウエアを換装。ソフトウエアのインストールなどを行って運用を開始した。プロセッサコア数やハードディスク装置の容量を増やすことによって、処理性能やストレージ容量を強化している。

  • 第4期システムでは、実験データ増加への対応をこれまで以上に重視

    スイスに建設された外周27kmに及ぶ大型の素粒子物理学実験装置を使い、世界38カ国178の大学・研究機関が共同で進める「アトラス実験」。同実験では、毎秒数百Mバイトと膨大な実験データが発生するため、大規模グリッドコンピューティングプロジェクト「WLCG(Worldwide LHC Computing Grid)」により分散処理を行っている。東京大学素粒子物理国際研究センターは、アトラス実験データ解析の国内拠点であり、WLCGによる世界的な分散処理の一部も担う「アトラス地域解析センター計算機システム」を2006年末に構築し、2007年から運用を開始した。同システムでは基盤ハードウエアを3年ごとに換装して処理性能を向上させてきたが、2015年9月に調達した第4期システムでは、実験データ増加への対応をこれまで以上に重視していた。

  • NSSOLが綿密に準備、600台超の搬入・設置などが10日以内に終了

    第4期システムの基盤ハードウエアは、計算サーバー416台で832CPU/9984プロセッサコアの計算リソースを用意し、80台のディスクアレイ装置でストレージ容量を第3期の1.5倍強、10.5Pバイトに増強する仕様だった。公開入札で選ばれた新日鉄住金ソリューションズ(以下、NSSOL)は、第1~3期のシステムを手掛けてきた実績を活かし、指定通り3カ月で第4期システムへの換装を行った。
    短工期の換装は綿密なキッティングで実現した。サーバーやストレージなどの機器はキッティング場でラックに搭載して配線。性能検証までを実施して、ラック単位でセンターへ搬入・設置することなどで、作業効率を高めた。サーバーとストレージ合計で600台超の機器を扱いながら、機器の搬入・設置、配線に要する期間を10日以内に収めている。

  • CPUコア数増加とHDD大容量化で、処理性能とストレージ容量を強化

    2015年12月末に第4期システムは基盤ハードウエアの換装を終え、ソフトウエアのインストールなどを行って運用を開始している。
    成果は期待通りである。システムの処理性能は、サーバー1台当たりのプロセッサコア数を増やして向上させた。ストレージ容量は、ディスクアレイ装置で使う個々のハードディスク装置の容量を2倍に増やして拡張している。これらにより、第4期システムでは、これまで以上に膨大な量の実験データに対応することができる。
    今後は、アトラス地域解析センター計算機システムと、世界各地の計算センターが参加するWLCGサイトとの接続に使うネットワーク帯域の強化などによってデータの転送速度を向上させ、さらに利便性を向上させていく予定だ。

コアテクノロジー

大規模なハードウエア/ソフトウエア/ネットワークをトータルで最適化するシステム構築・運用の実績と経験、HPC(ハイパフォーマンスコンピューティング)、大容量ディスクアレイ装置

システム概要

●サーバー:PowerEdge M630×416(計算サーバー)、PowerEdge R630×80(ファイルサーバー、AFSサーバー)、PowerEdge R730×2(DBサーバー)など
●ネットワーク:Brocade MLXe-32×2(高速イーサネットスイッチ)など
●ストレージ:Infortrend ESDS3024G000F8C16DO0×80(ディスクアレイ装置)など

東京大学素粒子物理国際研究センター様

所在地:東京都文京区本郷7-3-1(本郷キャンパス)

※ユーザー事例の記事内容は掲載当時のものとなっております。

見積もり、提案依頼はお問い合わせください。

関連リンク