通信サービスのさらなる信頼性向上へ Hadoopによるログ分析システムを構築

KDDI株式会社様

プロジェクト概要

背景

通信サービスのシステムごとに導入していたログ分析システムを、共通プラットフォーム上に再構築する。大量のログを高速に分析して障害の原因究明に役立てるとともに、将来は障害の予兆分析に活用したいと考えた。

ソリューション

オープンソースの分散処理ミドルウエア「Hadoop」でログ分析システムを構築し、高い性能・拡張性・コスト効率を実現する。新日鉄住金ソリューションズの支援で、Hadoopに関する知識・ノウハウの蓄積と内製化を進める。

成果

Hadoopによる新しいログ分析システムが少人数・短期間で完成。処理性能の大幅な向上を実現した。まずメールサーバーのログ検索に活用しており、今後は障害原因の究明および予兆分析への適用に取り組んでいく。

  • 通信のさらなる信頼性向上へ、ログ分析システムの刷新を検討

    「お客様の期待に応える価値あるサービスを提供する」など四つの基本理念の下、高品質の通信サービスを提供しているKDDI。同社が通信サービスで活用するシステムのログ分析システム刷新を検討したのは2010年ごろである。KDDIは社内にあるシステムのプラットフォーム共通化を進めており、その一環としてログ分析システムを共通プラットフォーム上に再構築する計画が立案された。
    新しいログ分析システムでは、通信サービスのさらなる信頼性向上に向け、社内にある多様なシステムのログを統合管理。大量のログを高速に分析して障害の原因を短時間で究明するとともに、将来は予兆分析によって障害が発生する前に対策を実施できるようにすることを目指した。

  • NSSOLの支援でHadoopによる分析システムを短期構築

    新しいログ分析システムでは、ログの増大にスケールアウトで対応できる高い拡張性や、内製化でコスト効率を高められる扱いやすさを備えるなどの要件を基に、オープンソースの分散処理ミドルウエア「Hadoop」を採用。プロジェクトを少人数・短期間で推進するため、新日鉄住金ソリューションズ(以下、NSSOL)に支援を要請した。NSSOLはシステム研究開発センターで予兆分析を研究していたほか、同社にはHadoopの知識やノウハウを豊富に持つエンジニアがそろっていた。
    プロジェクトは2011年9月末に始まる。システム設計を2011年内に行うと、構築を2012年3月に開始。同年6月に完成させた。NSSOLはKDDIの開発チームと緊密に連携して、企画・設計からテストまで幅広くプロジェクトを支援した。

  • 処理性能が大幅に向上、長期的には開発コストを削減

    完成したHadoopによる新しいログ分析システムは、1台当たり8Tバイトのディスクを搭載する計算ノード50台で構成され、システム全体の物理的なディスク容量は0.4P(ペタ)バイトに上る。処理性能は大幅に向上した。以前は翌日までかかっていた検索処理が、新しいログ分析システムでは当日中に結果を得られるようになっている。まずメールサーバーのログ検索に利用している。
    今後はチューニング、システム拡張やさまざまな分析アプリケーションの開発を行いながら、障害原因の究明や予兆分析に取り組んでいく。NSSOLの支援によって、Hadoopの分散処理に関する知識やノウハウを取得し、内製化を進めた成果も大きい。長期的には開発コストの削減や、開発スピードの向上が期待されている。

コアテクノロジー

Hadoop、MapReduce、ログ分析、並列処理

システム概要

●サーバー:計算ノード×50
●ミドルウエア:CDH(Cloudera's Distribution including Apache Hadoop)

KDDI株式会社様

本社:東京都千代田区飯田橋3-10-10
創業:1984年
資本金:1418億円(2012年3月31日現在)
営業収益:単独3兆2735億円/連結3兆5720億円
(2012年3月期)
従業員数:単独1万1194名/連結1万9680名
グループ会社:連結子会社118社、関連会社24社

※ユーザー事例の記事内容は掲載当時のものとなっております。

見積もり、提案依頼はお問い合わせください。

関連リンク