米スプランクの「Splunk」は、ログを中心とするマシンデータから必要な情報を見つけ出す検索ツールだ。今まで運用管理やセキュリティ分野を中心に利用されてきたが、持ち前の汎用性を活かし、ビッグデータのトライ＆エラーでも有効活用されるようになっている。
独自データベースやサーチ言語が売り
Splunkはマシンデータから必要な情報を取り出すための検索機能を提供する。従来はシステムの運用管理やセキュリティ、レポーティングなど観点や目的別にソフトウェアが作られてきた。Splunkは、これら目的にとらわれず汎用的に検索できる仕組みを提供する。Splunk 日本オフィス統括担当の澤 英知氏は、「データベースのように結果を予想してシステムを構築するのではなく、入っているデータからなにかを見つけ、情報を抽出するというもの。先に結果を決めて構築するのではないので、拡がりが出る」と話す。現在、顧客はグローバルで4000社を超え、百数十テラバイト／1日を処理しているユーザーもいるとのこと。
Splunk 日本オフィス統括担当の澤 英知氏
基本的な使い方としては、まず生データをSplunkに取り込む。ファイルやフォルダを指定して取り込んでもよいし、TCP/UDPでデータを受信したり、スクリプトを用いてAPI経由でデータ収集してもOK。事前のスキーマ定義やカスタムコネクターは不要で、取り込めばタイムスタンプやIPアドレス、各種のIDを認識し、高速な検索できるようにインデックスを作成する。澤氏は、「マシンデータは一見意味のないデータに見えますが、お客様データや注文のデータなど重要な情報が隠れている。これらのつながりを見れば、大事な情報を抽出できる」と語る。
Splunkによるマシンデータの抽出
このインデックスをベースに、ユーザーはキーワードやアドレスなどを軸に検索したり、可視化することが可能になる。「一番大事なのが、タイムスタンプを中心にした独自のデータベースとインデックス構造、そしてこれを扱うためのサーチ言語。サーチ言語はUNIXのコマンドやExcelのマクロなどのよいところをうまく取り込んでおり、非常に使いやすい」（澤氏）とのこと。コマンドで扱うだけではなく、定型の検索を実行するためフォームやレポートを作成したり、SDKを用いてフロントのアプリケーションからSplunkの機能を呼び出すことも可能。バックエンドのSplunkがまったく見えない状態で導入されているケースも多いという。
Splunkでは、生データの取り込みが基本になるが、アプリケーションに特化したテンプレートがあった方が取り込みは早い。そのため、アプリケーションデータを定義したテンプレートを公開しており、現在では400以上が用意されている。「弊社で作ったテンプレートは、全体の20％に過ぎない。あとはコミュニティや開発者が作ってくれたもの」とのことで、開発プラットフォームやコミュニティの整備にも力を入れている。
運用管理やセキュリティからビッグデータまで
こんなにわかりやすいSplunkがわかりにくいのは、用途がきわめて汎用的だからだ。創業者はエンタープライズ向けのGoogleを作ろうとしたようだが、「社内システムのエラーをすぐに見つけられるということで、まずは運用現場の障害対策やインシデント管理に使われるようになった」（澤氏）という。その後、大手のシスコがSplunkをセキュリティログの解析に使うようになり、今度はフォレンジックとしての用途が訴求されるようになった。こうした経緯からSplunkは、セキュリティツールやログ解析ツールというイメージが強い。
しかし、最近はBI（Business Intelligence）やレポーティングなどビジネス用途で用いられることが多いという。「弊社のワークショップに参加される方は、情シスではなく、とにかくデータ分析をやってみたいという現場の方が多い」（澤氏）とのこと。ここらへんはマーケティングや営業分野がITを積極的に活用していく時代にマッチしている。先頃はビッグデータ分野での強化も進めており、Hadoop連携を発表。HadoopのファイルシステムであるHDFSを直接Splunkから読み書きすることが可能になっている。
マシンデータの利用は拡がっている
ビジネスモデルとしては、オンプレミスのソフトウェアライセンス、SaaS用ライセンスがメインになるが、フリー版が提供されているのが面白い。WindowsやMac OSなどひととおりのプラットフォームで利用でき、デスクトップでデータ検索を試すことができる。澤氏は、「Splunkは1日あたりのデータ処理量でライセンスが異なってきます。フリー版は500MB／1日までは無料で使えます。ですから、手軽に試行錯誤ができるんです。お金払ってないのにやりたかった分析ができたとか、感謝されることも多い。私もIT業界長いですが、こんなことあまりなかったです」と述べる。
設立されたばかりの日本法人はまだ4人だが、「Splunkを知っている有志が自発的に集まってやっているような感じ。とにかくSplunkのよさを日本でも伝えたい」（澤氏）と、士気は非常に高い。ユーザーの要望に応じて、セミナーを逐次開催しているという。
