Warm heart Cool mind

チャンス発見のデータ分析―モデル化+可視化+コミュニケーション→シナリオ創発

現在KSK-solでもオープンソースを活用したBI（ビジネスインテリジェンス）の企画・開発を進めています。しかし、BI・データマイニングは万能の意思決定システムではありません。やはり限界があるといえます。例えばそれは、次のようなパターンの場合。
①「スルメはビールと一緒に売れることが多い」（当たり前ではないか！）
②「ビールは牛乳と一緒に売れることが意外に多い」（それは少し意外だ）
③「ビールと野菜を買う人は、魚も買うことが多い」（理由を教えてくれ）

つまり
①当り前でもともと知っていた知識
②意外だが興味を引かない、すなわち意味の少ない知識
③理由を知りたいほど興味を感じるが、背景の文脈が分からないため使えない知識
をコンピュータが出力する場合がほとんどであり、ビジネスに活用できないということです。

本書は、この問題にKey graph（polaris）といったシナリオマップで、人間の経験も加味したチャンス発見、ひらめきのメカニズム解明に取り組んでいます。豊富な参考文献から、データマイニング・テキストマイニング・AI・経営学等の視点より内容の割に分かりやすく書かれています。データマイニングが広まって約10年、現在はまだコンピュータはあくまでツールであり、そこからどのようなシナリオを作り、未来を予測するかはヒトの領域ということでしょう。

本書は、今後の参考になる良書でした。「チャンス発見学」というジャンルにも強く惹かれました。面白い。

現在、ある中堅スーパーマーケットのPOSデータ分析＆コンサルティングを行っています。もともと店長会議等ではPOSデータから取ったデシル分析や顧客別購入金額の推移等を見て、品ぞろえや販売促進に活用していましたが、さらに有効に活用したいということで、今回のコンサルティングにつながりました。

お店自身は、尼崎市にあります。駅前でもないにも関わらず、結構にぎわっており、地元のおばさんに愛されているお店です。実際に訪れてみると、売れているお店特有のにぎわい感がでています。またここの理事長がバイタリティのある方で、各売り場責任者とも一致団結して近隣の大型店に負けまいと頑張っています。

さて、データの分析のほうは先方のPOSデータを元に、今まで何回かクロス分析を行って売り場ごと、顧客ごとの傾向を見てきました。次回のミーティング時には、データマイニング手法を使ったバスケット分析を行う予定です。バスケット分析とは、顧客の買い物かごの中身を分析することです。顧客の買い物かごには、オレンジジュース、バナナ、バナナ、ソフトドリンク、ガラスクリーナー、洗剤・・・などがはいています。1つの買い物かごには1人の顧客が1回の買い物で購買したものが示されます。全顧客の購買のリストは、ようり豊富な情報を持ち合わせます。それは小売業にとって重要な情報、何がいつどのように購入されたかということです。

このようなバスケット分析を行うには、こんなデータを・・・
オーダーID　品目ID　B商品　1
オーダーID　品目ID　C商品　2
・・・

こんなデータにしなければなりません。
オーダーID　商品A　商品B　商品C　商品D
　　X　　　　　　0　　　　1　　　　2　　　　0
・・・

これくらいのデータだと簡単なのですが、今回のデータ（数十万件）のデータだと、とても手作業では難しいのが現状です。今回は、これをオープンソース　BI（ビジネスインテリジェンス）　PentahoのETLツールであるKettleを用いて行う予定です。また結果をアップしたいと思います。

参考図書：
データマイニング手法―営業、マーケティング、CRMのための顧客分析

昨日、東京のBIを中心にビジネスをされている企業の方々と面談を行い、今後のBIのビジネスを行っていく上で、非常に有益なミーティングでした。ミーティングというよりもレクチャーに近かったかもしれません。

先方は東京に特化しているため、関西マーケットでの協業という面では、今後もつながりが生まれるかもしれません。その他、eコマースBIについて、オープンソースについて、業界について、いろいろと有益な情報が得れましたが、一番大きいかったのは、"BIがやはりニッチであること"が再認識できたことです。

ニッチであるからこそ、利益率は高く留めることができます。ただし、ニッチであるために、売上規模は期待したほどにはならないということです。いわゆる経営コンサルティング業と同じです。BIを武器にしたコンサルティングは、従来のコンサルタントにとって大きな武器となるでしょう。しかし、TraditionalなSI企業が参入するには、マーケットが不足しています。

やはり、BIを絡めた各種サービス、たとえば、データ分析サービス、パッケージツールの提供、レポートやASPサービスの提供が売上を確保するには必要になるでしょう。そういった意味で、私が今まで考えていたコンサル・SI→特定用途向けBIツール提供のアプローチは間違っていないという、自信が持てました。引き続きプランをブラッシュアップしていきたいと思います。

本日、Pentaho（ペンタホ）とのSIパートナー契約を発表し、正式にPentahoオープンソースBI（ビジネスインテリジェンス）サービスの提供を開始いたしました。すでにPentaho社とは、昨年よりやり取りを開始し、日本市場へ向けたサービス展開を協議してきましたが、やっとサービス開始にこぎつけました。

率直に言って、Pentahoプロジェクトは、多くの課題も抱えていますが、それを凌駕する素晴しいオープンソースを提供しています。日本では、BI（ビジネスインテリジェンス）自体がメジャーではないのことに加え、日本語環境が提供されていないため、認知度は低いですが、海外では多くの企業で導入が進んでいます。KSKソリューションズでは、このオープンソースBIのメリットもデメリットもひっくるめて、日本の市場に紹介し、根付かせていきたいと思います。

プレスリリースの内容はこちら

BIを展開しておられる各社の責任者の方々と話をすると、これが必ず話題に上ります。

BIは企業内の情報システムと密接に関連します。またシステムだけでなく業務プロセスと関係するために、信頼性も要求されます。安全志向・実績重視・大手SIer寡占の日本市場で、オープンソースによるBIプロジェクトは本当に受け入れられるのか？根付いていくのか？

私個人としては、1年という短いスパンでは変わらないが、5年のスパンでは、確実に根付いていくと思っています。ただし、課題は「信頼性」と「日本語化」でしょう。

１．「信頼性」という課題
前者の「信頼性」に関しては、今後は確実に向上すると思われます。これはいろんなオープンソースの歴史を見ても明らかです。5年前には、想像できなかったようなサービスがWebを中心に現実のものとなっています。

先日、トーマス・フリードマンの「フラット化する世界」を読んでいたら、WebサーバのオープンソースであるApache（アパッチ）との出会いについて書かれていました。今から10年ほど前、彼はある企業のITプロジェクトでチームのSEがWebサーバにApacheを使っていると聞いて、問い詰めたそうです。

フリードマン　「何なんだ！そのアパッチってやつは！インディアンの親戚か！」
若手SE　　　「知らないんすか。最近使われてWebサーバのオープンソースっすよ。」
フリードマン　「オ、オープンソースって、それは誰が保証してくれるんだ、困ったときには誰が
　　　　　　　　　サポートしてくれるんだ！」
若手SE　　　「でもちゃんと動きますよ。ドキュメントもコミュニティサイトにありますし。」

・・・（多少記憶違いがあるかもしれませんが大筋こんなエピソードでした）

現在、ApacheはWebサーバとして、世界中で動いているスタンダードです。日本でも当然のように至るところで使われています。どのオープンソースでもそうですが、ある一定期間・一定導入数の臨界点を超えると「信頼性」が加速度的に高まっていきます。そういう意味で、オープンソースBIも近い将来BI構築のスタンダードになるであろうと思うのです。

２．「日本語化」の課題
もう一つの課題に「日本語化」があります。日本にもIAFコンサルティングさんが作ったOpen Olap等オープンソースBIがありますが、やはり統合的なBI環境、開発のスピードや展開のダイナミックさでいうと、海外のBIプロジェクトに分があるのは否めません。その中でも、やはりPentahoは一番魅力的なオープンソースBIになるでしょう。ただドキュメント類はすべて英語。KSKソリューションズでも、一部日本語化を進めていますが、Pentahoは複数のチームで開発されているためバージョンアップが非常に早く、すべてを日本語化することはほぼ不可能または翻訳しても無駄といえます。

それよりも、我々がPentahoの技術をキャッチアップしながら、お客さまのニーズにあったBIシステムを構築するサービスを提供したほうが、お客さまのためにも、我々の睡眠時間確保のためにもよほど有益だと思うのです。

実際にユーザーが求めるのは、「BIシステム」ではなく「BIシステムを活用した売上・利益向上、現場改善、解約率の低減、優良顧客の特定・・・」になるはずです。KSKソリューションズでは、お客さまの本当の便益（ベネフィット）に集中することで、ドキュメント類の言語はさほど問題にならないと考えています。

追伸：
（ただし、我々のようなBIベンダーには英語は必要不可欠と思います。新しいBI技術・手法はやはり英語圏から生まれていますので。KSKソリューションズでは、Pentahoだけでなく、今年より米国オレゴン大学内に研究所を設置し、データマイニングの共同研究を始めました。BI技術や手法に関することは、「KSKソリューションズにアウトソーシングするよ」と言っていただける企業になっていきたいと思います。）

1.BIって何？
最近、いろんな経営者やコンサルタントの方に、BI（ビジネスインテリジェンス）事業やオープンソースBIであるPentahoのお話をすることが増えました。そこでよく聞かれるのが、「結局BIって何？」ということです。

Googleで検索するとTopにこれがきます。
http://e-words.jp/w/BI.html
業務システムなどから蓄積される企業内の膨大なデータを、蓄積・分析・加工して、企業の意思決定に活用しようとする手法。ERPパッケージやCRMソフトなどからもたらされるデータの分析を専門家に依存せず、経営者や社員が必要な情報を自在に分析し、経営計画や企業戦略などに活用することを目指している。・・・

ただ、実際にBIを使った人でないと分かりにくいのが実情です。そこで、さまざまな視点からKSK-solなりに定義していきたいと思います。

2.BIとは
組織論的にいうと、BIは因果関係（原因と結果の関係）を明らかにする仕組みといえます。

ビジネスにおいて「結果」とは、業績・売上・利益です。
「原因」とは、行動やプロセス、もっと具体的にいうと、営業の訪問件数や提案回数、コールセンターの通話率、Webサイトのアクセス数やコンバージョン率などです。

良い結果には必ず良い原因があり、悪い結果には必ず悪い原因があります。

組織の中の良い結果（ベストプラクティス）を集めて、他部門へ展開することが組織には求められます。トヨタ生産方式がなぜこれほどまで有名になったのでしょうか？
それは、良い結果（業績）上げる原因（プロセス）を、他部門や他者や他業界が取り入れようとしているからに他なりません。

BI（ビジネスインテリジェンス）は、この「結果」をもたらす「原因」をデータを通じて知識化していくプロセスです。具体的には、OLAP、データマイニング、ダッシュボード、レポートといったツールにより、なぜ成功したのか、なぜ失敗したのかを分析し、討議し、改善に生かします。

こうした取り組みにより、組織にビジネス上の知識（ナレッジ）が蓄積され、強い企業へと変わっていきます。

　現在、KSK-solでは、大手鉄道会社様向けのBIプロジェクトが走っています。これは、工場の中の生産性を高めるために、各種データをダッシュボード・レポート・データ検索（トレーサビリティ）を駆使して管理・分析しようとするものです。マーケティングでは、顧客分析という意味で、BIの認知は上がってきているといえますが、生産や物流等では、まだまだです。しかし、最近は「現場の見える化」という言葉により、Man（人）・Machine（機械）・Material（原材料）の観点から、最適な生産方法を現場の知恵を集めて改善していこうとする動きは活発になっていると思われます。

BIはPlan-Do-Check-Actionサイクルの中のCheckやActionフェーズで特に大きな力を発揮します。
・工程内の改善策を練る（Plan）
　　↓
・改善策を実施する（Do）
　　↓
・ダッシュボードにより、出来高や稼働時間をチェックし、改善の効果を図る。（Check）
　　↓
・レポート等により、定例会で問題点をチームで話し合い、さらなる改善策を錬る。（Action）

従来の5SやQCなどの改善手法も確かに効果的ですが、それによって「どれだけ改善されたのか」「何が原因で良くなった（悪くなった）のか」を把握することは、良質なスパイラルを回す上で必要不可欠といえます。

従来は、こうしたBIツールは非常に高額でしたが、オープンソースBIのPentahoのようにライセンス料がかからないツールが普及しはじめています。いままでBIとは無縁だった世界に、こうした技術が転用されイノベーションが起きることが我々の願いであり、意図するところです。

今回は、Pentaho関連の情報をお伝えしてまいります。

Pentahoでは、毎月１回、全世界のパートナーがWebを介して会議を行います。（日本時間の深夜1:00からというのが厳しいところですが。。。）先週のパートナー会議では、以下のUpdateが発表されました。

・OlapエンジンのMondrian3.0がリリースされました。
・Pentaho Reporting EvaluationがUpdateされました。
・まもなく（30日以内に）Pentaho OpenBI 1.7がリリースされます。
　前回の1.6からもうバージョンアップ、かなりのハイペースです。
　
また、新たなプロジェクトも開始されます。
・Mantle・・・Google Web tool Kitを使った新しいユーザーインタフェースのプロトタイプ
・Halogon・・・Google Web tool Kitを使った新しいOLAPフロントエンドプロジェクト

プロジェクトの詳細が分かりましたら、またお知らせします。お楽しみに。

KSK ソリューションズでは、2008年5月14日-16日に東京ビッグサイトで開催される「第13回データウェアハウス＆CRM Expo」に出展いたします。

当日はオープンソースBI「Pentaho」のデモを毎日実施いたします。また、BIコンサルタントがシステム構築のご相談にのります。

Pentahoのメリット・デメリットを余すところなくご紹介させていただきます。

招待状が必要な方は、弊社ホームページの「お問合わせ」より、「EXPO招待状希望」と記載いただき、お気軽にお申し込みください。追って招待状を郵送させていただきます。

多くの皆様のご来場をお待ちしております。

日本では、まだまだこれからのBI（ビジネスインテリジェンス）ですが、アメリカではBI専門サイトがあり、Podcastで情報が配信されています。

その中でも、B-eye Network.comは、DWHやBIに関するポータルサイトになっており、各種のレポートやブログ、ニュースなどが充実しています。特にPodcast番組では、毎回BI、データ・テキストマイニング関係のベンチャー企業CEOやテラデータ、コグノス等のBI大手のプロダクトマネージャーのインタビューがあり、通勤途中の電車で聴くのにちょうどよいボリュームの番組です。もちろん、Pentahoに関する情報も多くあります。ご興味のあるかたは、ぜひチェックしてみてください。

定期的に聴いていると、よくこんなにBI関連のベンチャー企業がいるものだな、と感心します。同時に、それぞれユニークな特徴があり、マーケットの大きさと多様性がうらやましくもあります。しかし、近い将来同様の流れが日本でも起きてくるようにも思います。

「分析力を武器とする企業」　トーマス・ダベンポート著を読みました。タイトルに惹かれて、即購入。新鮮さはなかったものの、改めてビジネスインテリジェンス導入後の活用、組織文化や人材の大切さを再確認しました。

分析力を武器とする企業 強さを支える新しい戦略の科学

本書では、P&Gやキャピタルワン（金融）、ハラーズ（カジノ）やアスレチックス（野球）などの実例をもとに、分析力が企業のコアコンピタンスとなっており、今後もますますその傾向が強くなるであろうと予測しています。データに基づいて論理的に意思決定できる企業が今後さらに成長していくことになるでしょう。

しかし、どうすれば企業は「分析力」をつけることができるのでしょうか？
A「高価なBIツールを導入する。」
B「データマイニングの専門家を雇う。」
C「社員に統計やロジカルシンキングの研修機会を設ける。」
D「コンサルタントや外部の機関にアウトソーシングする。」・・・・

他にも、さまざまな方法が考えられますが、最も重要なのは、トップマネジメントの姿勢だと本書は述べています。当たり前といえば、当たり前ですね。社長がデータを無視した直観的経営を行っているのであれば、どんな素晴らしい分析やレポートも、意思決定の役には立ちません。
すなわち、経営トップがデータをもとにした意思決定を行う姿勢を示すことが「分析力」に秀でた企業となる第一歩というわけです。

そのためには、経営者もデータや統計に関するある程度の知識が必要になります。標準偏差、相関係数、5%有意水準・・・。分析そのものをする必要はなくても、分析担当者と深いコミュニケーションができなければ、意味がありません。

個人的には、現在このような経営者はまれにしかいないと思います。しかし、このような経営者がこれからさらに多く出現し、そして高い確率で成功を収めていくであろうことは予感できます。MBA等ビジネススクールの出身者にこのような傾向が強いことも挙げられます。

我々も、ぜひそうしたデータを重視する企業をサポートし、一緒に成長していきたいと思います。オープンソースBIの提供を始めてから、さらにそうした想いを強くもつようになっています。

KSKソリューションズでは、現在サン・マイクロシステムズ株式会社様とのコラボレーションを進めています。これは、DWHのSun Datawarehouse Applianceと、オープンソースBIのPentahoを組み合わせたソリューションを提供するものです。

DWH（データウェアハウス）は、まさに企業の「データの倉庫」。過去からさまざな製造データ、販売データ、人事データなどを時系列に蓄積するデータベースです。ビジネス・インテリジェンスの活用には、しっかりしたDWHの構築が欠かせません。Sun Datawarehouse Applianceの特徴は、なんといってもそのパフォーマンスの高さとローコストです。SunとオープンソースDWHのGreenplum（グリーンプラム）が共同開発したアプライアンスで、数千テラバイトのデータを高速に扱うことができます。競合のネティーザ、Teradataに比べて高速かつ低コストを実現したモデルです。

・10TBあたりの価格比較
　Teradata：800万ドル
　Netezza：110万ドル
　Sun GP：　35万ドル

オープンソースのBI統合環境である「Pentaho」は、このアプライアンスの魅力を最大限に活用する可能性を持っています。具体的には、

１．オープンソースのメリットを最大限に活用
BIツール導入の一つの障壁は、そのライセンス費用の高さです。ユーザーが多くなるほど、ライセンス費用だけで数千万となることも珍しくありません。Pentahoは、オープンソースですのでユーザー数に関係なく利用できます。またソースが公開されているためカスタマイズも可能です。

２．統合的なBIプラットフォーム
今までのBIツールのオープンソースは、レポート・OLAP・データマイニングなど個別のプロジェクトでしたが、Pentahoが個別プロジェクトを統合したことで、エンタープライズで十分使用可能なBI統合環境を実厳しました。Sun Datawarehouseとの組み合わせで、さらに強力なデータ分析・活用が可能になります。

またリリースの時期がきましたら詳細をご案内します。ご興味のある方はお気軽にお問合わせください。
www.pentaho-partner.jp
www.ksk-sol.jp

弊社KSKソリューションズが提供するBI（ビジネスインテリジェンス）ツール「Pentaho」は、データを集約・整理・分析して意思決定を行うシステムをご提供するものです。ただ、お客様は大きく２つのタイプに分かれます。

タイプAのお客様：

タイプAのお客様は、自社内に蓄積されたデータを、経営層またはマネージャー層の方がレポートや多次元分析、ダッシュボード等により日常の意思決定を行うために利用されています。売上、利益、顧客に関するデータを、年月別、商品別、地域別、担当者別など複数の切り口でレポートすることがメインです。いわゆるトラディショナルなBIツールの使い方です。

タイプBのお客様：

タイプBのお客様は、社内・社外のデータを活用して、自社の顧客に情報を提供することで価値を提供される企業です。自社の提供サービスの付加価値を高めるために、自社のデータをさまざまな切り口でクライアントに提供されます。ECサイト運営会社様、リサーチ会社様、SaaSベンダー様など、特にIT、インターネット系の企業が主流です。いわゆる新しいBIツールの使い方といえます。

従来のBIツールは、ユーザー数が社員に限定されるタイプAのお客様に向けたものでした。ただデータが爆発的に増える時代になってくると、当然タイプBのようなお客様が増えてきます。特にクラウドが花盛りになっている昨今ではこうしたニーズが増えるのは必然といえます。

オープンソースのBIツールは、商用BIツールをお使いのタイプAのお客様にも当然利用いただけますが、タイプBのお客様にはユーザーライセンスに関係なく使用できるため、さらに魅力的に映るようです。Gartnerなども提唱しているように、社内ユーザーだけのBIツールではなく、社外や取引先と共有するBIツールやコラボレーションの需要が今後はさらに増えるでしょうね。

ソフトウェアの開発手法に「アジャイルソフトウェア開発」があります。これは従来の「ウォーターフォールモデル」での開発の反省から、より迅速にユーザーニーズに適したものを提供する開発手法として、広まりつつあります。

弊社で行っているBI（ビジネス・インテリジェンス）では、このアジャイル開発が良くフィットします。なぜなら、BIで扱うものは、「ビジネスの因果関係」そのものだからです。

不明確なビジネスの因果関係
だれでも、「どうすれば売上を上げれるのか？」「利益を上げられるのか？」を知りたいと思っています。そのために、蓄積されたデータ（結果指標）を分析します。しかし、漫然とデータを見るだけでは何も分かりません。

一般的に、ビジネスの成果指標（つまり結果）は、「売上」や「利益」です。
その向上のための先行指標（原因）は、「見込数」「顧客数」「リード数」「アクセス数」などです。

良い結果には、必ず良い原因があり、悪い結果には、必ず悪い原因があります。

有能な営業マンや、経験豊富な現場の作業者は、それらを暗黙知として身につけています。これらを事実データに基づき形式知化して、全社員に共有するのがBIです。

BIでは、OLAP（多次元分析）やデータマイニング等で大量のデータを様々な角度から分析し、レポートで全社員にタイムリーに共有することができます。またETLにより、データが常に正確かつタイムリーに収集・蓄積されます。

アジャイルBIの必要性
BIのメリットを享受するためには、こうした処理を柔軟かつ迅速に行う必要があります。しかし、従来のウォーターフォールモデルでの開発では、しっかりと仕様を決めてから開発し、テスト・検証する必要がありました。しかしこれでは、BIシステム構築までに非常に時間がかかってしまいます。また変更を行うにもさまざまな検証時間やコストが必要になり、結局変更をあきらめざるを得ないという状況になってしまいます。

BIをアジャイル開発で行うことは、こうしたシステム側の制限からビジネス部門のユーザーを解放するとともに、システム部門の負荷を減らすことにもつながります。弊社が提供するPentahoも今年はアジャイル開発に力を入れて、製品を提供し始めています。
http://www.pentaho-partner.jp/blog/2009/11/pentahobi.html

BIソフトウェアの分野は、各社が製品機能の優位性を競うフェーズから、メソドロジー（方法論）やディストリビューション（配布形態）を競う時代に入りつつあると思います。

今月より、弊社ではオープンソースのデータウェアハウスソフトであるInfobright（インフォブライト）のサービスの提供を開始しました。主力のPentahoに次ぐ新たなOSS製品となります。すでに多くのお客様よりお引合いをいただいており、順調な滑り出しとなっています。

Infobrightとは？
Infobright社はカナダ・トロントに本社を置くオープンソースの分析データベースのパイオニアです。2008年の製品提供開始より、世界10カ国120以上の企業で使用実績があり、現在その導入数を飛躍的に伸ばしています。詳細は、日本語サイトをご覧ください

なぜInfobrightか？
「速い」「安い」「簡単」がInfobrightの特徴です。従来のDWH用のデータベースソフトウェアやアプライアンスとほぼ同等の機能をオープンソースビジネスモデルにより低価格で提供できるのが、最大の売りです。
詳細は、こちらを参照ください。

KSKソリューションズのビジネス
KSKソリューションズの事業は、オープンソースを使用したKnowledge Discovery（知識の発見）の仕組みを提供することです。弊社は、オープンソースのBIツール「Pentaho」、オープンソースのDWH「Infobright」などの海外の「データ分析」に関わるOSSを積極的にキャッチアップし、日本国内での技術サポートやトレーニング、セミナーなどを行っています。
今後、さらに日本企業がオープンソースを使用して、組織のデータ活用力を高める支援をしていきたいと思います。

Big picture
Pentaho（アジャイルBI）、Hadoop/Hive/Mahout、Infobright・・・、近年、Analytics分野のOSS製品の発展には目を見張るものがあります。BI/DWH環境をフルオープンソースで実現することが現実のものになりつつあります。ご興味のある方は、ぜひ弊社無料セミナーまで足をお運びください。

元UCバークレーの教授で、現在はGoogleのチーフエコノミストを務めるHal Varian氏のインタビュー記事を読みました。マッキンゼーのインタビュー記事原文はこちら　以下、抜粋です。

I keep saying the sexy job in the next ten years will be statisticians. People think I’m joking, but who would’ve guessed that computer engineers would’ve been the sexy job of the 1990s? The ability to take data?to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it?that’s going to be a hugely important skill in the next decades, not only at the professional level but even at the educational level for elementary school kids, for high school kids, for college kids. Because now we really do have essentially free and ubiquitous data. So the complimentary scarce factor is the ability to understand that data and extract value from it.

"私は、「次の10年でセクシーな職業は統計家になるだろう」、と言い続けている。人々は私がジョークを言っていると思うかもしれない、しかし誰が1990年代でコンピュータエンジニアがセクシーが職業になると予想できただろうか？データを取り出し、理解し、処理し、そこから価値を引き出す能力、それらを見える化し、コミュニケートしていく能力こそ、次の10年で最も求められるスキルとなるだろう。プロフェッショナルなレベルだけでなく、小学生・高校生・大学生の教育的なレベルでも必要となる。なぜなら、私たちは現在本当に実質的にフリーでユビキタスなデータを手にしているのだから。そこで不足してくる要素はデータを理解し、そこから価値を引き出す能力である。"

Hal Varianの言葉がすべてではありませんが、「データ分析・活用」の重要性が次の10年で高まるのは明らかです。Google、Amazon、Facebookなどは、どんどんデータマイニングや統計の専門家をリクルートしています。日本でもこうした採用が増えつつあるように思います。社員こそが会社の資産だ、と良く言いますが、社員のデータ分析・活用リテラシーが、その企業の競争力の源泉になる日も近いのではと思います。

みなさんは、次の10年どんな職業が人気を集めると思いますか？

BI（ビジネスインテリジェンス）という言葉がかなり一般的になりましたが、今後のデータ分析、活用という視点で語られる時に、最近はBA（ビジネスアナリティクス）という言葉が広く使われるようになっています。B-eye-network（米国のBI専門サイト）では関連のウェビナー等も増えています。

【BA（ビジネスアナリティクス）とは】
人によって少しずつ定義は異なるようですが、「データを見る、整理する」だけではなく、「データを活用して未来を予測し、ビジネスを最適化させる」仕組みと言えます。今後、社内・社外を問わず、データが爆発的に増えていく中で、情報を上手く引き出し、活用していくリテラシーは、どの企業にも必要になってくると思います。

「BIツールも使いこなせていないのにBAなんて無理！」「うちには統計の専門家なんていない！」などのお話を伺うこともあります。しかし、Excelによってビボット分析がビジネスユーザーに馴染みあるものになったように、ツールが私たちのビジネススタイルを変えていくことがあります。分析ソフトウェアはどんどん進化して、より使いやすくなっています。

また、すべての企業にBAが浸透しないとしても、成功する企業にはビジネスデータ分析の文化が必須（KFS）となると思います。「BAを取り入れる→成功する企業」ではなく「成功する企業→BAを取り入れている」といった因果関係が増えてくるのではないでしょうか？

【BAに求められるもの】
BAでは、従来のBIに加えて、予測や最適化など、今あるデータに付加価値を付けた情報が必要になってきます。そのため、ツールの機能としても、従来のレポートやOLAP、ダッシュボードだけではなく、１．データマイニング、統計解析等の高度な機能（Analytics）が求められます。また、予測精度を上げようとすると豊富なデータが必要であり、２．大量データ（Big Data）を適切にハンドリングする仕組みが必要です。さらに、最適化のレベルまで行うには、ビジネスプロセスとの連動が必要であり、３．業務システム（Applications）との深いレベルでの統合が必要になってきます。

【商用ベンダーのアプローチ：伽藍方式】
大手商用ベンダーを中心に、昨今Analytics関連の大型買収が相次いでいます。彼らの狙いは、自社のプラットフォームで、顧客のBA（ビジネスアナリティクス）のニーズに応えることです。そのために、データウェアハウスや統計分析、データマイニングのソリューションを充実させる必要があります。
E・レイモンドは、「伽藍とバザール」（原題The Cathedral and the Bazaar）で商用ソフトウェアのことを伽藍と書きましたが、私はこれにならって、このモデルを伽藍方式と呼びたいと思います。（伽藍とは聞きなれない言葉ですが仏教用語で寺院等の建造物を指します。英語はCathedral=教会の建物のことを言います。こちらの方がしっくりくるかもしれませんね）伽藍方式は、しっかり計画を立てて重厚に建造することができますが、変化に柔軟に対応することができません。またその中身は外からはうかがい知ることができない閉鎖的なものです。

【オープンソースベンダーのアプローチ：バザール方式】
私たち、KSKソリューションズは、オープンソースBI（ビジネスインテリジェンス）を中心に事業を行ってきました。そして、現在オープンソースBA（ビジネスアナリティクス）へ進化しつつあり、そのための布石が整いつつあります。例えば、大量データの分散処理に必要なHadoop/Hiveとの統合、統計解析のRやデータマイニング、テキストマイニングのWeka、SFDCやGoogle、Amazonなどクラウドとの連携、OSSのデータウェアハウスソフトの普及など、今までは1社で用意することが到底無理であったBAに必要な要素がOSSやクラウドサービスを組み合わせることで、低コストにかつ柔軟に使うことができるようになってきました。

Pentahoは、ちょうどこれらのハブになるBIフレームワークです。複数のApplicationsを統合し、Big Dataを整理・統合し、Analyticなツールと連携して予測や最適化を行うことができます。

オープンソースの特徴は、Freeです。これは１）無料というコンテキストで語られるのに、加えて、２）自由という意味でも語られます。特にこの後者の意味が、数年後の拡大したBA市場において、非常に重要な意味をもってくると思うのです。オープンソースは、軽い費用負担に加えて、環境変化に柔軟に対応でき、周囲とも自由に連携ができるのが強みです。このモデル自体が、成功するデータ活用型企業のメンタリティを体現しているとも言えます。

Pentahoを中心に日本でもオープンソースのBI（ビジネスインテリジェンス）が広まってきました。Gartnerは2012年にかけてこの市場は5倍に成長するだろうと予測しています。Gartnerの予測が100%的中するとは限りませんが、Pentahoは2010年度で前年比約150%成長するようです。このペースで行くと、大きく外れることはないように思います。

ただ、まだオープンソースBIについて誤解をされている方が結構いらっしゃいます。また競合他社も自社の顧客をガードするために、オープンソースBIについて間違った言及をすることがあります。

例えば以下のような．．．

“オープンソースBIは、商用BIの一部の機能しか持っていませんよ。”
確かに10年前のオープンソースBIはそうでした。ETL(Kettle), OLAP(Mondrian), レポート(Jfree report),データマイニング(Weka)など個別のプロジェクトが存在しているだけでした。2005年にPentahoができ、これらが統合されました。現在は、フル機能のBI Suiteが提供されるようになっています。

“オープンソースBIはダウンロードされているだけで商用では使われていませんよ。”
これは20年前の考え方です。今は商用でもバリバリと使われています。これはBIに限らず、すべてのオープンソースに当てはまります。特にオープンソースBIは、金融・通信・小売など特に大手企業での導入が増えています。

“商用BIは何千もの顧客で実績があります、オープンソースBIを使うことで失敗リスクを高めたくないでしょう？”
商用BIツールの方が失敗リスクは高いといえます。BIプロジェクトにおける失敗とはなんでしょうか？ほとんどの失敗は、BIシステムを完成できないことではなく、BIシステムをエンドユーザーが活用しきれないことです。この原因になっているのは、１）コンサルタントやSIerのBI活用ノウハウの不足、２）ユーザーへのトレーニングやサポートの不足、３）ビジネス環境の変化への対応不足、などです。特に２）についてはソフトウェアを買うことに予算が回ってしまい、活用するための予算が取れていません。３）についても一旦業務システムのようにガチガチに構築してしまっては、柔軟な変更ができません。オープンソースBIは、低額なコストとフル機能のBIスイートで、これらのリスクを大幅に緩和することができます。

“オープンソースはセキュアではありません。大切な情報をオープンソースBIによって漏えいしたくないでしょう？”
これは典型的なFUDです。FUD とは、不安（Fear）、不確実（Uncertainty）、不信（Doubt）。競合相手が自分達のものより優れていて、しかも価格も安い、つまりは自分達の製品では太刀打ちできない製品が発売されるときに利用されるマーケティングのテクニックです。

“オープンソースBIを導入したいなら、ソースコードを触らなくてはなりませんよ。”
そんなことはありません。ソースコードを触ることもできますが、ほとんどのお客様は実行形式を希望されます。また、エンタープライズ版では、商用以上のさまざまな配布形態（Win/Linux/Mac、32bit/64bit、インストーラーかマニュアルデプロイ）が用意されています。

“オープンソースBIは、コミュニティのエンジニアが片手間に開発しているんです。誰も動作を保証してくれませんよ。”
これも良く誤解されるのですが、例えばPentahoでは製品の開発はPentahoのフルタイムのスタッフが開発しています。サポートもフルタイムのサポートエンジニアが行います。エンタープライズ版ではすべてのソフトウェアの動作が保証されています。コミュニティのメンバー（世界で約2万人）だけで開発することもありますが、ほとんどは情報共有や検証、ローカライズなどで協力しています。

“世の中にFree Lunch（タダの御飯）なんてありえませんよ！”
その通りです。ビジネスインテリジェンスの開発には多くのお金がかかります。これを維持するためには収益を上げることが必要です。しかし、コストパフォーマンスの良いBIはあります。安くておいしいレストランは派手な広告宣伝を行わなくても、口コミでその評判が広がり来客が絶えません。オープンソースBIも今まさにこのような状況になりつつあります。これはどのビジネスにも言えることですが、「良いものを良い値ごろ感」で提供することが重要なことだと思います。

先週は、東京でHadoopカンファレンス2011が開催され、弊社のメンバーも参加しました。

魅力的なアジェンダだったので、私も参加したかったのですが、都合がつかず断念。参加者の中でメモを公開されている方がおり、概要の理解に役立ちました。

Hadoopは、雑誌などでも特集が組まれるようになり、BIやデータウェアハウス以外にもますます活用が進んでいきそうです。Hadoop関連の他のOSSプロジェクト（Hbase, Hive, フェイスブックのCassandra, ミクシーのTokyo Cabinet, 楽天Roma, MongoDBやCouchDB Asakusaプロジェクトetc)も非常に面白そうです。

また、昨年から引き続き、今年はさらにBI用途のカラムストア型のDBが注目を集めるようになり、これに伴う合併や買収も活発になってきています。昨年はSAPがSybaseを買収しました。今月は、ついにHPがVerticaを買収しました。弊社が取り扱うのInfobrightもこれについてCEOがメッセージを書いています。Verticaはどちらかというと大規模、Infobrightは小規模（といってもTバイトクラスですが）のデータウェアハウス／データマートを対象としているため関連は薄いという趣旨のことが書かれています。

こうしたビッグデータを扱う目的は、蓄積した情報の活用です。大量データ処理の仕組みに加えて、高度な分析の仕組み（データマイニングやテキストマイニング、予測、最適化等のビジネスアナリティクスetc）が注目されています。

今後、こうした分野からますます目が離せなくなりそうです。

【１．課題解決のために】
企業（お客様）はなぜBIツールを買うのでしょうか？端的にいうと課題解決のためです。課題とは、目標と現状のギャップです。目標が明確であればあるほど、課題は明確になります。特に初めてBIを導入を検討する際には、この課題を明確にすることが重要です。

【２．BIツールは車とおなじ】
BIツールとは、例えるなら車です。上記のＡ地点からＢ地点までの進むことを支援してくれます。しかし、運転するのはあくまでお客様。車（BIツール）を買っただけでは、目標達成はできません。どのように乗りこなすかはお客様次第といえます。

ただ、ビジネスという長距離、悪路のドライブにとっては、車選びも非常に大切な要素です。

お金を使うのが好きな人は高級な外資系のブランド車を選択されるでしょう。ただ、本当にその目的達成のために、ゴージャスな何千万円の車が必要なのでしょうか？今までBIツールは価格の高いブランド車しか選択肢がありませんでしたが、現在は状況が変わってきています。

またある人はコストの観点から軽自動車を選択されるかもしれません。近年、国産の安いBIツールが出てきましたが、エンタープライズBIとしての機能不足は否めません。目標に合わせて購入しないと「安物買いの銭失い」になってしまいます。

長く困難な旅路において、ある程度の馬力や性能は必要だという人は性能とコストのバランスのとれたエコカーを選択されるかもしれません。

Pentahoは、性能がしっかりしていて、かつ価格がリーズナブルなエコカーのようなBIツールです。高いブランド車はいらない、でもきっちりした性能がほしいという企業に最適なツールだと思います。

【３．車の買い方　現金買取orレンタカー】
一方、車を調達する方法にはいろんな方法があります。キャッシュ、レンタカー、最近ではカーシェア。車ではいろんな方法があるのに、BIツールでは今まで買取しかありませんでした。これはおかしいと思いませんか？

車を所有することがお客様の目的なら、それでもいいのです。

ただ、「なぜBIツールを買うのですか？」　

お客様が求めるのはBIツールを所有することではなく、BIツールを使って得られる課題解決という便益のはずです。それであれば、レンタカーように必要な時に必要なだけ乗れる車であった方が、はるかに顧客フレンドリーです。お客様は、車を買い取る必要がないので、たとえ、途中で目標が変わったとしても、決まった車を乗り続ける必要はありません。

Pentahoエンタープライズ版は年間サブスクリプションという技術サポート付きの年間使用権を提供します。固定資産として大きな初期コストを計上する必要がないため、導入後の環境変化のリスクを大きく減らすことができます。

（追記）
Pentahoコミュニティ版（オープンソース）は無償です。これは、車でいうとエンジンを無償で提供するものです。よって、この車の構造に詳しいエンジニアが社内にいれば乗りこなすことも可能です。ただある程度、企業として本格的に使用するためには内装・外装がきちんとパッケージングされて、保証も受けられるエンタープライズ版をお勧めします。

「目の前にある業務を合理化したい」、「事務にこういう問題があるので解決したい」、こうした課題をぶつけられて、その解決策を提示するのは、”システム屋”の仕事です。「ソリューション」ともいわれます。
ただBI（ビジネスインテリジェンス）のプロジェクトにおいては、”コンサル屋”の発想も必要になります。なぜなら、お客様の課題自体が明確でないことが多いからです。

「そもそも、なぜその問題を解決したいのですか？」「そもそも、なぜそのような情報が必要なのですか？」と問いかけて、お客様の真のニーズを引き出すことで、お客様自身も気づかれることがあります。（ビジネスコーチングに近いかもしれません。）

BI（ビジネスインテリジェンス）は、ご存じのようにビジネスの意思決定に必要な情報を「速く」、「網羅的に」、「分かりやすく」伝えるためのツールです。業務システムのようにルーチンワークを行うシステムとは目的が異なります。そのため、要件を定義しづらいシステムであり、また要件が刻々と変わっていくシステムでもあります。

このようなBIプロジェクトにおいて、業務システム構築のように要件定義や設計をきっちりして、ウォーターフォール型で開発すると、まず失敗します。またはプロジェクト期間が必要以上に長引いてしまいます。アジャイル（プロトタイピング）開発でまず小さく始めて、徐々に大きく育てることが、BIシステム導入の成功の早道といえます。

BIツールの機能や価格につい目を奪われがちですが、「そもそもBIによって何を実現するのか」を明確にしていただくと、よりツールやベンダーの選定が効果的に行えるように思います。

データ分析、データ活用について日々多くのお客様とお会いする中で、うまく活用されているお客様とそうでないお客様がいます。個別には様々な原因がありますが、最近一つのルールを発見しました。それは「現場にヒアリングすると失敗する」というものです。少し極端な表現になってしまいましたが、申し上げたいことは「ボトムアップ」だけでは成功するBIシステムは構築できないということなのです。

●失敗企業に良くある間違い
【１．現場のメンバーと開発チームだけで要件定義を行ってしまう】
業務システムであれば良いのですが、戦略的な情報システムであるBIにおいてこれはNGです。現場は常に「今」の「問題解決」を見ています。よって「どのような分析をしたいですか？」と聞いても明確な答えは得られませんし、得られたとしても個別最適に陥りがちです。個別最適はすぐに陳腐化してしまいます。

【２．ディスカッションが少なく、開発やドキュメントに多くの時間をかける】
特に、既存のBIシステムのリプレース時に、レポートの見た目だけを変えて使い方やコンテンツはそのままということがあります。最新のテクノロジーを利用して、どのように経営戦略を実現できるのか、その議論がないままに導入しても高い投資対効果は得られません。

【３．大きな目標達成よりも、小さな体裁にこだわる】
レポートの詳細（罫線、色）や特殊仕様にこだわることで相当な時間を浪費するプロジェクトがあります。必要以上のカスタマイズは開発工数や運用工数を高いものにします。

●成功企業が使うテクニック　"Think Big, Start Small"
【１．経営陣、先進企業からの転職組、外部コンサルタント、顧客などの意見を取り入れる】
成功企業は、現場だけでなくステークホルダーの意見を取り入れて要件定義を行います。経営者はより長期を見ています。業界内の先進企業からの転職者は新たな分析手法を知っているかもしれません。コンサルタントは、技術と経営の両面から新たな気づきを与えてくれるかもしれません。貪欲に外部の意見を収集することです。

【２．ディスカッションを多く、開発はアジャイルで素早く】
成功企業は、議論を十分にとります。常に高い視点（経営戦略）から個別のソリューションに落とし込んでいきます。そのため一旦Fixするとぶれがありません。導入目的が明確になると、アジャイル手法により素早くプロトタイプを作成することができます。

【３．導入したら終わりではない、常に進化させる】
成功企業は、常にPDCAを回しています。経営環境は5年も経てば激変します。環境が変われば分析ニーズも変わります。大きなスキームやプラットフォームは変えることなく、個別の分析ソリューションは柔軟に変えていくことが必要です。

成功のためには、BIツール選定に時間をかけるより、その導入目的の議論にぜひ時間をかけてください。私の経験で良ければお手伝いしたいと思いますのでお困りの際には、お声掛けください。