Cortana Intelligenceを使用した意思決定プロセス支援

先日、Japan Azure User会に参加してきました。発表の中でも特に面白かったのが、Cortana Intelligenceについての発表です。

簡単な内容ですが、メモと所感を記録しておきます。

◇◇内容◇◇

従来、データの分析のためには多大なコストと労力がかかっていました。
データ分析の専門家によるデータの抽出・加工・分析といったプロセスを
経て、意思決定者はデータを元に意思決定をします。

近年のIT技術の急速な発達により、データの抽出・加工・分析といった一連の流れは
全て自動化することも難しいことではなくなってきました。

今回の講演内容では、この一連のデータ分析における意思決定までのプロセスを
どのような形で自動化していくかといった部分の基礎的な知識についての内容でした。

キーワード：Cortana Intelligence
https://azure.microsoft.com/ja-jp/suites/cortana-intelligence/

◇◇メモ◇◇

◆Cortana Intelligenceとは？

Azure Portalからデプロイ可能な単独のAzure Serviceではない。
AIシステムを作成する為の複数のAzure Serviceの組み合わせ。

◆なぜサービスの組み合わせなのか？

Microsoft Azureが描いているAIシステムは機械学習だけではない。
以下が主要な要素

・データ管理　(EventHub IoTHub Storage SQL DB)
・分析(Stream Analytics,Machine Learning,HD Insight)
・可視化(PowerBI)
・意思決定(Bot Framework,Cognitive Service,Cortana)

◆機械学習で可能なことは大きく分けて、以下の２点

・回帰
過去のデータ同士の関係性を学習し、将来的なデータを予測する。

・識別
複合的なデータを分析し、結果を判定する。

・機械学習は５つのフェーズに分けられる。

１データ整形
→複数のデータソースからのデータを整形し、使いやすい形にまとめる
（欠損値の削除などもここで行う）

２特徴量選定
→予測したいデータと相関がありそうなカラムを選定する

３学習データとテスト用データの分割
→生データを７：３くらいの割合で学習用データと、テスト用データに分割する。
→学習用データで学習した内容が、どれだけの精度かをテスト用データでテストする。

４モデル学習

５モデル評価
→学習したモデルに評価用データの特徴量を入れてみて、出力と予測データを
比較し、評価する。良い結果が出ない場合には、特徴量選定から何度もプロセスを
繰り返して、良い精度になるまで試行する。

Azure Machine Learning
→WEB APIを使用可能。

◆可視化
1_EventHubでデータの取り込み
2_StreamAnalitycsによる分析
3_AzureMLによる予測結果

→レポート作成の自動化をPowerBIで行う。
Stream Analyticsからの直接出力も可能。

PowerBIを使えば！
→レポートの更新も、ボタン一つでデータを取り込み再作成可能。

■対話型意思決定補助ツール

→BotFrameWork

→Cortanaへの接続が可能（しかし日本語未対応）

LUIS
→ユーザーが何をいっているのか、表現のゆれを吸収可能。

◆Cortana Intelligence Gallely

https://gallery.cortanaintelligence.com/

→ここから目的に合わせたテンプレートを選んでデプロイするだけで簡単に構築可能。