あなた作ったモデルはなぜ予測精度が低いのか？機械学習をブラックボックスで終わらせない。分析ツールnehan機能リニューアル

株式会社nehanは、分析ツールnehanの機械学習機能をリニューアルいたしました

第三次AIブームとともに、ビジネスシーンで機械学習が盛んに活用されるようになりました。
データサイエンティストの専売特許であったこの領域も、データ活用の民主化が進みトレンドが変化。
現在では、誰でも手軽にAIを作れることを目的にした様々なサービスが市場に提供されています。

しかし、活用が進む中で、機械学習が持つブラックボックス問題が表面化しているのも事実。
どういう判断基準で、何を重視して、どういうプロセスで学習モデルが構築されたのかが不透明になりやすく、分析者を日々悩ませております。

さて、プログラミング不要の分析ツールnehanでも2019年の誕生以来、機械学習機能を提供しておりました。
が、ブラックボックス問題に対するアプローチ不足、等と多くの課題を抱えていた背景があり、この度リニューアルに至りました。
​
ポイントを3点でご紹介いたします。

1. オートMLで超お手軽設定
2. 構築したモデルの中身が見える
3. 精度改善の余地がわかる

1. オートMLで超お手軽設定
説明変数と目的変数を設定するだけで、前処理->モデル構築->精度検証、までオートで実施。
数ある前処理手法、学習アルゴリズム、パラメータから最も精度が高まる組み合わせを自動探索します。
また、自動で学習モデルをアンサンブルする機能も備えており、より高い精度を期待できます。

 

 

オートML設定画面

2. 構築したモデルの中身が見える
前処理、モデル構築、精度検証といったオートで行われた全体の工程を確認できます。

 

 

 

入力から出力までのプロセス

また、各説明変数ごとに適用された前処理手法の詳細も確認できます。

 

列の前処理プロセス

精度検証の結果がゲージで直感的に把握できます。

 

精度検証サマリ

また、独自に算出した過学習（※）のリスクも教えてくれます。

 

過学習のリスク表示

機械がどの説明変数を根拠にモデルを構築したのかを知ることができます。

 

 

 

機械が重視した特徴量ランキング

また、列内のどの値や数値範囲が根拠になったのか、まで深堀りできます。

機械が重視した列内の数値範囲

 

 

 

 

3. 精度改善の余地がわかる
ビジネスデータを予測に用いる場合、必ずしも高い精度が出るわけではありません。
より高い精度を得るためには何が足りていないのか、を考えることがとても重要です。
nehanは「あなた作ったモデルはなぜ予測精度は低いのか？」つまり、精度改善の余地を教えてくれます。

具体的には、どの説明変数のせいで精度がダウンしているのかを把握できます。

 

精度悪化の原因特徴量ランキング

また、列内のどの値や数値範囲が足を引っ張っているか、まで把握できます。

 

 

 

 

精度悪化を引き起こす値

例えば「性別列="女性"の予測精度が低く足が引っ張っている」といったことが分かれば、データの作り方の再検討、追加データの収集検討、等精度改善の方針を決めることが可能になるのです。


改めて、新機械学習機能は、プログラミング一切不要、自動で高精度を実現できる点に加え、中身を紐解いた情報の可視化により、ブラックボックス問題を解決へと導く機能です。
ただし、分析業務は機械学習モデルを構築に留まらず、むしろ業務の8割がその前後に発生します。
nehanは、前処理機能、可視化機能、など様々な機能で幅広い業務工程をサポートしており、全体的な効率化の実現を大切にしております。

DXや、データの民主化を実現するための課題として、「データが汚くて・・・」「人材がいなくて・・・」などが挙がりますが、残念ながらそんなことを言い訳にできる時代ではなくなりました。
nehanは機能の豊富さと使いやすさを評価いただき、導入企業各社にて分析人材を増やすことに成功しています。
「誰でも簡単にデータ分析ができる未来を創る」ために、株式会社nehanは今後もサービス改善に努めてまいります。

※学習が過度に行われ、未知のデータに対する性能が落ちてしまう現象

【株式会社nehanについて】
URL ： https://moonfish.nehan.io/company
所在地 ： 東京都渋谷区桜丘町4-17 PORTAL Apartment & Art POINT404
代表者名 ： 代表取締役 中原 誠

【分析ツールnehanについて】
URL ： https://moonfish.nehan.io/