正しい予測のために：機械学習のリークとは？ | 株式会社SiNCE

モデル開発において、「手元のテストデータでは非常に高い精度が出たのに、本番環境に導入すると予測があまり当たらない」というケースは少なくありません。このような事態を引き起こす代表的な原因のひとつが「リーク」です。今回は、データ分析において必ず知っておくべきリークの概念と、その防ぎ方について分かりやすく解説します。

続きはこちらから。

正しい予測のために：機械学習のリークとは？ | Data Driven Knowledgebase

見せかけの高精度にご注意！手元のデータでは高精度なのに本番で予測が当たらない原因「リーク」について解説します。未来の情報が学習データに混ざる仕組みや具体例から、正しいモデルを構築するための防ぎ方まで、データ分析で失敗しないための必須知識を解説します。

https://blog.since2020.jp/ai/machine-learning-data-leakage/

株式会社SiNCE's job postings

Invitation from 株式会社SiNCE

If this story triggered your interest, have a chat with the team?

正しい予測のために：機械学習のリークとは？

SiNCE 編集部

株式会社SiNCE /

AI 機械学習データサイエンス

株式会社SiNCE

株式会社SiNCEは、AI・データで経営課題を解決する会社です。ビジネス理解と事業グロースに強みを持っており、ハイレベルなデータ分析を武器に実際のビジネスで成果を上げてきました。コアコンピタンスとしたいのは、ROIへの貢献。本質的な成果につなげるためにAIやデータを活用し、経営課題の改善を実行してきました。 SiNCEが今まで、企業のビジネス成長を支えることができた事例を簡単にご紹介いたします。 ■ケース１：在京球団のデータ活用による収益機会創出経営課題：観客動員が低下に伴う、収益機会の減少　まず、194試合の購買データと6.4万人超の会員データを繋ぎ合わせてデータを多面的に分析できる基盤を構築しました。このデータを用いることで「いつ」「どの顧客」が「どの試合」の「どのタイミング」で「どこの売店」で「何を購入」までデータを繋げて可視化できるようになりました分析基盤から収益に繋がっている顧客行動や、試合中の行動の流れを解析・データ分析を実施。座席エリアや顧客属性別の購買行動を可視化し、顧客のペインポイントを特定しました。その結果、球団は新たな収益機会を創出することができました ■ケース２：卸事業のAI（需要予測）活用による受発注効率化経営課題：受発注業務の効率化　各種受発注のデータからAIモデルの構築はベンダーと進めることができたが、実際に運用して効果を改善するためには多くの課題があった。・オペレーションが複雑で業務フローのモデル化ができていない・発注業務を人からAIに移行したいが、効果見込みが見えないため判断ができない・他拠点への展開したいが、新しいモデルの構築・評価ができない課題に対して、徹底したビジネス理解と現場メンバーの巻き込みを実施。複雑な受注、発注、在庫、AIの関係性をモデル化しました。これにより精度や実運用した場合の欠品数や在庫がどのくらい発生するかのシミュレーションに繋がりました。結果を可視化するBI画面を構築することで、従来の発注方法に比べて、低在庫数で低欠品率を実現できることが明らかになり、拠点展開への展開を推し進めるドライバーに繋がった。 BI画面は経営サイドへのコミュニケーションにも用いられ、現場の発注部門、システム部門、経営サイドが一丸となってAI予測による発注に向けて進めている。 ■ケース３：RI/SP運用のAIによる購入自動化・高度化経営課題：オペレーション高度化と属人性解消、新サービス構築　RI/SPの購入は仕組みが複雑なため購入量の最適化が難しく、人の経験や感覚によって実施されていた。このオペレーションをAI活用することで、属人性を排除し、高度化を進めた案件である本案件を進める上で下記の課題が存在した。・RI/SP履歴データであるCUR(Cost and Usage Report)が複雑で解析が必要・RI/SPを購入する金額が非常に大きく、実用に耐えうるAI活用を探る必要がある・RI/SPオペレーションの効果評価は独自概念が多く、新たな評価方法が必要であるこの課題に対してSiNCEでは徹底したデータ調査、検証を実施。CURデータの解析はもちろん、関連データとの比較を実施。最終的に一部で差分が出ていた箇所が存在していたが、この差分もAWS側の特殊処理によってデータにずれが発生していたことが判明。データ解析ではハイレベルに数値に向き合った。 AI活用の施策提案ではAIという不確実性が高い技術を中核に据えるため、探索的なプロジェクト運営の形で推進しました。AIモデルの構築レイヤでは回帰系モデルや時系列モデル、NNモデル、さらにモデルを組み合わせたアンサンブルなど数十パターンを評価しました。精度だけではなく、実際の運用を考慮しバランスがとれたモデルを選択しています。プロジェクトレイヤでも常時4〜5タスクを提案し、クライアントの状況やモデル精度などによって、探索的に実施タスクの優先順位を変えるプロジェクト運営をしています。その結果、難解なCURから正確なBIを構築できました。オペレーション実施時に活用され、人によるオペレーションの高度化に成功しました。この成果は効率と利益向上に寄与し、今回の仕組み自体のサービス化に向けた取り組みも進行中です。 ■今後の展開データ活用で企業のビジネス成長を支えてきたSiNCEのノウハウをSaaSとして提供す予定です。 AI・データを活用してマーケティングのROIの最大化を目的とするサービス開発を皮切りに今後はサプライチェーン領域、HR領域への展開を予定しています。＜現在募集職種はこちら＞ https://www.wantedly.com/companies/company_4791826/projects

Follow

Like SiNCE 編集部's Story

Let SiNCE 編集部's company know you're interested in their content