モデル開発や人材確保などの課題解決を期待してNSSOLのセミナーに参加した

DataRobotを導入された背景について教えてください。以前から予測に関する課題をお持ちでDataRobotに着目されたのでしょうか？

まず少し歴史的なお話をします。オリコでは1990年代前半から審査モデルの領域でニューラルネットワークを活用していました。そして90年代後半にはデータベースマーケティングを専門とするセクションが立ち上がり、データマイニングツールを入れて本格的に機械学習に取り組むようになりました。このセクションで開発していたのは主にマーケティングモデルと回収モデルで、たとえば回収を高度化するモデルの開発などに取り組んでいました。以降、審査部門とBI部門とで、審査、回収、マーケティングの3業務でモデル開発を継続していて、その時々で増えたり減ったりしながら常に30ほどのモデルを業務に適用していました。

DataRobotを知る以前から抱えていた課題は大きく3つあり、1つ目はスコアリングモデル開発の生産性向上です。モデルを作ると半年に一度はメンテナンスをするのですが、その際に「どこまで精度を上げればゴールになるのか？」という答えを出すのが難しい問題があり、どの程度リソースをかけるべきか悩みながらモデルの精度向上に取り組んでいました。

2つ目の課題はモデル改善のアプローチに関するものです。事業部門が持つ知見に基づいて仮説を立て、効果を検証しながらモデルを改善していく、という仮説検証型のアプローチをとっていましたが、別のアプローチとして、データ自体からヒントを得て課題を解決するようなことをできないだろうかと考えていました。

3つ目は、データをうまくハンドリングして活用する人材、今でいうデータサイエンティストの育成です。オリコでは“データ活用コア人材”と呼んでいたのですが、こういう人たちの確保や育成は本当に難しい。最近は特にニーズが高まっているので、ますます人材確保は課題になっていて、正直言って全然できていない部分です。

こういった3つの課題を抱えて悶々としていたのですが、2017年の春にNSSOLが開催しているDataRobotデモセミナーに参加する機会を頂きました。DataRobotを入れることでこの3つの課題を解決できるのでは、という期待を持っての参加でした。

NSSOLのセミナーでDataRobotをご覧になった印象はいかがでしたか。

審査部門もBI部門も予測モデルを使って自分たちの業務をどう高度化するかを考えていましたが、導入済みのツールに依存せざるを得ず、なかなか新しいアルゴリズムを取り入れることができませんでした。

ところがNSSOLのセミナーで実際にDataRobotを見て、こういったことはもう私たちが考える必要はなくなるのではないかと思いました。DataRobotが最新のアルゴリズムを用意してくれて、アップデートされたツールを提供してくれる。使えるモデルを1つ作るのは本当に大変ですが、DataRobotならデータを入れたら網羅的にアルゴリズムを探索してくれて、勝手にモデルを作って回してくれるわけです。

データサイエンティストを採用したり育成したりすることは難しくても、データを使って業務を高度化したい、という想いを持った人は社内に大勢います。そういう人にDataRobotを使ってもらう、あるいはDataRobotで答えを得られるような環境を用意する、そうすれば先ほどお話した３つの課題を解決できるのではないかという予感がありました。

DataRobot導入企業が増えれば、分析力の優劣からデータの多寡に競争のステージが変わる

セミナーでDataRobotをご覧になってからPoCに進められたわけですが、PoCで実際に触ってみた感想、ファーストインプレッションについて教えてください。

私は割とニッチなテーマをPoCでやってみたいと思っていました。定量効果を出しづらい領域といいますか、こんなこともできるのかな？という視点で色々と試しまして、PoC期間のわずか1か月で29モデルも作りました。

PoCを始めてすぐBI推進部の業務の中で“ど真ん中”といえる施策で使っているモデルをDataRobotに置き換えたところ、ものすごい定量効果が出ました。2値分類系のモデルをDataRobotで作ると本当にすごいものができます。マイニングツールで我々が作っていたモデルを一発で超えるという事態で、ある程度の変数を用意できる2値分類系の問題であれば何で試しても精度が出ることが分かったので、私は“こんなことできるかな”という視点で色々なテーマを試すことにしました。

では何をやっていたのかというと、たとえば加盟店、業種ごとの売上やリスクを時系列で予測するモデルの開発です。リスクをとらえるモデルの方はPoC後にもNSSOLのコンサルタントの方に相談させていただきながら進めていて、最終的には業務で使えるレベルになりましたが、PoC期間の1か月では十分にやり切れず、PoCでは“△（さんかく）”という評価になっていました。とにかく簡単に高精度なモデルを作れる印象は持ちましたね。データを入れてボタンを押せば何か出る。というイメージです。

PoCは1か月しか期間がないじゃないですか。当然その期間もDataRobotのPoCだけやっているわけいかず、通常業務は普通にやるわけですよ。ですから「業務の合間にデータを作ったり、DataRobotのボタンをポチポチ押したりしてね」というぐらいの感覚で取り組んでもらいました。そんな中、BI推進部は29モデルもチャレンジしてくれました。既存のモデルについては精度が向上し、さらに今までやったことのない新しいモデルにもチャレンジもできたのです。

PoC期間中は私も新しい分析にチャレンジしようとしました。改めて分かったことは、コア業務である審査、回収、マーケティング領域以外では、モデル開発にも耐えうるデータが整備できていないということです。データはあるが集計されたデータだったり、データが上書きで更新されていたり、半年分しかなかったりします。だからこういった領域にはモデルを作れるようなデータが足りないんですね。PoCをやりながら確信したことは、これからは間違いなくデータ整備が肝になるということです。データが整備されているコア業務でモデルを作るとすぐに精度が出たことからも明らかです。

PoC実施後、データ整備の課題に気づかれてDataRobot導入と同時並行で着手されるお客様も増えています。

PoCに参加させていただいていましたが、実はその前月にクレジットセンターから与信部に異動したばかりだったんです。実際に審査を行っている部署からデータ分析やモデル作成とか未知の世界に来てしまって「ではDataRobotでモデルを作ってみましょう」と言われても、どんな作業をするのかイメージが沸かず当初は不安でした。

まずはデータを作るところからということで、与信部内で周りの方に教えてもらいながら苦労して学習用データを作りました。驚いたのはデータさえ作ってしまえば、あとは“ぽちっ”と押すだけで“モデル”ができてしまったことです。精度もすぐに確認できるし、これなら私のようにモデルを作ったことのない人間でも使えるなと思いました。

そうなんです。シチズンデータサイエンティストといって、データサイエンティストではないけれど業務には精通している現場の方がDataRobotのようなプラットフォームを利用するケースが増えています。最近ではAIに詳しい方に業務を覚えていただくよりも、業務に詳しい現場の方にAIを使いこなしていただく方が成果を出しやすいことが分かってきました。オリコ様はまさにこのケースですね。

私は2000年秋に異動で与信部に配属となり、その7年半後にBI推進部へ異動して7年在籍しました。ですから15年間ぐらいデータを活用する仕事をやってきたことになります。そしてまた2017年に与信部に戻ってきたのですが、現在のモデル開発はどうやっているのかなと見てみたら、ツールはずいぶん進化していました。しかしモデル開発のアプローチは変わっていなかった。

ヒストグラムを作って、データを把握して、紙の資料に起こして、ということを変数ごとに手作業で全部やるわけです。このやり方で用意できる変数は100や200が限界ですが、裏側には10倍以上の変数がありますので、とてもやり切れません。リモデリングの度に分厚い紙の資料を作成して回覧に回して、さてどうしましょうか、という状態です。

ところがDataRobotでは、説明変数と目的変数の関係も、苦労して作成していたヒストグラムもデータを投入するだけで表示される。これがすごく感動的で、NSSOLのセミナーで見た瞬間に「絶対入れよう」と思いました。これだけでも与信部の生産性は劇的に改善できますので、あとはもうDataRobotの予測精度をPoCで確認できるかどうかだけでした。

本当にすごい製品だと思うと同時に、あまりにも簡単なので「これは競争のステージが変わるな」と感じました。これまではモデル開発者のノウハウやテクニックが他社に対する優位性となっていましたが、これからは分析力で優劣が決まるのではなく、どれだけビジネスに有用なデータを集めて蓄積することができるか、という勝負にステージが変わります。DataRobotと出会うことで、データ整備に取り組むという方向に舵を切れたことは大きいですね。

PoC期間のわずか1か月で、今まで試したことのない新しい領域のモデルを29も作成するチャレンジができた

1か月のPoCで29モデルってすごく多いですよね。疋田様からお話のあった新しいチャレンジと、従来からあったモデルをDataRobotに置き換えるという試みの割合はどうだったのでしょう。また、実際に業務適用までできたモデルはどのぐらいあったのでしょうか。

9モデルが既存の置き換えで、20モデルが新しいチャレンジです。既存モデルをDataRobotに置き換えたパターンはすべて使えるものができましたが、新しいチャレンジで作成したモデルに使えるものはありませんでした。新しいチャレンジの方は1か月という短い期間に片手間でやったものだから使えないんですね。本当に新しいチャレンジをするなら新しいデータセットも用意する必要がありますが1か月では無理です。そういう意味で、使えそうなモデルは新しいチャレンジの中にはありませんでした。

ただ、DataRobotなら新しいチャレンジができる、という期待は持てました。データとテーマを用意すれば先が見えるなと。与信部は業務のど真ん中といえる領域でやってくれて精度が出ることを示してくれました。では新しいチャレンジはどうだろう、というなかでBI推進部がしっかりやってくれたのが私には嬉しかったですね。