生成AIが世界的に注目を浴びるようになってからいくつかの月日が流れた。ムーブメントは多くのユーザーを熱狂させた一方で、企業ではビジネスへの転用をためらうケースが続出した。ためらう一番の大きな理由としては生成AIの多くがクラウドサービスであることが挙げられる。企業がこれらクラウド上の生成AIを活用するには自社内で所有する膨大なナレッジデータをクラウド上に送信やアップロードする必要がありこれがボトルネック、つまり課題になっているといえるだろう。

この課題を解決する方法として、いま最も注目されているのが、「ローカルLLM」だ。クラウドサービス経由でAIを使うのではなく、自社のサーバや端末にインストールして利用することができるローカルLLMはセキュアにAIを活用でき、かつAIのバージョンもコントロールすることができるためその活用方法に注目が集まっている。ここではその最先端の事例を紹介したいと思う。

取材：中山 一弘

株式会社ライトアップ
https://www.writeup.jp/

株式会社WEEL
https://weel.co.jp/

株式会社Workstyle Evolution
https://workstyle-evolution.co.jp/

3社の協力でローカルLLM PoCが実現

今回のPoCでそれぞれ欠かせない役割を持ったのは以下の3社だ。

「全国、全ての中小企業を黒字にする」を目標にITの力によって経営支援をおこなっている株式会社ライトアップ（以降、ライトアップ）。創業以来、20年のノウハウを持ち、実際に多くの中小企業の経営改善を実現してきたことで大きな信頼を築いてきた企業でもある。

「Chat GPTの登場以降、AIが実用的になってきたところで、弊社としてもITツールと各種AIを組み合わせた開発が進んでいます」と語るのは、今回PoCを担当していただいたライトアップ 代表取締役の白石氏。「現在はできる限り業務を自動化させ、人の手を介さずとも回していけるシステムづくりに注力しています」と続けて語るのは、同社の生成AI開発責任者の三ヶ尻氏だ。

株式会社ライトアップ 代表取締役社長 白石 崇氏

株式会社ライトアップ メディアグループ AIビギナーズラボ 所長 三ヶ尻 卓氏

顧客企業様の「AIでこういうことがやりたい」というニーズに応え、オーダーメイドの開発業務をメインとしている株式会社WEELの田村氏は、システム開発を担当。生成AIの導入支援および研修から、活用方法のコンサルティングをおこなう株式会社Workstyle Evolutionの池田氏はPMを担当した。

株式会社WEEL 生成AI事業部 統括リーダー 田村 洋樹氏

株式会社Workstyle Evolution 代表取締役CEO 池田 朋弘氏

ライトアップ、WEEL、Workstyle Evolutionの3社の協力によって今回のPoCのテーマである「過去の商談データの分類ローカルLLM」の仮導入および運用テスト支援が行われた。

ローカルLLMを使って過去の商談データの分類

「オンライン商談を録画するためのツールに『tl;dv』というものがあります。ライトアップさまでは、本取組の前からこのツールを利用して商談を録画し、文字起こしなどを行っておられました。しかし、このデータは顧客情報を含むため、クラウドサービスでは利用しづらく、有効に活用できていないという課題がありました。今回の実証実験では、ローカルLLMを利用して、そのデータを分析して結果を見たいと思います」と語るのはWorkstyle Evolutionの池田氏だ。

HPのワークステーションを使用して、この商談データについて「顧客の課題」「顧客のタイプ」「営業マンのトークの流れ」など、様々な軸でローカルLLMによって分類する。例えば商談データを文字起こし化したものから、顧客ニーズを抽出するような作業をAIにおこなわせるのだ。

さらに別のプロンプトを利用して商談データから「よくある質問」などについても分析させる。今回はこの先でクラウドサービスも併用しているが、これらの「よくある質問」についてパターン化させ、どのような内容が多いのかについてまとめている。それを実際の商談データであてはまるところがあるのかなど、構造データとして分析可能な形にしていくのだ。

こういった1次・2次データの分析をしていくことで、単なる生データではなく、例えば「受注・失注がどのような状況で発生しているのか」といったプロンプトに対して、よりわかりやすい回答を提示することができる。これをローカル環境で実行することで、クラウドに会社の情報を上げる必要がなくセキュアな環境で成果を得ることが可能になるというわけだ。

「今回はAMDの高性能プロセッサと最新のグラフィックスを搭載したHPワークステーション環境で動作させています」と語る田村氏。このプロジェクトに使われているHPワークステーションは「HP Z6 G5 A Workstation」がベースとなっており、プロセッサには圧倒的な演算能力を持つ AMD Ryzen™ Threadripper™ PRO 7975WXプロセッサが採用されている。最先端のグラフィックス NVIDIA RTX™ 6000Ada、256MBのメインメモリなど、まさにローカルLLMを強力にサポートするスペックを持たせているのが特長だ。

HP Z6 G5 A Workstation
https://jp.ext.hp.com/workstations/z6g5a/

「利用したLLMはマイクロソフトの『Phi-3.5 mini（約38億パラメータ）』というオープンソースのものが、ちょうど今回の企画の頃に使えるようになったので、それを利用しています」と田村氏。PoC開始時の最新テクノロジーだが、パラメータ数は少ないが規模的に十分で今回のプロジェクトには最適なLLMといえる。

「HP Z6 G5 A Workstationですが、今回の環境ではまったく問題なく使うことができました。AMD Ryzen™ Threadripper™ PROプロセッサの性能も十分満足できるもので、FAQの抽出作業などを行う場合を想定すると、1時間程度の1商談データあたり30～60秒程度で回答を導き出すことができました。その意味ではPM担当としても、満足のいく性能だったと思います」と池田氏は手応えを語る。

短期間で最大の成果を上げたPoC

今回のプロジェクトではローカルLLMが稼働するPoC環境をわずか3週間足らずで実現したのだという。「このような開発では、クライアント様にデータのご提供をいただかなければならないという前提があります。PoCを行うためにも、事前に社内データを整理いただく必要があります」と池田氏は語る。

「弊社で保存していたテキストデータのファイル形式がバラバラだったので、社内に協力をお願いする際にも一定の負担はありましたが、苦労の甲斐はあったと思います」と三ヶ尻氏はPoC初期当時の苦労を語る。

「テキストデータ以外にも、弊社では音声データをかなり収集していて、コロナ禍以前から、電話に関してはすべての音声データを残してあったのです。このようなデータをなぜ残していたのかというと、『言った』『言わない』のトラブル対応と、受注率が低い営業マンの課題を見つけるスキルアップ向けの利活用として使っていました」と白石氏は語る。

もちろん、これらのデータもAIを活用してテキスト化して、今回のプロジェクトに用いられている。「膨大なデータがありましたが、『トラブル時の確認』『低受注率営業マンのチェック』のような非日常的な使い方しかなかったので、これを機会に例えば営業のノウハウ化につなげるなどができれば、やりがいのある活用方法になりますね」と白石氏は笑顔で語る。

十分な手応えが得られたPoC

今回のPoCにより、システムが導く回答は説得力のある精度の高いものだったという。「まず感じたのは、当たり前だと思っていたことが、きちんとアウトプットされたことでした。ベテラン営業マンが経験則のように語っていたノウハウがAIからも導かれたので、スタッフ全員の納得度が高まったと思います。今回はサンプル数が小さいので、弊社のデータをすべて活用すると、売れる営業マンと売れない営業マンなどの違いが正確に出せるようになりそうですね」とPoCの結果について語る白石氏。

クリックして拡大表示

今回のプロジェクトの成果一例

「また、大量のデータをテキストデータで保存しているだけでは定性的なデータでしかありません。生成AIが要約し、考察をおこない、最終的に定量的なデータにすることができれば、経営層の判断材料として非常に価値あるものになります」と白石氏は言葉を続ける。

「やはり生成AIが出す客観的な情報というのは、受け取りやすいと思います。今回のデータを発展させ、生成AIが営業担当者をサポートするようなスタイルになるような未来像も期待できると思います」とPoCを見守ってきた三ヶ尻氏は語る。

「今回のPoCにより、生成AIがお客さまごとのニーズをスムーズに抽出できることが確認できました。それを応用すれば、商談後のメール送信などを自動化することも可能ではないかと思います。自動的にパーソナライズしたメッセージまで送ることができるように仕組みを整えていくと営業的にとても役立つシステム構築ができるのではないかと思います」と田村氏は早くも次の可能性を探っている。

「マネージャーの代わりに生成AIが同席するような形で、営業マンのスキルまでチェックしてアドバイスするようなことも可能になるかもしれません。やはり人間同士でそのようなことをするのはなかなか難しいところがあって、ネガティブなことをマネージャーに言われたりすると、どうしても営業マンは面白くありません。しかし、生成AIであれば、人間に言われるよりは抵抗は薄いですし、個々人の好みに応じた言い方に調整することも可能です。日々の営業活動で、生成AIが並走して常にアドバイスしてくれることで、例え新人営業であっても成長速度を加速することができると思います」と池田氏も新たな可能性を見出したようだ。

「先ほども触れましたが、情報が定量化されるのであれば、経営判断の材料や正確な人事評価などにも役立つと思います。トップ営業マンのノウハウを生成AIが分析して提示してくれるわけですから、売れるノウハウを真似ていくことでも成績アップにつながっていくはずです。次にどういった商材が売れるのかという予想に関しても、こういった情報を元にすればやりやすくなってくると思います」と白石氏は今回のシステムに対する今後の期待を語ってくれた。HPはこれからも、ライトアップ、WEEL、Workstyle Evolutionをサポートしていく。

※このコンテンツには日本HPの公式見解を示さないものが一部含まれます。また、日本HPのサポート範囲に含まれない内容や、日本HPが推奨する使い方ではないケースが含まれている可能性があります。また、コンテンツ中の固有名詞は、一般に各社の商標または登録商標ですが、必ずしも「™」や「®」といった商標表示が付記されていません。