生成AIが世界的に注目を浴びるようになってから2年の月日が流れた。ムーブメントは多くのユーザーを熱狂させた一方で、企業ではビジネスへの活用をためらうケースが続出した。その理由として、生成AIの多くがクラウドサービスであり、企業は自社が所有している膨大なナレッジを外部に出しづらいという点が挙げられる。この課題を解決する方法として、いま最も注目されているのが、「ローカルLLM」だ。クラウドサービス経由でAIを使うのではなく、自社のサーバや端末で利用することができるローカルLLMは、オフライン環境でセキュアに生成AIを活用でき、注目が高まっている。ここではその最先端の事例を紹介したいと思う。

取材：中山 一弘

株式会社ライトアップ
https://www.writeup.jp/

株式会社WEEL
https://weel.co.jp/

株式会社Workstyle Evolution
https://workstyle-evolution.co.jp/

3社の協力でローカルLLM PoCが実現

今回のPoCでそれぞれ欠かせない役割を持ったのは、前回に引き続き以下の3社だ。

「全国、全ての中小企業を黒字にする」を目標にITの力によって経営支援をおこなっている東証グロース上場企業の株式会社ライトアップ（以降、ライトアップ）。創業以来、20年のノウハウを持ち、実際に多くの中小企業の経営改善を実現してきたことで大きな信頼を築いてきた企業でもある。

「Chat GPTの登場以降、AIが実用的になってきたところで、弊社としてもITツールと各種AIを組み合わせた開発が進んでいます」と語るのは、今回PoCを担当していただいたライトアップ 代表取締役の白石氏。「現在はできる限り業務を自動化させ、人の手を介さずとも回していけるシステムづくりに注力しています」と続けて語るのは、同社の生成AI開発責任者の三ヶ尻氏だ。

株式会社ライトアップ 代表取締役社長 白石 崇氏

株式会社ライトアップ メディアグループ AIビギナーズラボ 所長 三ヶ尻 卓氏

顧客企業様の「AIでこういうことがやりたい」というニーズに応え、オーダーメイドの開発業務をメインとしている株式会社WEELの田村氏は、システム開発を担当。生成AIの導入支援および研修から、活用方法のコンサルティングをおこなう株式会社Workstyle Evolutionの池田氏はPMを担当した。

株式会社WEEL 生成AI事業部 統括リーダー 田村 洋樹氏

株式会社Workstyle Evolution 代表取締役CEO 池田 朋弘氏

ライトアップ、WEEL、Workstyle Evolutionの3社の協力によって今回のPoCのテーマである「営業マンのリアルタイムAI補助」の仮導入および運用テスト支援が行われた。

ローカルとクラウドのハイブリッドLLMを使って適切なアドバイスを送る

「今回のPoCの内容を簡単にご説明すると、端末上で商談中の会話の文字起こしをリアルタイムに実行し、そのテキスト情報をAIが分析、適宜アドバイスを送るというシステムになります。AIがアドバイスを送る仕組みについてはローカルLLMとクラウドLLMを組み合わせたハイブリッド構成で実現しています」と説明する池田氏。

文字起こしから要約の作成、さらにポイントとなりそうな商談内容をそこからピックアップしクラウドサービスへ送信するところまでをローカルLLMが担当し、商談内容に合わせた適切なアドバイスを生成するのがクラウドLLMという形になっている。「HPのAI PC上でローカルLLMが動作することで、機密情報の塊である文字起こしをクラウドに送る必要がありません。一方でアドバイス作成部分はクラウドLLMを使うことで、クラウド側で自社サービスのデータも活用することができ、精度の高いアドバイスが得られやすくなります」と池田氏はシステムをハイブリッドにした狙いを語る。

「文字起こしには、精度が高いとされる『vosk-model-ja-0.22』を、ローカルLLMには日本語性能の良い『Llama-3-ELYZA-JP 8b』を利用しています。クラウドは『Dify』を使っていて、AIモデルは『GPT-4o』を利用しました。ローカル側のLLMは80億パラメータとなりますが、AI PC上で動作させるためにちょうど良いサイズにしてあります」と田村氏は語る。

今回のPoCに用意されたのはHPの法人向けノートPCのフラッグシップモデル「HP EliteBook 1040 G11」だ。プロセッサーにAI処理に特化したNPUを採用した最新モデル「インテル® Core™ Ultra 7 プロセッサー 155H」を搭載。CPU、GPUも組み合わせて効率よく演算処理をすることで、従来のプロセッサーよりも低消費電力で高い性能が発揮できるようになっている。

「システム全体を今回のPoC用AI PCに選ばれたHP EliteBook 1040 G11のスペックに合わせて設計したので、パフォーマンスは十分に発揮させることができたと思います。ワンクリックでそこまでの会話の要約を作り、クラウドLLMへ受け渡してアドバイスが返ってくるのですが、環境によって差はあるものの、現状では平均して90秒程度はかかります。ですが、PoCなので開発を進める中で、システムもブラッシュアップできれば秒数も縮まり、さらに性能が発揮しやすい環境も構築できるようになると思います」と田村氏は語る。

十分な手応えが得られたPoC。一方で課題も…

今回は営業向けの生成AIとなるため、実際に現場で活躍している営業担当の内藤氏にも協力を仰いだ。「使い慣れていないということも踏まえつつ、高い精度の文字起こしが自分のPCだけで実行されているというところにまず驚いたとのことです。実用の可能性を探るべく、様々な商談を想定して実験しましたが、仮設検証をした結果と、最終的にクラウドLLMが返してくるアドバイスが自分自身の想定と合っているという実感も得られたといいます。さらに“想定外のアドバイス”で気づきもあったと喜んでいました」と内藤氏の報告を持ち帰った三ヶ尻氏は語る。

「最初に機密情報を外部に出さないように仕様を決めたこともあって、安心感のあるシステムに仕上げていただいたと思っています。ただし、先ほども話があったように、現状ではタイムラグがかなりあります。会話のタイミングをうまくとっていくことで、機能を活かすこともできますが、やはり実際の現場では処理時間は短いに越したことはありません。内藤もそれには触れており、より早く回答が得られると使い勝手がよくなるという感想でした。処理時間が短くなるほど、使いたい営業担当者も増えていきますので、そこは今後の課題としたいです」と、三ヶ尻氏自身もPoCのインプレッションを語る。

「今回のPoCのポイントを経営者視点でまとめると、これまでも生成AIを使って商談の録音データを文字起こしするというところまではやっていた企業が多かったと思います。その文字起こしデータは、何かトラブルがあった際の対応として活用するなど、ある意味守りの施策だったように思います。それが今回のシステムでは、新人営業マンでも中堅営業マンと同じような回答をお客様に示していける。電話を録音していた時代から、テキストにしてアーカイブする時代へと変化し、ここへきてリアルタイムにサジェストが出てくるようになった。いわゆる商談の音声データが攻めの施策へと変化し始めているのだと思います」と白石氏は分析する。

期待が膨らむ生成AIによる営業支援

「先ほどはタイムラグの話が出ましたが、例えば目標設定は3秒にしてもよいぐらいだと思います。この数値は単なる技術の問題ですから、いずれ解決されることは明白です。現状でそれが難しいのであれば、過去を解釈するのでなく、10秒前の会話から30秒後を予測するといった仕組みもありえると思います。設計の仕方次第で、営業支援AIはどんどん進化するという期待がありますね」と白石氏は語る。

「おっしゃる通りですね。今はユーザーが自分でボタンを押した後に回答を生成する仕組みですが、一定タイミングごとに自動的に生成することで、先回りして回答を出すような仕組みにし、体感時間として0秒で回答が見られるようなものも考えられます。システム的な改善やチューニングと合わせて、営業マンの方々で上手なタイミングの取り方を探っていくのが大切ですね」と池田氏は白石氏の言葉を受け取る。

「性能面では、これからもインテル® Core™ Ultra プロセッサーは世代を経るごとにパフォーマンスが大きく向上することが期待できます。今は8Bに抑えているパラメータを10B、20Bとスケールアップすることも可能になってくるでしょう。そうなると、クラウドLLMの利用をやめて、すべてをローカルLLM上で処理することも可能になってくるかもしれません。それが実現できれば、もっと効率的に処理できるようになりますし、セキュリティもさらに強固になります」とシステム進化の期待を語る田村氏。

「今回のPoCではローカルPCでAI処理をスムーズにおこなえることが体感できたと思います。現在でも、インターネットに接続できない環境は度々ありますが、そのような状況でもあらゆるAIモデルを積極的に使っていけるようになるという未来を垣間見た気がします。今後もHPとインテルの技術力で、AI PCのパフォーマンスをどんどん向上させていただきたいと思います」と最後に白石氏は語ってくれた。HPはこれからも、ライトアップ、WEEL、Workstyle Evolutionらと共にAI PCの可能性を高める努力を続けていく。

※このコンテンツには日本HPの公式見解を示さないものが一部含まれます。また、日本HPのサポート範囲に含まれない内容や、日本HPが推奨する使い方ではないケースが含まれている可能性があります。また、コンテンツ中の固有名詞は、一般に各社の商標または登録商標ですが、必ずしも「™」や「®」といった商標表示が付記されていません。