社会実装が急がれるローカルLLMをベースとするRAGシステムのPoCを実施

ビジネスにおいて生成AIの活用はDXを促進するうえで必要不可欠となりつつある。一方で企業にとっては表に出せない機密情報が多く、生成AIをローカル環境で運用することを選択するケースが増えている。ただし、それだけでは汎用性に欠けることも多く、その際の選択肢として外部からの検索結果を、ローカルLLMへと投げかける、いわゆる「RAG」も多くの選択肢になると注目されている。ここでは不動産業向けの課題解決を目指し、RAGによるPoCを実施している株式会社調和技研の取り組みをご覧いただこう。

取材：中山 一弘

株式会社調和技研

2009年に起業した株式会社調和技研（以降、調和技研）は、北海道大学の敷地内にある北大ビジネス・スプリングに拠点を構える企業だ。本社の立地からも分かるように、アカデミックなバックボーンを持つ企業であり、15年に渡ってAIの研究開発を続けてきた経験と、多数の導入実績を持つ、豊富なノウハウも特長となっている。
https://www.chowagiken.co.jp/

社会課題の解決に生成AIを活用

HP勝谷
―今回、RAGの社会実装を目指したPoCを実施することになりましたが、そもそもどのような背景から、不動産向けのシステムにしたのですか？

倉員
私たちの会社には様々な業種の方々からご相談をいただきます。その中で、不動産業界の方から、お声をいただくことが多かったのです。そこでよく聞く課題が、今回のテーマである「RAG（Retrieval-Augmented Generation）」で解決できると考えました。

不動産業界で共通の課題として浮上しているのが、「不動産物件情報の校閲」という業務における問題です。居住希望者に情報を提示するため、広告やWeb等の媒体を用いるのは大切な取り組みですが、その際に記載事項が不動産公正競争規約・景品表示法といった法律的な観点で問題ないか確認することが不可欠なのです。この確認のための校閲作業に多くの人材や時間が必要となっており、本来の業務を妨げる大きな要因となっています。

HP勝谷
―それは手間が掛かりそうですね。システム化したいのもよく理解できます。

倉員
校閲業務は、どこまでが規制の対象となり、どうすれば回避できるのか、これまでは自動化するのが難しく、結局マンパワーに頼るしかありませんでした。機械的な業務でありながらボリュームも大きいですから、人的資源を浪費していたと言わざるを得ません。

しかし、ここ数年、生成AIが大きく進化したことにより、この領域にもいよいよシステムが介入するチャンスが出てきました。そこで今回のPoCのテーマに最適だと考えたのです。

不動産業界向けRAG on Workstation PoCの開始

HP勝谷
―今回、PoCの対象となった「不動産業界向けRAG」の概要をお教えください。

高松
基本的な構想として、規制や規約といったものをRAGで検索して回答する部分と、校閲をするためのLLMの領域があります。校閲は、広告文が規制や規約に適合しているかをLLMにチェックさせるエージェント的な仕組みです。

不動産広告の一部が誇大広告に当たる可能性があった場合、エージェントが該当箇所を比較検討した結果、何の規制や規約に引っかかっているかを含めて参照元と共に回答することができます。

HP勝谷
―概要をお聞きすると簡単に聞こえますが、これを人の手でやっていたと思うと大変ですね。

高松
おっしゃる通りです。膨大な規則、規約と照らし合わせながら、一つひとつの文言を精査するのは非常に労力がいる仕事です。さらにそうした規則や規約は都度変更があるものなので、最新情報を常に知っておかなければならないことも、この業務の負担を大きくしている原因です。

しかし、それも生成AIに任せれば、校閲担当者は回答だけを見て再チェックするといった、非常に簡単で負担の少ないワークフローにすることができます。

HP勝谷
―校閲にかかっていた労力がほとんど不要になるのは非常にうれしいことだと思います。こちらの不動産業界向けの校閲システムの稼働環境には弊社のワークステーションをご活用いただいていますよね。

高松
はい。個人情報の扱いなど外部APIの利用が難しい不動産業界に向けて、ローカルLLMを用いたクローズドな環境でシステムを構築し、検証を行ってきています。基本的には社内ネットワークの中にワークステーションを1台配置して、そこで運用することを想定しています。今回のPoC環境ではHP Z6 G5 A Workstationを選択させていただきました。

HP勝谷
―採用いただいたHP Z6 G5 A WorkstationはAMD Ryzen™ Threadripper™ PRO 7985WXプロセッサを搭載することで、ブースト時で3.20GHz、64コアによる並列演算が可能です。強力なプロセッサパフォーマンスにより、マルチプロセッサを搭載するサーバクラスに匹敵する高い演算能力を提供することができます。万が一、これで不足するようなら、96の物理コアを持つ上位モデルのAMD Ryzen™ Threadripper™ PRO 7995WX プロセッサを採用することで、スケールアップもできます。

グラフィックスには48GB のメモリを搭載したハイエンドGPUを3基用意しました。これだけのリソースがあれば、システムの拡張も容易だと思います。この環境で不足はありましたか？

高松
今回用意していただいたHP Z6 G5 A Workstationは、かなりリッチな環境といえます。ただし、LLMを活用するシステムでは将来にわたる変動要素も多いのが現状です。ローカルLLMとしてテストしているLlamaやGemmaなどは、数か月おきにあたらしいモデルも出てきており、LLMとしての性能も上がりますがシステムに要求される諸元も変わってきます。また、RAGに使用しているVector DB(FAISS)など含めて、構成要素も多くGPUだけではないトータルの性能が必要です。今後の対応ではコンピューターへの負担が大きくなる可能性もありますが、どのようなアップデートが来ても対応できるレベルのワークステーションだと思います。

HP勝谷
―ご満足いただけているようで、大変うれしいです。まさに「不動産業界向けRAG on Workstation」というプロジェクト名にふさわしい環境ですね。

社会実装への十分な手応え

HP勝谷
―プロジェクトも半ばに差し掛かっていますが、HP Z6 G5 A Workstationの稼働状況はいかがでしたか？

高松
ローカルLLMの部分には、以前から保有していた大量の過去データが流用できます。エージェント的な動かし方はワークフロー形式にしてあり、とてもシンプルです。RAGに関してもシステムのリソース内に十分収まるようにしてあるので、検証機として使っているHP Z6 G5 A Workstationのパフォーマンスは十分引き出したうえで、プラスアルファの余力が十分にある状態です。

ベクトル計算のような演算処理は純粋にプロセッサのパワーで処理を任せることができたところもありますし、エージェント側では様々なプロセスが同時に動くのですが、並列のアクセスが増えた際の処理能力に不安はまったくありませんでした。AMD Ryzen™ Threadripper™ PROプロセッサの能力の高さをとても感じましたね。

HP勝谷
―ローカル環境での生成AI活用では、どうしてもグラフィックスパワーに目が行きがちですが、プロセッサの能力が高ければコンピューターのトータルパフォーマンスが大きく底上げされるという典型的な結果がここでも確認できましたね。これまでのPoCの成果はどのようなものになっていますか？

高松
検証段階なので確定的なことは言えませんが、改善すべきポイントはあるものの、おおむね80～90％の精度で回答を得られています。回答までの時間は約2分という形なので、ある程度納得のいくところに収まっています。しかし、ローカルLLMについては推論処理の最適化を残している状態なので、まだまだ回答速度も上がっていくと思います。ほかにもプロンプトのチューニングなど精度改善の余地はありますが、中間報告としては基準点に達していると考えています。

HP勝谷
―PoCは2025年の春まで続きますが最終報告が楽しみですね。今後についてみなさまのお気持ちをお聞かせください。

高松
今使わせていただいているHP Z6 G5 A Workstationに関しては、かなりのポテンシャルがありますが、HP様のワークステーションは非常に幅広いラインアップがあります。不動産業界向けRAG on Workstationが製品化された際には、お客様に最適な構成でご提供できるようにほかのモデルでの利用シーンについても検討していきたいと思います。

倉員
まだ実証実験は続きますが、最終的に良好な結果を得られるところまで開発が進んだ段階で、実際のお客様先への実装はどのような環境が良いのか考えていくことになります。お客様のニーズにもよりますが、例えば規模を小さくし、ワークステーションのパフォーマンスをダウンサイジングして、コストメリットを高くしてお届けすることも視野に入れていかなくてはいけません。不動産業界向けRAG on Workstationプロジェクトは社会実装を前提に進めていますから、今後は導入先の環境も合わせてPoCを続けたいと思います。

HP勝谷
―本日はありがとうございました。今後ともよろしくお願いします。

※このコンテンツには日本HPの公式見解を示さないものが一部含まれます。また、日本HPのサポート範囲に含まれない内容や、日本HPが推奨する使い方ではないケースが含まれている可能性があります。また、コンテンツ中の固有名詞は、一般に各社の商標または登録商標ですが、必ずしも「™」や「®」といった商標表示が付記されていません。