AI開発を行うためのシステム構成に“最適解“はあるのか

呉氏：AI処理のパイプラインは、データの準備、モデルのトレーニング（ML/ディープラーニング）、推論処理（デプロイ）という流れになります。現在、大規模なディープラーニングのモデルトレーニングはサーバーで行うケースが一般的ですが、その前の段階であるモデルアルゴリズムの開発・テストではワークステーションを利用するという動きが加速しています。先に述べたようにローカル環境に設置できるためレスポンスと自由度が高く、メモリ搭載容量も大きい。自分専用のマシンならば、フレームワークやソフトウェアSDKの設定を毎回行う必要もなく、効率的な作業環境を構築することができます。

インテルでは、ワークステーション向けのCPUとしてインテル® Xeon® W-3400 プロセッサー、インテル® Xeon® W-2400 プロセッサーを提供しています。第4世代 インテル® Xeon® スケーラブル・プロセッサー（開発コードネーム：Sapphire Rapids）をベースに、ワークステーション向けに必要な機能を盛り込んだ製品で、ベクトル演算を高速化するインテル® AVX-512や、マトリクス（行列）演算を高速化するインテル® AMX（Advanced Matrix Extensions）など、AI機能を拡張するアクセラレーターを搭載しました。

システムメモリも最大4TB（W-2400は最大2TB）までサポートしており、Xeon Wベースのワークステーションであれば、データサイエンスにおける独自のワークフロー、ツール、ハードウェアのニーズに応えられると思います。

大橋氏：ここまでの話を聞いて、AI開発におけるXeonプロセッサーを搭載したワークステーションの役割について、理解を深めることができました。これまでデータ解析、HPC用途では、AVXアクセラレーターが搭載されたCPUでなければベクトル演算の高速化が図れない、という提案はしていましたが、AMXアクセラレーターが搭載されたSapphire Rapidsならば、GPUの領域とされていたマトリクス演算をCPUでも高速化できる、と案内できます。ベンダーとしては、Xeon搭載ワークステーションのメリットを改めて実感しました。

呉氏：また、先ほど大橋さんが話されたユーザー企業の環境に合わせたシステム構成を提案するという観点でいうと、AIフレームワーク/SDKを使用する際、それぞれCPUのどういった要素を必要としているか、というのも考えなければいけないと思います。

大橋氏：なるほど、つまりユーザー企業のニーズを汲み取るだけでなく、どのフレームワークやSDKを使用するのかまで想定しないと、システム構成の提案が難しいということですね。

呉氏：以前に弊社では、主要なAIフレームワーク/SDKが、CPUの5つの要素のうち、どの要素を必要としているかを調査したことがありました。5つの要素は次の通りです。

結果としては、用いるフレームワークやその目的によって必要とされるCPUの要素はさまざまで、とあるAIフレームワークではCPUのコア数、AVX-512アクセラレーター、メモリ容量の3要素を必要としていました。一方で別のフレームワークでの検証では、ベースクロックとメモリ容量の2要素だけという結果も出ています。この調査からわかったのは、ユーザー企業の環境やニーズによってシステム構成のポイントは変化するため、すべての環境に対応する最適解というものは存在しないということでした。

大橋氏：これは非常に参考になる調査ですね。開発者も使用しているフレームワークにどのようなシステム構成が必要なのかを把握している方は少ないと思います。それ以前に、AI開発にどのフレームワーク、SDKを使うのかという部分でも、まだ手探りな企業が多いと感じています。

呉氏：AI開発に取り組む企業からは「システムを構築するうえで何を重視すれば良いのか」とよく聞かれますが、明確な回答は難しいです。どのようなフレームワークを使っていて、何を実現したいのか、まずはそこを知らないと正しい答えは出てきません。

「ハイエンド＝デュアルソケット（デュアルCPU）」という認識も、必ずしも正解とはいえない

呉氏：インテル® Xeon® W-3400 プロセッサー シリーズのパフォーマンスとしては、興味深いベンチマーク結果があります。2世代前のW-3275（シングルソケット/28コア）、Xeon Gold 6258R×2（デュアルソケット/28コア×2）とXeon W9-3495（シングルソケット/56コア）で、pythonのフレームワークでパフォーマンス比較したもので、最新世代のパフォーマンスが25～75％向上していることが確認できます。

CPUのアーキテクチャが大きく進化しているので、この結果は妥当といえますが、興味深いのは古い世代ではコア数の差がパフォーマンスに反映されていない結果が出ていることです。使用したフレームワークがシングルノードを想定して作られているため、デュアルCPUの環境ではCPU間のデータ転送に遅延が発生したためと考えられます。

クリックして拡大表示

大橋氏：ワークステーション分野では、シングルソケットを採用した製品も増えていますが、ハイエンド＝デュアルソケット（デュアルCPU）というイメージが強いなか、シングルソケットでコア数が多い最新CPUを選択することを躊躇する企業も少なくありません。ワークステーションベンダーとしても、シングルソケットを選ぶ動機付けが薄いと感じることがありましたが、このベンチマークからはメモリバンクも1つでシンプルにデータにアクセスできるシングルソケットの優位性も見えてきました。Xeon Wシリーズ搭載のワークステーションを採用する根拠の1つと感じます。

呉氏：並行処理を重視したフレームワークであればコア数の違いが活きてきますし、20コアがマックスのフレームワークで、どちらも20コア以上のCPUならばベースクロックの差が活きてきます。CPUの世代によるアーキテクチャの違いを含め、考えるべきポイントは多いといえるでしょう。

インテルでは、モバイルワークステーション（30～40GB、4万行のデータサイズ）に第13世代インテルCore i9 プロセッサー、メインストリームワークステーション（40～512GB、50～100万行のデータサイズ）にインテルXeon W7/W5-2400プロセッサー、エキスパートワークステーション（512GB以上、数千万行のデータサイズ）にインテルXeon W9/W7-3400プロセッサーを推奨していますが、これもユーザー企業のニーズや環境によって変わってくるので、あくまで指針の1つとして捉えていただければと思います。

AI PCに続く新しいAI開発のコンセプトは“AI ワークステーション”

大橋氏：最近の動向としては、金融機関など、これまで引き合いが無かった分野からAIの開発や推論のPoCを目的としたワークステーション導入のご相談が徐々に増えてきています。
ローカル環境でトライ＆エラーを何度も試せるワークステーションは、サーバーやクラウド環境に比べてPoCに向いていると思います。とはいえ、中途半端なハードウェアを導入すると成果は出ない、時間も予算も無駄になるなど良いことがなく、ハードウェア環境がボトルネックとなり、AIを導入する価値が無いと判断されかねません。

ボトルネック、つまりパフォーマンスが上がらない要因を特定するのは難しい作業で、特にPoCの場合はハードウェアに起因するのか、フレームワークに起因するのか、問題を切り分けていく必要があります。

呉氏：サーバーやクラウドという選択肢を否定するつもりはありませんが、これからのAI開発環境においてワークステーションの重要性は高まっていくと思います。その意味でも、やりたいことや環境にマッチしたシステム構成を把握することが重要です。なかでも、CPUとシステムメモリの関係性を考えていくことが大切で、前述したように、77％に及ぶデータサイエンティストの作業には、CPUの処理能力と大容量のメモリが必要となります。

ここまで話してきた「AI＝GPU」や「ハイエンド＝デュアルソケット（デュアルCPU）」といった“思い込み”を払拭し、フラットな視点でニーズに合ったシステム構成を考えていけば、CPUとメモリに投資する価値があることに気づくはずです。

大橋氏：規模によってはサーバーが必須になるケースもあるかと思いますが、ワークステーションにおける自由度の高さと導入のしやすさは、やはり大きな魅力です。一方でテレワークが浸透した昨今では、ワークステーションの導入により、データサイエンティスト、AI開発者が出社を強いられるのではといった懸念もあります。ですが、日本HPでは低遅延のリモートデスクトップソリューション「HP Anyware」を提供しており、これを活用することで、柔軟なワークスタイルを維持したまま、ワークステーションを利用できるようになります。

呉氏：日本HPも、AIを重要なテーマとしてソリューションを展開されていると思います。最近ではインテル® Core™ Ultraプロセッサーを搭載したAI PCも発表されていますが、ワークステーションの分野においてもAIを前面に押し出していかれるのでしょうか。

大橋氏：そうですね、現在日本HPではAI向けのワークステーションとして「HP Z8 Fury G5 Workstation」を提供しております。シングルソケットで最大56コアの Xeon W9 プロセッサーを採用し、最大2TBのメモリを搭載可能。GPUに関しても最大4基のグラフィックボードを搭載できるなど、AI開発向けのワークステーションと称して問題のない製品に仕上がっています。

また北米では、すでにAI PCに続く”AIワークステーション”というコンセプトも打ち出し始めており、今後は日本での展開も検討しています。

呉氏：インテルとしても「AI Everywhere」というコンセプトを掲げており、サーバー向け、ワークステーション向け、PC向け、エッジ向けなど、AI活用を見据えたラインナップを拡充していく予定です。

大橋氏：今後もインテル様とは密接に連携して、協働体制でAI活用を推進していければと考えています。本日はありがとうございました。