Windows ML とは？ONNXモデルをローカル実行！SLMの動かし方と実力を実機検証で解説

ライター：株式会社WEEL

生成AIの企業利用では、機密情報を社外へ送る不安やAPIの従量課金が導入のハードルです。この課題を避ける手段として、PC上で完結するローカルSLM（小規模言語モデル）が注目の選択肢です。

Microsoft が提供する「Windows ML」を使うと、Windows アプリの中でONNX形式のAIモデルをそのまま実行できます。本記事では、ローカルSLMを動かす手順を試し、速度・回答品質・負荷と、企業利用でのメリット・注意点を解説します。

※本記事は2026年8月時点の情報に基づいて執筆されています。

記事のポイント要約

結論：Windows ML の登場で、Windows アプリに追加コストなくローカルSLMを組み込める土台が整った

重要度：中
ひと言評価：クラウドAPI依存からの脱却よりも、OS標準のAI推論基盤としてどこまで実務に耐えるかが問われる段階

Windows ML とは

Windows ML は、Microsoft が提供する Windows 向けのローカルAI推論フレームワークです。ONNX Runtime を基盤とし、ONNX形式のAIモデルを Windows アプリの中でそのまま実行できます。^※1

※1：Microsoft, "Windows ML is generally available"（Windows Developer Blog・2025年9月23日）
https://blogs.windows.com/windowsdeveloper/2025/09/23/windows-ml-is-generally-available-empowering-developers-to-scale-local-ai-across-windows-devices/

CPUに加えて、実行プロバイダー（Execution Provider）経由でGPUやNPUでも推論を高速化できます。NVIDIA の TensorRT for RTX や AMD の Vitis AI など、チップ各社の実行プロバイダーを Windows 側が自動で導入・更新するため、ハードウェアごとに個別のアプリを作る必要はありません。^※2

※2：Microsoft, "Windows ML execution providers"（Microsoft Learn）
https://learn.microsoft.com/windows/ai/new-windows-ml/supported-execution-providers

PyTorch や TensorFlow のモデルもONNX形式へ変換すれば使えます。既存アプリにAI推論を組み込む開発者向け基盤という位置づけです。

今回の検証環境と使用するSLM

今回は、実際にローカルSLMを動かす手順を検証しました。検証に用いた環境とモデルは以下のとおりです。

検証結果は端末構成によって変わるため、自社の利用環境に近い条件で改めて確かめるのが安心です。

Windows ML で利用するSLMを準備する

Windows ML で扱うモデルは、ONNX形式である必要があります。モデルを用意する方法は大きく2通りです。

1つは、Microsoft のツールを使う方法で、AI Dev Gallery からONNX対応のSLMをダウンロードできるほか、Windows ML CLI で変換・最適化もできます。もう1つは、Hugging Face などの公開ONNXモデルを直接取得する方法です。

モデル本体のほかトークナイザーや設定ファイルも必要になる点と、モデルサイズがメモリ使用量や生成速度に直結する点に注意してください。

今回は動作の軽さを優先し、小型・量子化済みの Phi-4-mini を選びました。

Windows ML の実行環境を構築する

Windows ML を使ったアプリの開発は、大まかに次の流れです。

まず、Visual Studio でC#またはC++の Windows アプリプロジェクトを作り、Windows App SDK と Windows ML のパッケージを導入します。生成AIモデルを動かす場合は、ONNX Runtime GenAI の Windows ML 向けライブラリ（プレビュー提供）の追加も必要です。

モデルファイルはアプリから参照できる場所に配置します。最初はCPUで動作を確認し、その後GPUやNPUへ切り替えると問題の特定が容易です。

なお、アプリ自体は Windows App SDK 対応環境で動作しますが、実行プロバイダーによる最適化には Windows 11 バージョン24H2（ビルド26100）以降が必要です。^※1

Windows ML でローカルSLMを動かしてみる

実装は、ONNX Runtime GenAI でモデルとトークナイザーを読み込み、プロンプトをトークン列に変換して推論を開始する流れです。生成されたトークンは順次文章になり、画面に表示されます。主要部分のコードは次のとおりです。

検証では、質問・要約・文章作成・情報抽出の4課題を実行し、処理時間とリソース使用率を記録しました。

モデルの読み込みは初回11.0秒、2回目以降は6.6秒でした。回答完了は課題により2.2〜10.1秒、生成速度は毎秒18〜19トークン、実行中はCPU使用率56%前後・メモリ82%程度です。

日本語の品質は、質問・要約・抽出はほぼ正確でした。

一方、メール作成では「ご Invitation」のような英単語の混入や敬語の乱れ、句点の重複が見られ、利用する前には目視確認が必要です。

CPU・GPU・NPU で動作を比較する

同じプロンプトを使い、CPU・GPU・NPU のそれぞれで動作を比較しました。比較項目は、読み込み時間・1秒あたりの生成トークン数と、実行時のリソース使用率です。

GPUは、CPU 向け量子化モデルでは初期化エラーになり、GPU向けに量子化された変種へ差し替えることで動作しました。NPU（Vitis AI）は今回のモデルではコンパイル段階で停止し、実行できていません。実行プロバイダーとモデル形式の組み合わせ確認が実際に必要でした。

生成速度はGPUとCPUがほぼ同等でした。内蔵GPUの専用メモリ（512MB）が飽和したためで、GPUやNPUが常に速いとは限らないという注意点が実測に表れています。

Windows ML でローカルSLMを動かすメリット

最大のメリットは、入力データをクラウドへ送信せずに処理できる点です。機密情報を扱うアプリにも組み込みやすく、モデル取得後はオフラインでも動作し、トークン単位のAPI課金もありません。

CPU・GPU・NPUを端末性能に応じて使い分けられ、既存の Windows アプリや業務システムへ直接組み込めます。モデルや生成条件を自社で管理でき、ネットワークに左右されにくい構成を作れます。

ただし、ローカル実行でも端末の管理やアクセス制御は別途必要です。

Windows ML でローカルSLMを動かすデメリットと注意点

モデルの取得やONNX形式への変換、アプリへの組み込みには一定の開発知識が必要です。PCの性能で生成速度や利用できるモデルが変わり、大容量のメモリやストレージが要る場合もあります。

小型モデルはクラウドの大型モデルより回答品質が劣る場合があり、日本語性能もモデルごとに差があります。実行プロバイダーとの互換性、ライセンスや商用利用条件も個別確認が必要です。多人数が同時接続するサーバー用途には別の推論基盤が向いており、生成結果の誤りには人の確認が欠かせません。

こうした制約は端末選びである程度緩和できます。NPU搭載の Copilot+ PC（NPU 40TOPS以上）を選ぶと、対応する実行プロバイダーの幅が広がり、速度と対応モデルの制限を緩和できます。^※3

※3：Microsoft, "Copilot+ PCs developer guide"（Microsoft Learn）
https://learn.microsoft.com/windows/ai/npu-devices/

企業で想定される活用方法

Windows ML でローカルSLMを活用できそうな業務は、社内文書の要約・問い合わせ内容の分類・定型メールや報告文の作成・文書からの項目抽出などです。オフラインで使う業務支援アプリや、クラウドへ送れない文章の一次処理、RAGと組み合わせた社内検索にも向いています。

高度な推論はクラウドLLM、定型的な処理はローカルSLMに振り分けるハイブリッド構成なら、コストと精度のバランスを取りやすくなります。導入前に対象業務を絞り、精度と速度を確かめてから範囲を広げるのが現実的です。

Windows ML を本格活用するなら Copilot+ PC が鍵になる

Windows ML なら、ONNX形式のSLMを Windows アプリ内で直接実行できます。まずはCPUで動作を確認し、必要に応じてGPUやNPUへ処理対象を広げる進め方が現実的でしょう。

機密性の確保・オフライン利用・API料金の削減が主なメリットですが、モデルの準備や端末性能、回答品質の検証には一定の工数もかかります。小型モデルと対象業務を絞ったPoCから始めてみてください。

本格活用を見据えるなら、NPU 40TOPS以上を搭載した Copilot+ PC を選ぶことで、速度と安定性を大きく引き上げられます。^※3

※このコンテンツには日本HPの公式見解を示さないものが一部含まれます。また、日本HPのサポート範囲に含まれない内容や、日本HPが推奨する使い方ではないケースが含まれている可能性があります。また、コンテンツ中の固有名詞は、一般に各社の商標または登録商標ですが、必ずしも「™」や「®」といった商標表示が付記されていません。