Copilot は Microsoft エコシステムに深く浸透しており、AI チャットボット専用の新しいキーボード キーさえあります。 現在、その機能の多くはオフラインで実行でき、ラップトップ上で処理が行われるようですが、新しい Intel AI PC を持っている場合はそうではありません。
最近台北で開催されたインテル AI サミットで、チップメーカーの幹部らは姉妹誌にこう語った。 トムのハードウェア 現世代の Intel Core Ultra チップはどれも、Copilot をオフラインおよびデバイス上で実行するための最小要件を満たしていません。
すべては 1 秒あたりの兆演算数 (TOPS) に帰着します。これは、NPU が AI タスクを実行できる速度の尺度であり、数値が高いほどパフォーマンスが向上することを意味します。 少なくとも 40 TOPS カウントの NPU が必要ですが、現時点では、Intel Core Ultra チップには 10 TOPS しかありません。
現在、Windows の実行に一般的に使用されているこの機能に近いプロセッサは、45 TOPS の Qualcomm Snapdragon X Elite だけです。 Intelは、次世代のCore Ultraチップは最小要件を満たしていると述べている。
Copilot をローカルで実行する理由
現時点では、Copilot の優れた生成 AI 機能の処理はクラウドで行われ、データは Microsoft サーバーに送信され、応答が返されます。 しかし、長期的な目標は、その少なくとも一部をデバイス自体にもたらすことでした。
現在、Meta の Llama 2 のような大規模な言語モデルを M2 MacBook Air にインストールできますが、それが完了するまでマシン全体がフリーズするため、その思考や応答がいつ行われるかに確かに気づきます。
Copilot のような AI ツールをローカルで実行する理由は、プライバシー保護、セキュリティ、オフライン アクセス、コストなど複数あります。高価な処理はクラウドではなくマシンが実行します。
課題は、マシンの速度低下やバッテリーの急速な消耗をユーザーに気づかせることなく、Copilot エクスペリエンスの要素を実行するのに十分な計算能力を備えているかどうかです。
バッテリーの問題は、GPU に依存するのではなく、推論の多くを NPU に移すことで主に解決されます。Intel クライアント コンピューティング グループの副社長である Todd Lewellen 氏によると、Microsoft は、バッテリー寿命への影響を理由に、Copilot は NPU で実行されると主張しています。
現在、Meta の Llama 2 のような大規模な言語モデルを M2 MacBook Air にインストールできますが、それが完了するまでマシン全体がフリーズするため、その思考や応答がいつ行われるかに確かに気づきます。 これは、Copilot のような主流のアプリケーションや、Siri の将来のバージョンでは受け入れられません。
TOPS とは何ですか? なぜ重要ですか?
TOPS は、チップが処理できる 1 秒あたりの操作の数兆回です。 具体的には、プロセッサが 1 秒間に実行できる算術演算の尺度であり、AI および機械学習タスクのパフォーマンスの尺度として特に役立ちます。
多くの場合、TOPS の数値は、CPU と NPU を合わせたチップ全体に対して与えられますが、Intel によれば、NPU 値が高いほど、LLM タスクの全体的なパフォーマンスが向上します。
Lewellen 氏は Tom’s Hardware に対し、NPU が驚異的な 40 TOPS に達すれば「より多くのことをローカルで実行できるようになる」と語った。
ただし、マシン上で Copilot のすべてが実行されるとは考えていませんが、主要な機能のほとんどだけが実行されます。 一部の画像生成や編集などの追加機能を使用するには、しばらくの間、インターネット接続とクラウド サービスへのアクセスが必要になる可能性があります。
「一般的な傾向は、できるだけ多くの負荷を軽減することです [the AI processes] エンドポイントへ [on-device] 可能な限り」とインテルのクライアント コンピューティング グループ副社長のデイビッド フェン氏は MWC で Jugo Mobile に語った。
ラップトップで AI を実行できるのはいつですか?
画像エディタやビデオエディタなど、サービスをローカルで実行する AI アプリはすでに多数ありますが、それらは主に GPU を使用しています。 Intel は、NPU のより良い使用を奨励するために開発者と積極的に取り組んでいますが、次世代チップを入手するまでは実現しない可能性があります。
その一方で、クアルコムは Windows AI 分野で逃げ続けています。 遅延が多い Snapdragon X Elite チップは、オンボード NPU で 45 TOPS を測定し、Windows を実行します。
Qualcomm CFO Dom McGuire は、Intel チップの TOPS 数が低いことが最初に発表されたときに問題になるだろうと予測しました。 2月にバルセロナで開催されたMWCで講演した彼は、ほんの一握りのTOPSではできることはあまりないとJugo Mobileに語った。
10 TOPS の AI ユーザー エクスペリエンスからできることはあまりありません。
クアルコム CFO ドム・マクガイア
「3 つの異なるプロセッサ ユニットすべてで 70 以上の AI パフォーマンスをサポートできます」と彼は説明しました。
同氏は、Intel AI PCは約10 TOPSしか処理できないと付け加えた。 「10 TOPS の AI ユーザー エクスペリエンスからできることはあまりありません。」
Apple でさえ、最上位の A17 Pro モバイル チップと M2 Ultra デスクトップ チップの最高性能は 34 TOPS にすぎませんが、オペレーティング システムとハードウェアの緊密な統合により、利用可能な処理能力をより有効に活用し、負荷を分散することができます。システム全体。
答えは、今すぐラップトップで AI を実行できるということです。 ほとんどの場合、GPU が使用されるため、バッテリー寿命やシステム全体のパフォーマンスに影響が生じます。 しかし、今後 1 ～ 2 年で第 2 世代の AI PC と新しいソフトウェアが登場すると、ローカル AI が標準になるでしょう。
確かなことは、企業がバッテリー寿命に大きな影響を与えることなく複雑な計算や AI プロセスを実行するために NPU の機能を活用しようとしているため、今後数年間で TOPS についてよく耳にするようになるだろうということです。
- 私は AI のテストを生業としており、Mac で使用している 11 個の AI 搭載アプリを紹介します。
- Google が Android のメッセージに Gemini を追加 – AI とチャットする新しい方法を提供
- ティム・クック氏：Appleは今年「生成AIの新境地を開く」だろう