どんな新しいテクノロジーが登場しても、人類の最初の試みは通常、ブルートフォースによって達成されます。テクノロジーが進化するにつれて、ブルートブレークスルーに対するより洗練されたソリューションを最適化し、考案しようと試みます。人工知能 (AI) の最新の進歩、特に大規模言語モデル (LLM) の開発により、私たちは近年大きな進歩を遂げ、目覚ましい能力を発揮してきました。しかし、こうした進歩は、まだこの技術進化のブルートフォース段階にあります。カンブリア紀では、トランスフォーマーのようなモデルが爆発的に増加し、数兆ものパラメーターまで及ぶ大規模なモデルが生まれました。これは、内燃機関がより効率的な後継電気自動車に移行したのとよく似ています。この変化はセダンや私の大好きな趣味のおもちゃであるレーシングカーにも見られました。1960年代に、ポンティアックGTO、シェルビーコブラ427、ダッジチャージャーR/Tなどが、大型ブロックエンジン、ガロンあたり7～14マイル（MPG）の燃費を誇る10秒のストリートヘミエンジンでガスを大量に消費するデトロイトマッスルを披露したことから始まりました。今日では、リマックのような最新の電気自動車が使われています。 ネベラ、54MPGeを達成しながら、1.74秒で0〜60MPhを達成できます。初期のブルートフォースは、その後の効率を高めるために必要なステップでした。

歴史は大規模言語モデルで繰り返す必要があることが私には明らかになりました。私たちは、AIモデルに対処するためのブルートな試みから、より洗練されたソリューションへの移行の危機に瀕しています。特に、より大規模で複雑な言語モデル（現代のGTO、コブラ、ヘミエンジンと同等のもの）から、より小さく、はるかに効率的なモデルへの移行が進んでいます。率直に言って、このような効率化を推進することが、過去数年間、私の主な焦点でした。素晴らしい同僚のチームと仕事をしていると、最近は幸運にも Ai とコンピューティングが交差する場所で、アクセラレーテッドマシンの設計や Meta の AI インフラストラクチャの共同設計などの職務に携わることができました。いつ ババク・パフラヴァン そして私は現在のベンチャー企業の設立に着手しました— ニンジャテック AI —私たちは、初日からインテリジェンスプラットフォームの効率的な実行と運用という、技術的なDNAの重要な基本を会社の文化に浸透させました。NinjaTechは、スケジューリング、経費、旅行予約など、かなりの時間がかかる管理タスクを引き受けることで、プロフェッショナルの生産性を高めるためのAIエグゼクティブアシスタントを構築しています。

1000億個を超えるパラメータを持つ言語モデルを用いて自己回帰モデルや生成モデルを研究しているうちに、これらの管理タスクを達成するためにはもっと効率的で簡単な方法が必要であることが明らかになりました。それは、「人生の意味とは何か」という質問に答えようとする場合や、モデルに自動音楽プロデューサー向けの Python コードを書いてもらう場合の 1 つです。多くの管理タスクでは、単純でそれほど複雑ではないモデルで十分です。さまざまな管理タスクにさまざまなサイズのモデルを活用してこれをテストしました。その中には、CPU で実行できるほど小さくて効率的なモデルもあります。これにより、高コストの大規模なトレーニングジョブで大金を払う必要がなくなるだけでなく、モデルを処理するためにメモリフットプリントの大きい高価な GPU インスタンスを必要としないため、推論時間を節約できます。前述の燃焼から電気への転換の例と同様に、効率は向上していますが、非常に迅速です。

業界と研究コミュニティがより効率的な運用へとシフトしていることを嬉しく思います。その一例として、Meta'sがあります。 ラマ どっちをリリース 出展しました 彼らの13Bパラメーターモデルは、桁違いに小さいモデルでより多くのデータでトレーニングを行ったため、ほとんどのベンチマークでGPT-3（175B）を上回りました。その結果、メタリサーチは次の点で再び好成績を収めました。 リマ （調整には少ない方が良い）では、質の高い結果を得るための賢い事前トレーニング方法として、1000種類の「多様な」プロンプトを活用しました。これは本当に驚くべきことであり、Ai の二酸化炭素排出量によって地球に悪影響を及ぼす可能性のある Ai に対するコンピューティング需要を抑えるために不可欠です。物事を大局的に見ると、 マサチューセッツ工科大学の研究 パラメータがわずか65Mの小型変圧器モデルでは、トレーニング時に最大27kWhと26ポンドのCO2eを消費できることが実証されました。この数値は、GPT3 などの大規模モデルを見ると劇的に増加する可能性があり、最大で 約 502 トン 2022年だけで炭素換算排出量で見るとさらに、モデルが公開されると、推論はトレーニングほど計算負荷が低くなりますが、推論を活用してサービスを提供する場合、その排出量は、その存続期間にわたってトレーニングの10～100倍に急増し始めます。

私たちは、Ai の大きな可能性を秘めた氷山の一角に過ぎません。しかし、クラスターの規模と予算を考えると、より狭いフットプリント内でより多くのことを行うには、運用の効率性を考慮することが不可欠です。ガスを大量に消費するヘミを抑制し、より効率的な小型モデルを採用する必要があります。これにより、運用が改善され、コストが削減され、AIの二酸化炭素排出量が大幅に削減されます。