AI：オープンソースの未来についての Red Hat のビジョン

AI の環境は、目まぐるしいスピードで進化しています。テクノロジーの飛躍的進歩と同様に、その未来を最も効果的に形作るパスは何かという問いが生じます。Red Hat は、この問いに対する明確な答えを示すことができます。

AI の未来はオープンソース

これは単に哲学的な視点から述べているのではありません。 これは、AI の真の価値を引き出し、よりアクセスしやすく、民主化し、さらに強力なものにすることに焦点を当てたアプローチです。

Red Hat は常に、イノベーションの促進において、オープンソースによる開発がもたらす力を評価してきました。これは、Linux、KVM、OpenStack、Kubernetes その他多くのプロジェクトの発展において観察され、今日の技術的な環境の形成に貢献しています。オープンソース開発モデルは、コラボレーション、透明性、コミュニティ主導のイノベーションを通じて、発見のペースを加速し、実験を促進し、最先端のツールやテクノロジーへのアクセスを容易にします。これにより、進歩やイノベーションが促進され、活発なエコシステムが形成されます。

AI も例外ではありません。

信頼、セキュリティ、および説明可能性が最優先される AI では、最も豊富な資金や広範なリソースを持っているユーザーだけでなく、誰もが参加できることが重要になります。Red Hat はオープンソースの AI イノベーションの支援に尽力し、このテクノロジーの未来を、コミュニティ主導の開発や進歩の共有、選択の自由を基盤として構築される道を切り開いています。

Red Hat はオープンソース・プロジェクトと AI テクノロジーに多額の投資を行っており、業界全体のパートナーと協業し、組織が AI ワークロードを必要な場所に柔軟にデプロイできるようにするためのソリューションを開発しています。本日、Red Hat は Neual Magic 買収の正式契約を締結したことを発表しました。この重要なマイルストーンが、Red Hat の進展を加速するものとなり、AI の将来に対する Red Hat のビジョンの実現を導くものとなることでしょう。

Red Hat では、AI の未来はオープンであり、その成功は次のような重要な柱の上に成り立つと考えています。

小規模モデルが導入を後押し

AI は、リソースを大量に消費する大規模なモデルだけではありません。現在、卓越したパフォーマンスを発揮する効率性の高い、より小型で専門化されたモデルへの移行が進んでいます。これらのモデルは、トレーニングやデプロイにおいてより効率的であるだけでなく、カスタマイズや適応性においても大きな利点があります。

たとえば IBM Granite 3.0 は、より小型で機能的な AI モデルに重点を置いた、Granite シリーズ LLM の第 3 世代です。パーミッシブな Apache 2.0 ライセンスの下でリリースされたこれらのモデルのサイズは 1B から 8B パラメーターに及び、ラップトップから標準的な GPU まで、どこでも実行できます。Linux の場合と同じように、この使いやすさがイノベーションや組織内での導入へと導きます。

最初のサイズを小さくするだけでなく、スパース化と量子化を通じて AI モデルを最適化することでさらに強化でき、同じハードウェアでより多くの要求に対応できるようになります。スパース化は、モデル内の不要な接続を戦略的に削除し、精度やパフォーマンスを犠牲にすることなく、サイズと計算量を大幅に削減します。また量子化により、モデルサイズがさらに縮小され、メモリー要件が軽減された状態でプラットフォームで実行できます。これらすべてが組み合わされることで、コストの削減、推論の迅速化、より広範なハードウェアで AI ワークロードを実行できるようになります。Linux でもこれらのポイントが重視されてきたため、Linux は時計からスーパーコンピュータまでの、地球上のあらゆるインフラストラクチャで事実上実行できるようになりました。Neural Magic が Red Hat に加わったことで、AI の分野にも同じ点に重点的に取り組むことができます。

トレーニングによってビジネス上のメリットを引き出す

このような小さな AI モデルは強力ですが、トレーニングには公的にアクセス可能なデータが使用されます。これらのモデルは、驚くほどの言語を操り、ビジネスを理解し、インターネット上のほとんどのトピックについて把握しています。しかし、ほとんどの場合、それらはお客様固有のビジネスを理解している訳ではありません。ビジネスプロセスと知的財産がパブリックドメインにない場合に、それらが理解されることはありません。しかしながら、お客様にとっては、ビジネスプロセスの一般的な概念が重要なのではなく、ビジネスプロセスを改良する必要があります。ビジネスの可能性を引き出せるようにするには、独自の知識をこれらのモデルに適用する必要があります。そのためにはトレーニングが必要です。

Red Hat は InstructLab によってこの実現を支援しています。InstructLab 、データサイエンスの専門知識がないユーザーでも簡単に生成 AI アプリケーションで使用される LLM に貢献し、これを構築し、ファインチューニングできるように設計されたオープンソース・プロジェクトです。Red Hat と IBM によって立ち上げられ、Red Hat AI の一部として提供されている InstructLab は、MIT-IBM Watson AI Lab と IBM のメンバーによって 2024 年 4 月に公開された研究論文で説明されているプロセスに基づいています。これにより、ニーズに合わせて AI モデルをトレーニングするための複雑さが軽減され、エンタープライズ AI の最もコストのかかるいくつかの分野におけるコストが軽減され、LLM を特定の目的に合わせてより簡単にカスタマイズできるようになります。

選択の自由がイノベーションを解き放つ

ほとんどの組織では、企業のデータセンターとクラウド・インフラストラクチャの両方にまたがるワークロードを使用しています。AI は既存のインフラストラクチャとシームレスに統合して、オンプレミス、クラウド、エッジなど、多様な環境間での柔軟で一貫したデプロイメントを可能にする必要があります。また、データとリソースがある場所でトレーニングできる必要があります。さらに、それぞれのユースケースに適した場所でモデルを実行する必要があります。Red Hat Enterprise Linux (RHEL) が、アプリケーションを変更せずに、あらゆる CPU で実行できるようにコンパイルできるのと同様に、RHEL AI でトレーニングされたモデルがあらゆる GPU サーバーで実行できるようにすることが Red Hat のミッションです。柔軟なハードウェア、小規模モデル、単純化されたトレーニングと最適化を組み合わせることで、イノベーションを実現するための柔軟性が得られます。

また、AI のトレーニングと大規模なデプロイには、過去 10 年間に我々がソフトウェア分野で確立してきたのと同じ規律が必要になるとも考えています。Red Hat OpenShift AI は、モデルのカスタマイズ、推論、監視、ライフサイクル機能のドメインと、それらを Red Hat OpenShift で使用するアプリケーションを統合します。Neural Magic は、AI をハイブリッド・プラットフォーム上で実行できるようにすることに我々と同様の熱意を持っており、この分野のイノベーションに焦点を当てたオープンソース・コミュニティでリーダーシップを発揮してきました。

Neural Magic のミッションを強化

Neural Magic は、AI は最小のデバイスから最大のデータセンターまで、どこでも実行できるべきだという信念に基づいて設立されました。Neural Magic の企業としての原点は、我々の InstructLabチームも含め、AI でイノベーションを展開している Red Hat の小さくもパワフルなチームで私自身が見てきたことの一部と類似しているので、ここで共有したいと思います。

Nir Shavit 氏は MIT の並列コンピューティングを専門とする高名な教授で、数十年にわたってアルゴリズムとハードウェアの複雑性を研究していました。Shavit 氏の業績はすでに、並行データ構造やトランザクションメモリーなどの分野で革命をもたらすものとなってきました。MIT の元研究員である Alex Matveev 氏は、機械学習の専門知識と、AI モデルを効率的にデプロイする際の課題に対する鋭い理解を提供してこられました。

Nir 氏と Alex 氏は、高価で入手困難なことが多い GPU への依存性という AI の進歩における重大なボトルネックを認識しましたが、これがきっかけとなり、 Neural Magic の活動が急速に展開しました。この依存性が参入障壁を生み出し、さまざまな業界に AI を広く導入することを阻み、最終的には私たちの生活や働き方を変革するという AI の可能性を制限するものとなりました。

そこで彼らは、リソースの有無に関係なく、誰もが AI の力を活用できるようにするというミッションに着手しました。彼らの画期的なアプローチでは、機械学習モデルを最適化するためのプルーニングや量子化などの技術を活用し、パフォーマンスを犠牲にすることなく、すぐに利用可能な CPU で ML モデルを効率的に実行できるようにしました。最終的に、Neura Magic は GPU アクセラレーションへとビジョンをシフトし、これと同じレベルの最適化と効率性を vLLM を通して生成 AI にもたらすことに成功しました。このイノベーションへの取り組みは、AI がよりアクセスしやすく、手頃な価格になり、デプロイしやすくすることを約束するものでした。Red Hat AI でこのような機能をお客様に提供できる機会があることを嬉しく感じています。同時に、AI の進歩と導入を妨げる現状の限界を打ち破ることに根ざした実験と発明の文化が Red Hat のチーム内で共有されていることも嬉しく思っています。

例として、ボストンのオフィスでは、熱心な社員と研究者のグループ (偶然にもMIT出身者) が、AI の導入でのトレーニングの貢献におけるボトルネックを解決するために InstructLab に取り組んでいます。Neural Magic のテクノロジーが AI へのアクセスを民主化したように、InstructLab でも、モデルのトレーニングやチューニングの方法について同じアプローチを取っています。このチームがさらにどのような飛躍的進歩を見い出してくれるのかについて、今から楽しみにしています。

Neural Magic が Red Hat に加わり、オープンソース・コミュニティと共に AI の未来を実現するという我々のミッションを加速させていくことができる見通しに心を躍らせています。Red Hat は、オープンソースには世界の潜在的な可能性を解き放つ力があると確信しています。我々と Neural Magic のミッションは、AI によってその可能性の実現を加速することです。オープンソース・コミュニティと共にこれに取り組むことで、世界に最高の成果を提供できると考えています。

これは始まりに過ぎません。