Cloudera Data Platform と Red Hat OpenShift で生成 AI の力を解き放つ

多くの SF 動画では、乗務員がコンピュータに問題の解決を依頼します。コンピュータは穏やかな声で起動し、可能な解決策を提示します。すると、乗務員は注意深く耳を傾け、同僚と話すように会話を続けます。これは、少し前までは科学者の夢物語でした。多くの子供たちは、未知の領域で宇宙船をナビゲートしてくれるコンピュータを夢見ていました。2023 年の時点で、これはもはや空想の SF ではなく、現実のものとなりました。私たちは、生成人工知能 (生成 AI) の導入と普及を目指しています。

このテクノロジーは、新たなフロンティアを切り開いています。GenAI は、質問に答えたり、解決策を紹介したりするだけでなく、詩を届けたり、絵画を描いたり、音楽を作曲したりすることもできます！

GenAI の本質は機械学習 (ML) であり、複数の大規模なデータセットを使って、コンテンツを自律的に構成します。これは、ディープラーニングを使用する大規模言語モデル (LLM) と連携して、さまざまな自然言語処理 (NLP) タスクを実行します。巨大なデータセットを使うトランスフォーマーモデルを使用するため、 "Large" (大規模) という用語が使われています。

SF シナリオでは、GenAI は日常業務で使用されます。これをビジネスのシナリオに適用するとどうなるでしょうか。組織のメンバーは、ビジネスに関連する意思決定を行う際にもモデルを使用できるようになります。たとえば、工場から製品を生産するためにサプライチェーンの可用性を予測したり、顧客に対する可用性を確保するため、特定の小売店に対して在庫の必要性を示唆したりします。可能性は無限に広がります。

この記事では、GenAI ワークロードをデプロイする際に組織が直面する主な課題と、Cloudera と Red Hat が連携して GenAI の力を解き放つことで、組織がガバナンスとセキュリティ体制を向上してデータをより適切に活用できるように支援している点について説明します。

プライベート生成 AI が重要な課題と理由を理解する

GenAI と LLM が企業の運営方法や顧客への対応方法を変革することができることは否めませんが、これは特筆すべきことではありません。これらを導入する企業は、固有のリスクと課題を軽減するためのプラクティスを実施し、リスクや課題の対処方法を検討し、より責任と信頼性の高い AI を活用したソリューションを生み出していく必要があります。

企業での GenAI の導入に伴う最初の課題は、データのプライバシーです。これはすべての組織にとって最大の懸念事項ですが、GenAI では次のような理由により、この課題をさらに複雑なものにしています。

1. モデルのトレーニングに膨大な量のデータセットが必要である。

2. LLM が出力として新たなデータを生成する。

さらに、プロンプトによって誤って機密データが LLM に注入される可能性があり、これにより、プライバシーの侵害やリスクが発生する可能性があります。また、パブリッククラウドでホストされる GenAI サービスは、セキュリティ侵害や不正アクセスによって危険にさらされる可能性のある機密データを保存し、処理している組織に対して、リスクをもたらす可能性があります。

このようなデータプライバシーに関するリスクに対処するために、組織は GenAI をプライベートクラウドに導入して、重要な機密データをパブリックにホストされている GenAI サービスに移動しないようにしています。これにより、企業はプライベートクラウド内で基盤モデルを再利用できるため、機密データのセキュリティーとガバナンスを強化することができます。

もう 1 つの固有の課題は、LLM のコンテキスト上の制限です。一般公開されている AI サービスは企業にとって魅力的ですが、データを外部サービスと共有することなく、適切なコンテキストで、プロプライエタリーなデータでのインタラクティブな体験を構築する必要があります。強力な LLM は、ライフスタイルに関するアドバイスからトランスフォーマー・アーキテクチャの設計に関する情報まで、幅広いトピックに対応します。しかし、組織にはこれよりもさらに具体的なニーズがあり、その企業のコンテキストに応じた回答を必要としています。

新しい GenAI プロジェクトを実装するためには、新しいツールやスキルセットが必要になる場合があります。しかし、強力な開発プラットフォームで実行されるデータ分析プラットフォームを使用すると、組織は GenAI 戦略とプロジェクトを簡単に実装できます。これらの強力なプラットフォームを利用することで、組織は既存のスキルと知識を活用しながら、市場投入までの時間を短縮することができます。

Red Hat OpenShift 上での Cloudera Data Platform

Cloudera Data Platform (CDP) Private Cloud は、Kubernetes ベースのハイブリッド・データ・プラットフォームで、強力な分析、トランザクション、および機械学習のワークロードを提供します。当然ながら、CDP Private Cloud Data Services は Red Hat OpenShift で実行され、OpenShift が提供する追加機能の多くを活用します。

CDP Private Cloud を OpenShift にデプロイすると、デプロイメント全体に以下のような多くの利点があります。

• セキュリティ体制の強化：アプリケーションがデプロイまたは更新される際、ビジネスを可能な限り安全に保つためには、動的なセキュリティ制御を提供できることが重要になります。OpenShift は、ソフトウェアのサプライチェーンにセキュリティ制御を適用して、開発者の生産性を低下させることなく、アプリケーションのセキュリティ機能を強化することができます。Red Hat OpenShift を使用する企業は、アプリケーション・プラットフォームのライフサイクル全体を通じて、アプリケーション・プラットフォームを制御し、防御し、拡張することができます。
• ガバナンスとコンプライアンス：Red Hat Advanced Cluster Management for Kubernetes は Red Hat OpenShift Platform Plus の一部であり、アプリケーションのデプロイ、複数のクラスタの管理、クラスタ全体への広範なポリシー適用をより迅速に行うことができます。OpenShift は、アクセス制御、ネットワーキング、組み込みスキャナーを備えたエンタープライズ・レジストリといったコアとなるセキュリティ機能を提供します。Red Hat Advanced Cluster Security for Kubernetes は、ランタイム脅威検出、ライフサイクル全体の脆弱性管理、リスクプロファイリングなどの追加のセキュリティ機能でこれを強化します。
• 管理容易性と柔軟性：OpenShift は、ハイブリッド・インフラストラクチャのデプロイと管理を単純化し、オンプレミスかクラウド、およびハイブリッド環境で、セルフマネージドかフルマネージドかなどのサービスを選択できる柔軟性を提供します。また、AWS や Microsoft Azure の確約利用料を Red Hat のソリューションとサービスに使用することもできます。Red Hat Advanced Cluster Management は、セキュリティポリシーが組み込まれた単一のコンソールで、クラスタとアプリケーションを制御します。
• スケーラビリティ：OpenShift で実行されるアプリケーションは、数百のノードにわたる数千のインスタンスに数秒間でスケーリングできます。コンテナおよびアプリケーションのビルド、デプロイ、スケーリング、正常性の管理などが最適化され、自動化されます。

Red Hat と Cloudera が提供するソリューションは、AI ワークロード向けに最適化されており、組織がより優れたセキュリティ機能を活用してデータのライフサイクル全体を管理し、データをより迅速に機能させ、価値実現までの時間を短縮するのに役立ちます。Red Hat OpenShift 上の CDP Private Cloud は、データエンジニアリング、データウェアハウス、および機械学習向けにコンテナ化されたデータサービスを提供します。これにより、企業はセキュリティ重視の運用向けて最適化されたハイブリッドクラウド環境で、独自のデータからより実用性の高い知見を引き出すことができます。

CDP Private Cloud の次世代ハイブリッド・プラットフォームは、OpenShift のエンタープライズグレードの管理ツールと組み合わせることで、より一貫性のある方法で、分析ワークロードのプロビジョニングとスケーリングを行い、需要を満たすのに十分なリソースを割り当てることができます。これにより、組織は次のことができるようになります。

• すべての社員が直感的な一元管理ツールでデータから価値を引き出せるようになります。
• エンタープライズグレードのカスタム環境を構築し、データライフサイクル全体の制御を維持しながら、オンプレミスのプライベートクラウド環境のコスト面でのメリットを享受できます。
• ハイブリッド環境を含むあらゆるプラットフォームにデータを移動できる柔軟性を備えたスケーラブルなデータサービスを、ベンダーロックインなしでデプロイできます。
• 先進的な環境により、データ担当者と開発者に一貫性のあるエクスペリエンスを提供します。

Cloudera と Red Hat を使用すると、企業は、社内でホストされているデータを選択して、オープンソース LLM を活用する独自の AI アプリケーションを構築できます。これにより、データサイエンティストと ML チームだけでなく、開発者と基幹業務チームも、単一のプラットフォームでセキュリティ体制、ガバナンス、コンプライアンス、管理容易性を向上させながら、AI を真に民主化することができます。Cloudera と Red Hat が提供する価値にさらに詳しくは、このお客様事例をご覧ください。Red Hat OpenShift での Cloudera Data Platform の詳細は、こちらをご覧ください。