AI010
Red Hat AI Inference Server Technical Overview
概要
Kubernetes インフラストラクチャの潜在能力を最大限に引き出せます。
コースの説明
- Red Hat AI Inference Server Technical Overview コースを受講すると、AI のデプロイに関する重要な知見を得ることができ、AI モデルを本番環境で実行する際の複雑さとコストへの対処方法を習得できます。Red Hat のソリューションは、vLLM を活用することでパフォーマンスを最適化し、クラウド、オンプレミス、仮想化、およびエッジの各環境で大幅なコスト削減を実現します。その仕組みをご確認ください。また、量子化や投機的デコーディングなどの高度なテクノロジーについて詳しく学び、AI の推論機能を強化できるようになります。このオンデマンド型の動画コンテンツでは、OpenShift AI 内でのシームレスなモデルのデプロイと管理のデモを行い、AI ワークロードの卓越した効率と柔軟性を実現する方法を説明しています。
学習内容サマリー
- 推論とは
- 推論に関する課題
- Red Hat AI Inference Server ソリューション
- Red Hat AI ポートフォリオの統合
- 柔軟なデプロイ
- LLM 圧縮ツール (量子化)
- パフォーマンス最適化技術 (kV キャッシュ、投機的デコーディング、テンソル並列推論)
- 事例
- モデルのデプロイと管理
- モデルのストレージ接続
- メトリクスと監視
- Hugging Face 統合
コース対象者
- AI/ML のエンジニアおよび実務担当者
- DevOps エンジニア
- クラウドアーキテクトとエンジニア
- 技術的な意思決定者
おすすめのトレーニング
- この技術概要の受講に必要な前提条件はありません。
テクノロジー上の留意事項
- なし
学習内容
学習内容
- 推論とは
- 推論に関する課題
- Red Hat AI Inference Server ソリューション
- Red Hat AI ポートフォリオの統合
- 柔軟なデプロイ
- LLM 圧縮ツール (量子化)
- パフォーマンス最適化技術 (kV キャッシュ、投機的デコーディング、テンソル並列推論)
- 事例
- モデルのデプロイと管理
- モデルのストレージ接続
- メトリクスと監視
- Hugging Face 統合
