AI010
红帽 AI 推理服务器技术概述
概述
充分发挥 Kubernetes 基础架构的潜力。
课程概述
- 通过红帽 AI 推理服务器技术概述，获取关于 AI 部署的关键见解。了解如何应对在生产环境中运行 AI 模型的复杂问题和成本挑战。了解依托 vLLM 的红帽解决方案如何跨云、本地、虚拟化和边缘环境优化性能，并显著节省成本。深入学习量化和推测解码等高级技术，提升 AI 推理能力。此点播视频内容演示了 OpenShift AI 中的无缝模型部署和管理，介绍了如何为 AI 工作负载实现无与伦比的效率和灵活性。
课程内容摘要
- 什么是推理？
- 推理方面的挑战
- 红帽 AI 推理服务器解决方案
- 红帽 AI 产品组合集成
- 部署灵活性
- LLM 压缩工具（量化）
- 性能优化技术（KV 缓存、推理解码、张量并行推理）
- 案例研究
- 模型部署和管理
- 模型的存储连接 指标和监控
- Hugging Face 集成
本课程的培训对象
- AI/ML 工程师和从业人员
- DevOps 工程师
- 云架构师和工程师
- 技术决策者
推荐培训
- 本技术概述不设任何前提条件。
技术注意事项
- 无
大纲
课程大纲
- 什么是推理？
- 推理方面的挑战
- 红帽 AI 推理服务器解决方案
- 红帽 AI 产品组合集成
- 部署灵活性
- LLM 压缩工具（量化）
- 性能优化技术（KV 缓存、推理解码、张量并行推理）
- 案例研究
- 模型部署和管理
- 模型的存储连接 指标和监控
- Hugging Face 集成
