AI010
Red Hat AI Inference Server Technical Overview
개요
쿠버네티스 인프라의 잠재력을 최대한 활용하세요.
교육 과정 개요
- 이 Red Hat AI Inference Server 기술 개요를 통해 AI 배포에 반드시 필요한 인사이트를 확보합니다. 프로덕션 단계에서 AI 모델을 실행하는 데 따른 복잡성과 비용을 해결하는 방법을 알아봅니다. vLLM으로 구동되는 Red Hat의 솔루션이 클라우드, 온프레미스, 가상화 및 엣지 환경 전반에서 성능을 최적화하고 상당한 비용 절감 효과를 제공하는 방법을 살펴봅니다. 양자화와 추측 디코딩 같은 AI 추론 역량을 강화하기 위한 고급 기술에 대해 자세히 알아봅니다. 이 온디맨드 동영상 콘텐츠는 OpenShift AI 내의 원활한 모델 배포 및 관리를 보여주고, AI 워크로드를 위한 탁월한 효율성과 유연성을 확보하는 방법을 소개합니다.
교육 과정 내용 요약
- 추론이란?
- 추론 관련 과제
- Red Hat AI Inference Server 솔루션
- Red Hat AI 포트폴리오 통합
- 배포의 유연성
- LLM 압축 툴(양자화)
- 성능 최적화 기술(kV 캐시, 추측 디코딩, 텐서 병렬 추론)
- 고객 사례
- 모델 배포 및 관리
- 모델의 스토리지 연결
- 메트릭과 모니터링
- Hugging Face 통합
교육 대상
- AI/ML 엔지니어 및 실무자
- DevOps 엔지니어
- 클라우드 아키텍트 및 엔지니어
- 기술 의사결정자
권장 교육
- 이 기술 개요는 아무런 선행 조건 없이 이용하실 수 있습니다.
기술 고려 사항
- 해당 없음
교육 내용
교육 과정 내용
- 추론이란?
- 추론 관련 과제
- Red Hat AI Inference Server 솔루션
- Red Hat AI 포트폴리오 통합
- 배포의 유연성
- LLM 압축 툴(양자화)
- 성능 최적화 기술(kV 캐시, 추측 디코딩, 텐서 병렬 추론)
- 고객 사례
- 모델 배포 및 관리
- 모델의 스토리지 연결
- 메트릭과 모니터링
- Hugging Face 통합
