Cloudera Data Platform과 Red Hat OpenShift로 생성형 AI의 잠재력 활용

많은 공상 과학 영화에서 사람들은 컴퓨터에게 문제를 해결하도록 요청합니다. 컴퓨터는 가능한 해결책을 소개하는 차분한 목소리로 켜집니다. 영화에서 사람들은 컴퓨터의 조언을 주의 깊게 듣고 동료에게 이야기하는 것처럼 대화를 계속합니다. 이것은 얼마 전까지만 해도 과학적인 공상이었습니다. 많은 아이들이 컴퓨터를 사용하여 미지의 영역에서 우주선을 조종할 수 있는 능력을 꿈꿔왔습니다. 2023년에 이는 더 이상 공상 과학의 상상이 아닌 현실이 됩니다. 그렇습니다. 생성형 인공지능(GenAI)의 도입과 광범위한 도입에 대해 이야기하고 있습니다.

이 기술은 새로운 영역을 개척했습니다. 생성형 AI는 질문에 답하고 솔루션을 소개하는 데 도움이 될 뿐만 아니라 시를 전달하고, 그림을 그리고, 음악을 작곡할 수도 있습니다!

생성형 AI의 핵심은 콘텐츠를 자율적으로 구성하기 위해 여러 개의 대규모 데이터세트를 포함하는 머신 러닝(ML)입니다. 딥러닝을 사용하여 다양한 자연어 처리(NLP) 작업을 수행하는 대규모 언어 모델(LLM)과 결합됩니다. 대규모 데이터 세트가 있는 변환기 모델을 사용하므로 대규모라는 용어가 사용됩니다.

공상 과학 시나리오에서 GenAI는 일상적인 작업에 사용됩니다. 이 사례를 비즈니스 시나리오에 적용하면 조직 구성원이 모델을 사용하여 비즈니스와 관련된 의사 결정을 내릴 수 있습니다. 예를 들어 공장에서 제품을 생산하기 위한 공급망 가용성을 예측하거나 고객에게 가용성을 보장하기 위해 특정 소매점에 재고가 필요하다고 표시하는 경우가 있습니다. 가능성은 무한합니다.

이 문서에서는 조직이 GenAI 워크로드를 배포할 때 직면하는 몇 가지 주요 과제를 살펴보고, Cloudera와 Red Hat이 협업을 통해 GenAI의 힘을 최대한 활용하여 조직이 거버넌스 및 보안 상태를 개선하여 데이터를 더 효과적으로 활용할 수 있도록 지원하는 방법을 설명합니다.

과제 및 프라이빗 생성 AI의 중요성 이해

GenAI와 LLM이 기업의 운영 방식과 고객과의 상호 작용 방식을 혁신할 수 있다는 점은 부인할 수 없지만, 그렇다고 해서 꼭 필요한 것은 아닙니다. 이를 도입하는 기업은 내재된 위험과 과제를 완화하는 사례를 구현하고 이를 해결하여 더욱 책임감 있고 신뢰할 수 있는 AI 기반 솔루션을 개발할 수 있는 방법을 모색해야 합니다.

기업의 GenAI 도입과 관련된 첫 번째 과제는 데이터 프라이버시입니다. 이는 모든 조직의 최우선 고려 사항이지만, GenAI는 다음과 같은 이유로 복잡성을 가중시킵니다.

1. 모델 훈련에 필요한 방대한 양의 데이터세트가 필요합니다.

2. 새 데이터 LLM에서 출력으로 생성합니다.

또한 프롬프트에서 실수로, 민감한 기밀 데이터를 LLM에 넣어서 잠재적인 침해 및 노출로 이어질 수 있습니다. 또한 퍼블릭 클라우드에서 호스팅되는 GenAI 서비스는 보안 침해 또는 무단 액세스 중에 노출될 수 있는 민감한 기밀 데이터를 저장하고 처리하는 조직에 위험을 초래할 수 있습니다.

이러한 데이터 프라이버시 위험을 해결하기 위해 조직은 중요하고 민감한 데이터를 퍼블릭 호스팅 GenAI 서비스로 이동하는 것을 피하기 위해 GenAI를 프라이빗 클라우드에 도입하고 있습니다. 이를 통해 기업은 프라이빗 클라우드 내에서 기반 모델을 재사용할 수 있으므로 기밀 데이터를 더욱 안전하게 보호하고 관리할 수 있습니다.

또 다른 본질적인 과제는 LLM의 컨텍스트 제한입니다. 공개적으로 사용 가능한 AI 서비스는 기업에 매력적이지만, 외부 서비스와 데이터를 공유하지 않고 적절한 컨텍스트에서 독점 데이터를 기반으로 이러한 인터랙티브 경험을 구축해야 합니다. 강력한 LLM은 라이프스타일 조언 제공에서 트랜스포머 아키텍처 설계 정보 제공에 이르기까지 다양한 주제를 다룰 수 있습니다. 그러나 조직에는 훨씬 더 구체적인 요구 사항이 있습니다. 엔터프라이즈 컨텍스트에 대한 답변이 필요합니다.

새로운 GenAI 프로젝트를 구현하려면 새로운 툴과 기술이 필요할 수 있습니다. 그러나 강력한 개발 플랫폼에서 실행되는 데이터 분석 플랫폼을 사용하면 기업이 쉽게 액세스하여 GenAI 전략과 프로젝트를 구현할 수 있습니다. 조직은 이러한 강력한 플랫폼을 활용하여 기존 기술과 지식을 활용하는 동시에 출시를 앞당길 수 있습니다.

Red Hat OpenShift에서 Cloudera Data Platform

Cloudera Data Platform(CDP) 프라이빗 클라우드는 쿠버네티스로 구동되는 하이브리드 데이터 플랫폼에서 강력한 분석, 트랜잭션 및 머신 러닝 워크로드를 제공합니다. 당연히 CDP Private Cloud Data Services는 Red Hat OpenShift에서 실행되며 OpenShift에서 제공하는 많은 추가 기능을 활용합니다.

OpenShift에 CDP 프라이빗 클라우드를 배포하면 전체 배포에 다음과 같은 많은 이점이 있습니다.

• 보안 태세 개선: 애플리케이션을 배포하거나 업데이트할 때 비즈니스를 최대한 안전하게 유지하는 데 도움이 되는 동적 보안 제어를 제공하는 것이 중요합니다. OpenShift는 소프트웨어 공급망에 보안 제어를 적용하여 개발자 생산성을 저하시키지 않으면서 애플리케이션의 보안 기능을 개선할 수 있습니다. Red Hat OpenShift를 통해 기업은 라이프사이클 전반에서 애플리케이션 플랫폼을 제어, 방어, 확장할 수 있습니다.
• 거버넌스 및 컴플라이언스: Red Hat OpenShift Platform Plus에 포함된 Red Hat Advanced Cluster Management for Kubernetes는 조직이 더 신속하게 애플리케이션을 배포하고, 여러 클러스터를 관리하며, 규모에 따라 클러스터 전반에서 정책을 시행할 수 있도록 지원합니다. OpenShift는 빌트인 스캐너를 통해 액세스 제어, 네트워킹 및 엔터프라이즈 레지스트리와 같은 핵심 보안 기능을 제공합니다. Red Hat Advanced Cluster Security for Kubernetes는 런타임 위협 감지, 전체 라이프사이클 취약점 관리, 리스크 프로파일링 등의 추가 보안 기능으로 이를 강화합니다.
• 관리 용이성 및 유연성: OpenShift는 하이브리드 인프라의 배포 및 관리를 간소화하여 자체 관리형 또는 전체 관리형 서비스를 온프레미스 또는 클라우드 및 하이브리드 환경에서 실행할 수 있는 유연성을 제공합니다. 또한 조직은 AWS 또는 Microsoft Azure 약정 비용을 Red Hat 솔루션 및 서비스에 사용할 수 있습니다. Red Hat Advanced Cluster Management는 빌트인 보안 정책을 통해 단일 콘솔에서 클러스터와 애플리케이션을 제어합니다.
• 확장성: OpenShift에서 실행되는 애플리케이션은 몇 초 만에 수백 개의 노드에서 수천 개의 인스턴스로 확장할 수 있습니다. 간소화되고 자동화된 컨테이너 및 애플리케이션 빌드, 배포, 확장, 상태 관리 등이 포함됩니다.

Red Hat과 Cloudera는 AI 워크로드에 최적화된 솔루션을 제공합니다. 이 솔루션은 조직이 강화된 보안 기능으로 전체 데이터 라이프사이클을 관리하여 데이터를 더 빠르게 처리하고 가치 창출 시간을 단축할 수 있도록 지원합니다. Red Hat OpenShift에서 제공하는 CDP 프라이빗 클라우드는 데이터 엔지니어링, 데이터 웨어하우스 및 머신 러닝을 위한 컨테이너화된 데이터 서비스를 제공하여, 기업들이 보안 중심의 운영에 최적화된 하이브리드 클라우드 환경에서 데이터를 통해 더 많은 실행 가능한 통찰을 도출할 수 있게 합니다.

OpenShift의 엔터프라이즈급 관리 툴과 결합된 CDP Private Cloud 차세대 하이브리드 플랫폼은 분석 워크로드를 더욱 일관되게 프로비저닝 및 확장하고, 수요를 충족하기에 충분한 리소스만 할당하므로 조직은 다음과 같은 이점을 누릴 수 있습니다.

• 모든 직원이 직관적인 단일 창을 통해 데이터에서 가치를 창출할 수 있도록 지원합니다.
• 엔터프라이즈급 사용자 정의 환경을 생성하고 전체 데이터 라이프사이클에 대한 제어를 유지하는 동시에 온프레미스 프라이빗 클라우드 환경의 비용 이점을 실현합니다.
• 벤더 종속성이 없는 하이브리드 환경을 포함한 모든 플랫폼으로 데이터를 이동할 수 있는 유연성을 갖춘 확장 가능한 데이터 서비스를 배포합니다.
• 현대적인 환경을 통해 데이터 실무자와 개발자에게 더욱 일관된 경험을 제공합니다.

Cloudera와 Red Hat을 통해 기업은 기업 내부에서 호스팅되는 데이터를 사용하여 원하는 오픈소스 LLM으로 구동되는 자체 AI 애플리케이션을 구축할 수 있습니다. 이를 통해 데이터 사이언티스트와 ML 팀뿐만 아니라 개발자와 사업부가 단일 플랫폼에서 향상된 보안 태세, 거버넌스, 컴플라이언스, 관리 용이성을 유지하면서 AI를 진정으로 대중화할 수 있습니다. 이 고객 사례를 통해 Cloudera와 Red Hat이 제공하는 혜택에 대해 자세히 알아보세요. 또한, Red Hat OpenShift의 Cloudera Data Platform에 대해 여기에서 자세히 알아보세요.