AI: 오픈소스 미래를 위한 Red Hat의 비전

AI 환경은 놀라운 속도로 진화하고 있습니다. 모든 기술적 도약과 마찬가지로, AI의 미래를 어떻게 설계하는 것이 가장 효과적일지에 대한 의문이 제기됩니다. Red Hat은 이에 대한 답이 명확하다고 생각합니다.

AI의 미래는 바로 오픈소스입니다.

이는 단순히 개념적 입장이 아닙니다. 다시 말하면, AI의 진정한 가치를 실현하고, 훨씬 더 접근하기 쉽고, 더 민주화되고, 더 강력하게 만드는 데 초점을 맞춘 접근 방식입니다.

Red Hat은 혁신을 추진하는 데 있어 오픈소스 개발의 힘을 믿어 왔습니다. Linux, KVM, OpenStack, Kubernetes를 비롯한 여러 프로젝트의 부상에서 이러한 힘이 발휘되는 것을 목격했으며, 이러한 프로젝트들은 오늘날의 기술 환경을 형성하는 데 기여했습니다. 오픈소스 개발 모델은 협업, 투명성, 커뮤니티 중심의 혁신을 통해 발견 속도를 높이고 실험을 장려하며 첨단 툴과 기술에 대한 액세스를 대중화합니다. 이를 통해 더 빠른 진행, 더 큰 혁신, 활기찬 에코시스템을 실현할 수 있습니다.

AI도 다르지 않습니다.

신뢰, 보안, 설명 가능성이 가장 중요한 AI에는 자금이 풍부하거나 광범위한 리소스를 보유한 사람뿐만 아니라 모든 사람이 참여할 수 있어야 합니다. Red Hat은 오픈소스 AI 혁신을 지원하기 위해 최선을 다하고 있으며, 커뮤니티 주도 개발, 공동의 발전, 그리고 선택을 기반으로 이 기술의 미래를 구축하는 데 전념하고 있습니다.

Red Hat은 오픈소스 프로젝트와 AI 기술에 막대한 투자를 하고, 업계 전반의 파트너와 협업하고, 조직이 필요에 따라 AI 워크로드를 유연하게 배포할 수 있도록 지원하는 솔루션을 개발하고 있습니다. 오늘 Red Hat은 Neural Magic을 인수하기 위한 최종 계약을 체결했다고 발표했습니다. 이 중요한 이정표를 통해 우리는 발전을 가속화하고 AI의 미래에 대한 비전을 실현할 수 있을 것이라 믿습니다.

Red Hat은 AI의 미래가 열려 있으며 다음과 같은 몇 가지 핵심 요소를 기반으로 한다고 믿습니다.

소규모 모델로 도입 촉진

AI는 대규모의 리소스 집약적인 모델에 국한되지 않습니다. 우리는 더 작고 전문화된 모델로 전환하고 있으며, 이러한 모델은 뛰어난 성능과 더 높은 효율성을 제공합니다. 이러한 모델은 학습 및 배포 효율성이 높을 뿐만 아니라, 맞춤 설정 및 적응성 측면에서도 상당한 이점을 제공합니다.

예를 들어, IBM granite 3.0은 더 작고 기능적인 AI 모델을 강조하는 Granite 시리즈 LLM의 3세대입니다. 허용적인(permissive) Apache 2.0 라이센스에 따라 릴리스된 이 모델은 1B에서 8B까지 매개 변수의 크기가 다양하므로 노트북에서 표준 GPU 서버에 이르기까지 어디에서나 실행할 수 있습니다. Linux에서 보았듯이, 이러한 접근성의 용이성은 기업 내 혁신과 도입으로 이어집니다.

그리고 시작 규모가 작을 뿐만 아니라 희소화(sparsification)와 양자화(quantization)를 통해 AI 모델을 최적화하는 것은 또 다른 힘을 배가시켜 줍니다. 이를 통해 동일한 하드웨어로 점점 더 많은 수요에 대응할 수 있습니다. 희소화는 모델 내에서 불필요한 연결을 전략적으로 제거하여 정확도나 성능을 저하시키지 않으면서 모델의 크기와 연산 요구량을 크게 줄이는 기법입니다. 그런 다음 양자화는 메모리 요구 사항이 줄어든 플랫폼에서 실행할 모델 크기를 추가로 줄입니다. 이 모든 것은 비용 절감, 추론 속도 향상, 그리고 더욱 다양한 하드웨어에서 AI 워크로드를 실행할 수 있는 능력으로 이어집니다. Linux에도 이와 유사한 초점이 맞춰져 시계부터 슈퍼컴퓨터까지 지구상의 거의 모든 인프라에서 실행될 수 있게 되었습니다. Neural Magic이 Red Hat에 합류하면서 우리는 AI 분야에서도 이러한 강점을 적용할 수 있게 되었습니다.

교육을 통해 비즈니스 이점 실현

이러한 소규모 AI 모델은 강력하지만 여전히 공개적으로 액세스할 수 있는 데이터를 기반으로 훈련됩니다. 뛰어난 언어 구사력과 비즈니스 이해, 인터넷에 있는 대부분의 주제에 대해 잘 알고 있습니다. 하지만 대부분의 경우 고객의 비즈니스를 이해하지 못합니다. 비즈니스 프로세스와 지적 재산이 공개되지 않았다면, 그들은 이해하지 못할 것입니다. 하지만 기업이 필요한 것은 추상적인 개념으로서의 비즈니스 프로세스가 아니라, 고유의 비즈니스 프로세스입니다. 따라서 비즈니스 잠재력을 진정으로 발휘하려면 이러한 모델에 기업의 지식을 주입해야 합니다. 그리고 이를 위해서는 훈련이 필요합니다.

Red Hat은 데이터 사이언스 전문 지식이 부족한 사용자도 Gen AI 애플리케이션을 위한 LLM에 더 쉽게 기여하고 미세 조정할 수 있도록 설계된 오픈소스 프로젝트인 InstructLab을 통해 이를 지원하고 있습니다. Red Hat과 IBM이 공동으로 출시하고 Red Hat AI의 일부로 제공되는 InstructLab은 MIT-IBM Watson AI Lab과 IBM 회원들이 2024년 4월에 발표한 연구 보고서에 요약된 프로세스를 기반으로 합니다. 이를 통해 요구 사항에 맞게 AI 모델을 훈련하는 복잡성이 줄어들어 엔터프라이즈 AI의 가장 비용이 많이 드는 측면 중 일부를 확실히 완화하고 특정 목적에 맞게 LLM을 더 쉽게 사용자 지정할 수 있습니다.

혁신을 이끄는 선택

대부분의 조직은 기업 데이터센터와 클라우드 인프라 모두에 걸쳐 워크로드를 보유하고 있습니다. AI는 기존 인프라와 원활하게 통합되어 온프레미스, 클라우드, 엣지 등 다양한 인프라 전반에서 유연하고 일관된 배포를 지원해야 합니다. 데이터와 리소스가 있는 곳에서 교육을 받을 수 있어야 합니다. 또한 활용 사례에 적합한 모든 위치에서 모델을 실행해야 합니다. Red Hat Enterprise Linux(RHEL)가 애플리케이션을 변경하지 않고도 모든 CPU에서 컴파일하여 실행할 수 있도록 지원했던 것처럼, Red Hat의 목표는 RHEL AI로 학습된 모델이 모든 GPU 서버에서 실행될 수 있도록 하는 것입니다. 이처럼 유연한 하드웨어, 소규모 모델, 간소화된 학습 및 최적화를 결합하면 혁신을 촉진할 수 있는 유연성을 확보할 수 있습니다.

또한 대규모 AI 학습 및 배포에는 지난 10년간 소프트웨어 분야에서 쌓아온 전문성과 동일한 원칙이 필요하다고 생각합니다. Red Hat OpenShift AI는 모델 사용자 정의, 추론, 모니터링 및 라이프사이클 기능 영역을 Red Hat OpenShift에서 사용하는 애플리케이션과 통합합니다. Neural Magic은 하이브리드 플랫폼 전반에서 AI를 실행할 수 있도록 지원하는 데 대한 열정을 공유하며 이 영역의 혁신을 주도하는 데 중점을 둔 오픈소스 커뮤니티에서 리더십을 보여주었습니다.

Neural Magic의 미션 확대

Neural Magic은 AI가 가장 작은 기기에서 대규모 데이터센터에 이르기까지 모든 곳에서 실행될 수 있어야 한다는 신념을 바탕으로 설립되었습니다. Neural Magic의 창립 스토리는 InstructLab 팀을 포함하여 Red Hat에서 AI 혁신을 이끄는 작지만 강력한 팀들의 사례와 유사하므로, 이 자리에서 공유해 드리는 것이 가치 있다고 생각합니다.

MIT의 저명한 병렬 컴퓨팅 분야 교수인 Nir Shavit은 수십 년 동안 알고리즘과 하드웨어의 복잡성을 연구해 왔습니다. 그의 작업은 이미 동시 데이터 구조 및 트랜잭션 메모리와 같은 영역에 혁신을 가져왔습니다. MIT 전 연구원인 Alex Matveev는 머신러닝 분야의 전문 지식과 AI 모델을 효율적으로 배포하는 데 직면한 과제에 대한 깊은 이해를 바탕으로 그의 연구에 기여했습니다.

Neural Magic은 Nir과 Alex가 AI 발전의 중요한 장애물인 값비싼 GPU에 대한 의존도를 인식하면서 시작되었습니다. 이러한 의존성은 진입 장벽을 형성하여 다양한 산업 분야에서 AI가 광범위하게 도입되는 것을 저해하고, 우리의 삶과 업무 방식에 혁명을 일으킬 AI의 잠재력을 제한했습니다.

이들은 .자원에 관계없이 누구나 AI의 힘을 활용할 수 있도록 지원하는 사명에 착수했습니다. ML 모델이 성능 저하 없이 즉시 사용 가능한 CPU에서 효율적으로 실행되도록 하는 것부터 시작하여 머신 러닝 모델을 최적화하기 위해 프루닝(pruning) 및 양자화와 같은 기술을 활용하는 획기적인 접근 방식이 포함되었습니다. 결국 Neural Magic은 GPU 가속화로 비전을 전환하고 vLLM을 통해 이와 동일한 수준의 최적화와 효율성을 AI 생성에 적용했습니다. 혁신에 대한 이러한 노력은 AI에 대한 접근성, 경제성, 배포 용이성을 개선할 것을 약속했습니다. Red Hat AI를 통해 이러한 기능을 고객에게 제공할 수 있는 기회를 얻게 되어 매우 기쁩니다. 또한 Red Hat 팀이 AI의 발전과 도입을 저해하는 현재의 한계를 극복하는 데 기반을 둔 실험과 발명의 문화를 공유하고 있다는 점 역시 기대됩니다.

예를 들어, 보스턴 지사에서는 열정적인 MIT 직원 및 연구원 그룹이 InstructLab에서 광범위한 AI 도입의 장애물을 해결하기 위해 노력하고 있습니다. Neural Magic의 기술이 AI 접근성을 민주화하는 것처럼, InstructLab은 모델 학습 및 튜닝 방식에도 동일한 목표를 두고 있습니다. 이 팀이 함께 어떤 혁신을 이룰 수 있을지 기대가 큽니다.

Neural Magic이 Red Hat에 합류하여 오픈소스 커뮤니티와 함께 AI의 미래를 실현하기 위한 Red Hat의 사명에 박차를 가하게 되어 매우 기쁩니다. Red Hat은 개방형 솔루션을 통해 세계의 잠재력을 실현할 수 있다고 믿습니다. Neural Magic과 함께하는 Red Hat의 미션은 AI를 통해 이러한 잠재력을 더욱 빠르게 실현하는 것입니다. 오픈 소스 커뮤니티와 함께 이를 실현함으로써 세상에 최고의 결과를 가져올 수 있다고 믿습니다.

우리는 이제 이 여정을 시작했습니다.