실제로 거의 모든 조직이 AI 기술을 활용하고 싶어하는 와중에, 이들의 걱정거리는 일반적으로 세 가지입니다. 바로 지적 재산에 대한 위험을 최소화하는 것, 그들의 개인 데이터가 외부로 공유되지 않도록 보장하는 것, 그리고 그들의 AI 모델에 대한 접근을 완전히 통제하는 것입니다.
이러한 우려는 프라이빗 AI의 필요성을 견인하고 있습니다. 프라이빗 AI는 AI로 인한 비즈니스 이익과 조직의 실질적인 프라이버시 및 컴플라이언스 요구의 균형을 목표로 하는 아키텍처 접근 방식으로, 다음과 같은 핵심 신조들로 구성되어 있습니다.
- 고도로 분산된 위치: 컴퓨팅 용량과 훈련된 AI 모델은 데이터가 퍼블릭 클라우드, 가상 프라이빗 클라우드, 엔터프라이즈 데이터 센터 또는 엣지에 있든 관계없이 데이터가 생성, 처리 및/또는 소비되는 위치 가까이 상주합니다. 이를 위해서는 모든 AI 서비스에 대한 중앙 집중식 거버넌스와 운영을 보장하기 위해 서로 다른 곳에 흩어진 데이터를 원활하게 연결할 수 있는 AI 인프라가 필요합니다.
- 데이터 개인 정보 보호 및 제어: 조직의 데이터는 조직의 사적 관할 하에 유지되며 조직의 동의 없이 상업적 또는 OSS 모델을 훈련, 조정 또는 증강하는 데 사용되지 않습니다. 조직은 데이터에 대한 완전한 제어를 유지하고, 비즈니스 요구에 따라 공유 데이터 세트에 다른 AI 모델을 활용할 수 있습니다.
- 접근 제어 및 감사 가능성: AI 모델, 관련 교육 데이터 및 애플리케이션에 대한 액세스 및 변경을 관리하기 위한 액세스 제어가 마련되어 있습니다. 또한 규제 또는 기타 규정 준수 의무가 충족되는지 확인하기 위해 감사 로그 및 관련 제어가 필수적입니다.
다시 말하면, 프라이빗 AI는 퍼블릭 클라우드, 가상 프라이빗 클라우드, 데이터 센터 및 엣지 위치에 배치될 수 있는 AI를 지원해 구축된 플랫폼과 인프라 아키텍처에 관한 것입니다. 프라이빗 클라우드는 프라이빗 AI의 요구 사항을 충족하도록 설계될 수 있지만 필수 사항은 아닙니다. 중요한 것은 개인 정보 보호 및 제어입니다.
프라이빗 AI에서 VMware의 역할
VMware는 창립 이래로 언제나 조직이 서로 다른 워크로드를 공유 인프라 풀에서 쉽게 실행하고 관리할 수 있도록 지원함으로써 보안, 규정 준수, 개인 정보 보호, 탄력성을 개선하는 동시에 비용과 에너지 소비량을 절감하는 데 전념해 왔습니다. 프라이빗 AI를 성공시키기 위한 과제들은 VMware가 수십 년간 엔지니어링 전문 지식을 보유해 온 분야입니다. 따라서 프라이빗 AI에서 우리의 역할은 위에 나열된 핵심 신조를 넘어 다음과 같은 추가적인 이점을 포함하는 것이라고 생각합니다.
- 선택권: 조직은 비즈니스 요구사항들이 진화함에 따라 상용 AI 서비스를 변경하거나 다양한 오픈 소스 모델을 활용할 수 있습니다. 또한, 조직은 퍼블릭 클라우드에서 훈련된 모델을 활용하여 다른 위치에 있는 개인 데이터 세트와 비교하고자 할 수도 있습니다. 또한, 조직은 다양한 비즈니스 기능을 대표하는 개인 데이터에 대해 훈련된 모델의 카탈로그를 작성할 수 있습니다. 이를 통해 조직이 보다 차별화된 역량을 구축해 경쟁 우위를 확보할 수 있습니다.
- 기밀성: 교육 세트, 모델 가중치, 추론 데이터를 최신 기밀 컴퓨팅 구조로 보호해 보관 중, 이동 중 및 사용 중에 데이터 기밀성을 유지할 수 있습니다. 향후 우리의 솔루션은 고객이 신뢰할 수 있는 컴퓨팅 기반에 대한 제어권을 유지할 수 있도록 이동 가능하면서도 벤더나 클라우드에 의존하지 않는 개발자 및 관리 프레임워크를 통해 신뢰 관리를 지원하는 것을 목표로 합니다.
- 성능: 최근 업계 벤치마크에서 입증된 바와 같이, 일부 ML 추론 사용 사례에서의 성능이 베어메탈과 같거나 심지어 이를 능가합니다.
- 통합 관리 및 운영: 프라이빗 AI 및 기타 모든 엔터프라이즈 서비스 간에 관리 및 운영이 통합돼 총 소유 비용, 복잡성, 그리고 추가 위험을 줄입니다.
- 투자 회수 기간: AI 환경이 몇 초 만에 빠르게 회전하고 해체되므로 사용 가능한 리소스를 몇 초 만에 프로비저닝할 수 있습니다.
- 비용 절감/효율성 향상: 이 플랫폼은 모든 컴퓨팅 리소스(예: GPU 및 CPU)의 사용을 극대화해 전반적인 비용을 절감하고 유휴 용량을 지능적으로 활용합니다. 따라서 조직은 팀에 분산된 기존 컴퓨팅 리소스를 활용할 수 있으며 IT 팀에서 시행하는 정책 및 거버넌스를 사용해 효율적으로 공유할 수 있는 풀링된 리소스 환경을 구축할 수 있습니다.
VMware 프라이빗 AI 파운데이션 위드 엔비디아
VMware는 엔비디아(NVIDIA)와의 협력을 통해 VMware 프라이빗 AI 파운데이션 위드 엔비디아를 출시할 예정입니다. 이 솔루션을 통해 기업은 대규모 언어 모델을 미세 조정하고, 내부 사용에 대해 더 안전하고 개인적인 모델을 제작하며, 기업은 사용자에게 생성형 AI를 서비스형 제품으로 제공하고, 규모에 맞게 추론 워크로드를 더 안전하게 실행할 수 있습니다. 이 솔루션은 VMware 클라우드 파운데이션과 엔비디아 AI 엔터프라이즈를 기반으로 구축됐으며, 다음과 같은 이점을 제공합니다.
- 데이터 센터 확장: 멀티 GPU IO 경로를 통해 단일 가상 머신에서 최대 16개의 vGPU/GPU에 걸쳐 AI 워크로드를 확장하고 여러 노드에 걸쳐 AI 모델의 사용자 지정 및 배포 속도를 높일 수 있습니다.
- 가속 스토리지: VMware vSAN 익스프레스 스토리지 아키텍처(ESA)는 성능에 최적화된 NVMe 스토리지를 제공하고 RDMA를 통한 GPU Direct 스토리지를 지원하므로, CPU의 개입 없이 스토리지에서 GPU로 직접 IO를 전송할 수 있습니다.
- 브이스피어 딥 러닝 VM 이미지: 프레임워크와 버전 호환 드라이버가 미리 설치된 라이브러리가 포함된 안정적인 턴키 솔루션 이미지를 제공해 빠른 프로토타이핑 기능을 제공합니다.
이 솔루션에는 엔비디아 AI 플랫폼의 운영 체제인 엔비디아 AI 엔터프라이즈에 포함된 엔드 투 엔드 클라우드 네이티브 프레임워크인 엔비디아 니모(NeMo)가 탑재되어 기업이 어디서나 생성형 AI 모델을 구축, 사용자 지정 및 배포할 수 있습니다. 니모는 사용자 지정 프레임워크, 가드레일 툴킷, 데이터 큐레이션 도구 및 사전 훈련된 모델을 결합해 기업이 생성형 AI를 채택하는 쉽고 비용 효율적이며 빠른 방법을 제공합니다.
앞으로 엔비디아와 함께 출시될 혁신적인 솔루션에 대한 자세한 내용은 VMware 프라이빗 AI 파운데이션 소개를 참조하세요.
VMware 프라이빗 AI 레퍼런스 아키텍처
VMware AI 랩스(AI Labs)는 VMware R&D와 업계 파트너들과 협력해 기업 데이터의 개인 정보 보호 및 제어, 오픈 소스 및 상용 AI 솔루션 선택, 신속한 가치 창출 시간, 통합 보안 및 관리를 지원하는 AI 서비스용 솔루션을 개발했습니다. 프라이빗 AI 레퍼런스 아키텍처는 고객과 파트너에게 다음과 같은 이점을 제공합니다.
- 업계 최고의 모델, 프레임워크, 애플리케이션, 데이터 서비스, 비즈니스 요구사항에 맞춘 툴링 및 하드웨어를 활용합니다.
- 완벽하게 문서화된 아키텍처와 관련 코드 샘플을 활용해 가치를 빠르게 실현합니다.
- ray.io, 쿠브플로우(Kubeflow), 파이토치(PyTorch), pgvector 및 허깅 페이스(Hugging Face)에서 제공되는 모델과 같은 인기 있는 오픈 소스 프로젝트를 활용합니다.
레퍼런스 아키텍처에는 쿠버네티스용으로 매우 인기 있는 오픈 소스 MLOps 툴킷인 쿠브플로우를 시작으로, 애니스케일(Anyscale), cnvrg.io, 도미노 데이터 랩(Domino Data Lab), 엔비디아, 원 컨버전스(One Convergence), 런에이아이(Run:ai), 웨이츠 앤 바이어시스(Weights & Biases) 등 VMware 파트너들의 다양한 상용 MLOps 툴을 활용할 수 있는 유연성이 있습니다. 특히 생성형 AI에 가장 인기 있는 오픈 소스 프레임워크인 파이토치가 포함되어 있긴 하지만, 고객과 파트너는 그들의 요구사항에 가장 적합한 것을 자유롭게 선택할 수 있습니다. 레이(Ray)는 가장 인기 있는 오픈 소스 AI 클러스터 스케줄러 및 조정 도구로, 조직이 분산된 시스템에서 AI 컴퓨팅을 신속하게 스케일아웃할 수 있도록 해주며, 오픈AI(OpenAI)와 같은 오늘날의 가장 큰 AI 배치 중 일부에서 사용됩니다.
VMware는 애니스케일과 협력해 레이의 범위를 사내 사용 사례로 확장하고 있습니다. 가장 중요한 것은 레이를 통해 VMware 프라이빗 AI 인프라에서 소프트웨어를 실행할 수 있기 때문에 IT 조직이 새로운 AI ISV를 신속하게 등록할 수 있도록 지원합니다. 기본 VMware API 통합은 필요하지 않습니다. 여기에서 다양한 레이 AI 소프트웨어 생태계를 확인할 수 있습니다.
마지막으로, 허깅 페이스와의 협업을 통해 오픈 소스 모델을 데이터에 가져오는 방법에 대한 속도와 단순성을 제공할 수 있습니다. 오늘 발표된 허깅 페이스 세이프코더(SafeCoder)를 통해 조직은 소프트웨어 코드 저장소를 사내에 남겨둔 상태에서 AI 지원 소프트웨어 개발을 제공할 수 있게 되었습니다. VMware는 지난 몇 달 동안 자체 데이터 센터에서 이 솔루션을 실행해 왔으며 비용, 규모, 개발, 생산성 면에서 매우 인상적인 결과를 얻었습니다.
VMware 프라이빗 AI를 시작하려면 레퍼런스 아키텍처와 코드 샘플을 참조하세요.
VMware 프라이빗 AI 파운데이션과 엔비디아의 레퍼런스 아키텍처 및 대규모 파트너 생태계를 함께 활용하면 선택권, 개인 정보 보호, 제어의 균형에 대해 논쟁할 필요가 없습니다. 여러분은 이 모든 것을 가지면서도 미래형 AI 인프라를 갖추고 필연적으로 우리가 맞이하게 될 파괴적으로 혁신적인 AI 모델의 이점을 원하는 만큼 활용할 수 있습니다. 지금 시작하세요!
이 문서에는 VMware 이외의 웹 사이트에 대한 하이퍼링크가 포함되어 있을 수 있으며, 이러한 웹 사이트의 컨텐츠에 대한 책임은 전적으로 제3자에게 있습니다.