AI를 위한 차세대 데이터 관리

모든 산업과 최신 애플리케이션은 가속 컴퓨팅, 딥 러닝, 인공 지능의 발전으로 인해 빠르게 변화하고 있습니다. 이러한 변화의 다음 단계에서는 AI와 컴퓨팅을 엔터프라이즈 데이터에 더 가깝게 가져올 수 있는 지능형 데이터 인프라가 필요합니다.

고객과 이야기를 나누다 보면 데이터와 엔터프라이즈 AI 워크플로를 통합하는 데 어려움을 겪는다는 이야기를 많이 합니다. 문제의 핵심은 클라우드에 있든, 온프레미스에 있든, 아니면 둘 다에 있든 이미 보유하고 있는 데이터에 AI 기술을 적용하는 것입니다.

여러분이 데이터 엔지니어라고 상상해 보십시오. 오픈 소스 LLM(Large Language Model)을 사용하여 기업 데이터를 훈련함으로써 마케팅 팀이 더 나은 자산을 구축하고 고객 서비스 팀이 고객을 위한 챗봇을 제공할 수 있습니다. 데이터는 다양한 스토리지 시스템에 분산되어 있으며 어디에 있는지 알 수 없습니다. 또한, 훈련 목적으로 데이터를 내보내고 이동하고 중앙 집중화하며, 관련된 모든 시간 및 용량 비효율성이 수반됩니다. 모델을 작성하지만, 사용한 데이터의 기록 및 컨텍스트가 손실되므로 모델을 원본으로 다시 추적할 방법이 없습니다. 이 모든 데이터는 온프레미스에 저장되지만, GPU가 상주하는 클라우드에서 훈련이 진행됩니다.

이러한 문제는 데이터 엔지니어와 데이터 과학자에게 매우 흔한 문제입니다. NetApp은 이미 이러한 많은 문제를 해결하고 있습니다. 그러나 모델 학습이 더욱 발전하고 학습할 데이터가 점점 더 많아짐에 따라 이러한 문제는 더욱 확대될 것입니다.

차세대 AI 학습 및 워크로드 미세 조정이 구체화됨에 따라 기존 인프라의 한계로 인해 혁신이 둔화될 위험이 있습니다. AI를 위한 확장 및 최적화를 가능하게 하는 데이터 인프라, 데이터가 어디에 있고 어떻게 사용될 수 있는지 AI 워크플로에 알려주는 데이터 관리, 데이터 과학자가 AI 워크플로를 보호하고 모델을 깨끗하게 유지하는 데 도움이 되는 관련 데이터 서비스 등이 몇 가지 과제입니다.

확장 가능한 데이터 인프라

AI 모델이 복잡해짐에 따라 계산 요구 사항도 증가합니다. 기업에는 대규모 언어 모델 학습 및 미세 조정과 같은 집약적인 AI 작업에 필요한 고성능을 확장하고 제공할 수 있는 인프라가 필요합니다. 동시에 리소스를 제대로 사용하지 않으면 비용이 증가할 수 있으므로 비용 효율적인 AI 운영을 위해서는 GPU 사용량 극대화 등 비스토리지 리소스 사용량을 최적화하는 것이 중요합니다. GPU 사용량을 극대화하는 것은 비용 효율적인 AI 운영을 위해 매우 중요하며, 이를 달성하려면 읽기 및 쓰기 작업 모두에서 스토리지 처리량을 개선해야 합니다. 마지막으로, 학습 데이터는 일반적으로 온프레미스에 저장되는 반면 AI 모델은 클라우드에서 학습되는 경우가 많기 때문에 AI 워크로드는 온프레미스와 다양한 클라우드 환경에 걸쳐 있는 경우가 많습니다. 즉, 인프라는 이러한 시스템 전반에서 원활한 데이터 이동 및 관리 기능을 제공해야 합니다.

범용 데이터 관리

AI 워크로드는 종종 방대한 양의 데이터에 액세스해야 하는데, 이러한 데이터는 기업 전체에 다양한 시스템과 형식으로 흩어져 있을 수 있습니다. 기업이 데이터 인프라에 분산되어 있는 독점 데이터를 미세 조정 및 검색 증강 생성(RAG) 사용 사례에 사용함에 따라 이 문제는 더욱 커집니다. 데이터 사일로는 AI를 위해 데이터를 효과적으로 집계하고 분석하기 어렵게 만듭니다. 또한, 수집에서 처리, 저장에 이르는 AI 데이터의 수명 주기를 관리하려면 비정형 데이터의 복잡성과 양을 관리할 수 있는 정교한 데이터 관리 솔루션이 필요합니다. AI를 효과적으로 활용하려면 관련 데이터를 쉽게 검색하고 액세스할 수 있어야 하며, 이를 위해서는 강력한 메타데이터 관리 및 데이터 탐색 도구가 필요합니다.

지능형 데이터 서비스

AI가 부상하면서 특히 랜섬웨어와 같은 위협에 맞서 민감한 데이터를 보호하고 규제 요건을 준수하기 위한 강력한 보안 및 거버넌스에 대한 요구가 증가하고 있습니다. 오염된 데이터 또는 의도적인 변조로 구축된 모델은 AI에 점점 더 의존하는 비즈니스 운영에 큰 피해를 입힐 수 있습니다. 또한 모든 엔터프라이즈 워크로드와 마찬가지로, 운영을 지속하고 비용이 많이 드는 다운타임을 방지하려면 자연재해와 시스템 중단으로부터 데이터를 가용하고 보호할 수 있어야 합니다.

오늘날 NetApp은 AI 인프라 분야에서 자타가 공인하는 선도업체입니다. 지난 10년 동안 혁신적인 고객들은 NetApp 솔루션의 데이터에서 AI 기반 인사이트를 추출해 왔습니다. NVIDIA과의 오랜 파트너사인 NetApp은 인증된 NVIDIA DGX SuperPOD 및 NetApp^® AIPod^™ 아키텍처를 제공하고 있으며, 하이퍼스케일러의 퍼스트 파티 클라우드 오퍼링에서 AI 워크플로를 빠르게 채택했습니다. 비정형 데이터 스토리지의 선두주자인 고객들은 가장 소중한 데이터 자산을 NetApp에 맡기고 있습니다.

이러한 신뢰 수준을 어떻게 달성했을까요? 지속적인 혁신을 통해 이룰 수 있습니다. 고객이 NetApp에 데이터를 위탁하면서 AI 및 고성능 워크로드를 운영하도록 지원할 수 있는 훨씬 더 많은 기회를 얻게 되었습니다. 그래서 NetApp은 고객이 성능 및 확장의 경계를 계속 내밀 수 있도록 새로운 Disaggregated 아키텍처를 도입하고 있습니다. 향상된 메타데이터 관리 엔진을 통해 고객은 조직의 모든 데이터 자산을 이해할 수 있으므로 모델 교육 및 세부 조정을 단순화할 수 있습니다. 또한 통합된 데이터 서비스 세트를 통해 데이터와 인프라를 관리하여 자연 및 인재가 안고 있는 위협으로부터 데이터를 보호할 수 있습니다. 모두 업계 최고의 유니파이드 스토리지 아키텍처인 NetApp ONTAP^®을 기반으로 구축되어 모든 데이터 인프라를 통합하는 유니파이드 아키텍처를 제공합니다. NetApp의 핵심 DNA를 통해 고객이 이용하는 강력한 보안, 엔터프라이즈 기능, 사용 편의성을 유지하면서 새로운 기술을 진화 및 채택할 수 있었던 것입니다. ONTAP의 코너 내용을 미리 보기로 알려 드리게 되어 기쁩니다.

통합 AI 데이터 관리 엔진의 비전은 조직이 AI에 접근하고 AI의 힘을 활용하는 방식을 혁신적으로 변화시킬 것입니다. 데이터 관리 엔진은 데이터 자산에 대한 통합 보기를 제공하고, 신속한 추론을 위해 데이터의 변경 사항 캡처를 자동화하며, 엔드투엔드 AI 워크플로를 위한 AI 도구와 긴밀하게 통합하여 데이터 사일로를 제거하도록 설계될 것입니다. NetApp은 또한 확장 가능한 고성능 시스템을 통해 인프라 계층에서, 정책 기반 거버넌스 및 보안을 통해 인텔리전스 계층에서 혁신을 이루고 있습니다.

계획된 혁신

• 분리 확장형 스토리지 아키텍처. 시스템 처리량을 향상하고 비용을 절감하기 위해 NetApp은 스토리지 백엔드를 보다 효율적으로 공유할 수 있는 스토리지 아키텍처를 개발하고 있습니다. 이 아키텍처는 네트워크 및 플래시 리소스의 활용도를 최적화하여 스토리지에 대한 보다 유연하고 비용 효율적인 접근 방식을 가능하게 하는 것을 목표로 합니다. 이러한 혁신을 통해 클러스터 전체의 총 처리량을 크게 개선하는 동시에 랙 공간과 전력 사용량을 줄일 수 있습니다. 이 아키텍처는 컴퓨팅 및 스토리지 리소스를 독립적으로 확장할 수 있도록 설계되어 높은 수준의 유연성과 확장성을 필요로 하는 AI 워크로드에 특히 유용합니다.
• 성능 향상. NetApp은 곧 출시될 NetApp AFF 시리즈 시스템과 ONTAP 소프트웨어의 향상된 기능을 통해 업계 최고의 성능을 제공하기 위해 최선을 다하고 있습니다. 이러한 개선 사항은 기업이 성능 병목 현상 없이 AI 전략을 실행할 수 있도록 가장 고도의 AI 워크로드를 손쉽게 관리하는 데 초점을 맞췄습니다. 개선된 기능에는 생성형 AI 및 LLM 훈련과 같은 작업에 필수적인 대규모 데이터 세트 관리 및 처리를 위한 고급 기능이 포함됩니다.
• 완벽한 데이터 통합. AI 데이터 관리 엔진은 조직의 데이터 자산에 대한 통합적이고 포괄적인 뷰를 제공하도록 설계되었습니다. 이 통합 접근 방식은 온프레미스 설정, 클라우드 환경 및 하이퍼스케일러 플랫폼에 걸쳐 데이터를 통합하는 데 매우 중요합니다. NetApp은 데이터를 원활하게 통합하여 조직이 초기 데이터 수집에서 모델 배포 및 분석에 이르기까지 AI 데이터의 전체 라이프사이클을 더 효과적으로 관리할 수 있도록 지원합니다. 이 새로운 AI 데이터 관리 엔진을 사용할 때는 NetApp만이 고객에게 모든 ONTAP 데이터 자산에 대한 통합된 구조적이고 쿼리 가능한 뷰를 제공할 수 있습니다. 온프레미스, 클라우드, 온프레미스 또는 하이퍼스케일러 파트너, Amazon, Microsoft, Google 등 어디에 있던 데이터 자산이 구조화되거나 구조화되지 않은 경우에도 마찬가지입니다.
• 벡터 임베드 및 데이터베이스. AI 데이터 관리 엔진에서 데이터의 변경 사항을 자동으로 캡처하고, 고도로 압축된 벡터 임베딩을 생성하며, 통합 벡터 데이터베이스에 저장하므로 해당 데이터를 검색 및 RAG 추론 워크로드에 사용할 수 있습니다. 이 모든 것이 단순성과 효율성을 위해 자동으로, 인라인으로 수행됩니다.
• AI 에코시스템 통합: 통합 AI 워크플로의 중요성을 인식하고 데이터 서비스를 더 폭넓은 AI 툴 에코시스템과 통합하는 데 집중하고 있습니다. 이러한 통합을 통해 데이터 라벨링 및 모델 훈련에서 오케스트레이션 및 구축에 이르는 전체 AI 워크플로를 간소화할 수 있습니다. 원활한 워크플로를 생성하여 조직이 AI 프로젝트의 복잡성을 줄이고 가치 실현 시간을 단축하도록 돕고 있습니다.
• 책임감 있는 AI. AI의 윤리적 영향에 대한 인식이 높아짐에 따라 NetApp은 책임감 있는 AI 관행을 강조합니다. NetApp은 효과적이면서도 윤리적이고 투명한 AI 솔루션을 구현할 수 있는 통합 모델 데이터 추적 및 거버넌스 기능을 개발하고 있습니다.

NetApp은 데이터 과학자가 선택한 AI 도구에 앉아 전체 데이터 자산을 포괄하는 데이터 카탈로그를 사용하여 모델을 미세 조정할 수 있는 미래가 올 것으로 예상합니다. 데이터가 어디에 저장되어 있는지 알 필요 없이 카탈로그에 그 세부 정보가 있을 것입니다. 또한 카탈로그는 모델 학습에 너무 민감한 데이터를 차단할 수도 있습니다. 학습 데이터는 공간 효율적인 특정 시점의 NetApp Snapshot™ 사본으로 캡처되므로 데이터 과학자는 모델의 결정을 이해해야 하는 경우 언제든지 원래 상태로 돌아가 데이터를 분석할 수 있습니다. 또한 학습 데이터가 동일한 클라우드에 있든, 다른 클라우드에 있든, 온프레미스에 저장되어 있든 상관없이 원하는 클라우드에서 이 모든 작업을 수행할 수 있습니다. 한편, 데이터를 제공하는 인프라는 나머지 AI 인프라를 완전히 포화시키는 데 필요한 규모와 성능을 제공하여 중요한 리소스를 최대한 활용하고 미세 조정된 모델을 신속하게 제공할 것입니다. 이러한 미래는 그리 먼 미래가 아닙니다. NetApp은 이미 이러한 인프라의 상당 부분을 구축했으며, 현재도 다음 단계의 AI를 위해 구축하고 있습니다.

NetApp은 AI 기반 기업의 요구사항을 충족하고 이를 뛰어넘는 것을 목표로 ONTAP의 기능을 발전시키기 위한 노력을 멈추지 않고 있습니다. 통합 데이터 환경을 조성하고, AI 도구 통합을 강화하고, 지능형 데이터 관리를 자동화하고, 성능과 확장성에 우선순위를 두어 AI용 데이터 스토리지 및 관리 분야에서 선도적인 입지를 강화해 나가고 있습니다. 이러한 전략적 발전은 AI 프로젝트의 복잡성을 단순화하고, 데이터 접근성을 확대하며, 데이터 가용성과 보안을 강화하고, 관련 비용을 절감함으로써 다양한 조직에서 AI 기술을 더 쉽게 이용할 수 있도록 하기 위해 고안되었습니다. NetApp ONTAP 및 AI 데이터 관리 엔진의 향후 개발에 관해 자세히 알아보려면 ONTAP – 딥 러닝 시대의 선구적인 데이터 관리 백서를 읽어보십시오

고지 사항: 이 블로그 게시물은 미래 혁신을 위한 NetApp의 비전에 대해 설명하며, 이 중 일부는 아직 출시되지 않은 제품과 관련이 있을 수 있습니다. NetApp은 정보 제공 목적으로만 이 정보를 공유하며, 구매 결정을 내릴 때 이 정보에 의존해서는 안 됩니다. NetApp은 제품이나 서비스 또는 관련 특징, 자료, 코드 또는 기능을 개발하거나 제공하겠다는 약속을 하지 않으며 그럴 의무도 없습니다. NetApp 제품 및 서비스의 모든 특징 또는 기능의 개발, 출시 및 시기는 NetApp의 단독 재량에 따라 결정됩니다. NetApp의 전략과 향후 개발 가능성, 제품 및 플랫폼 방향, 기능은 모두 사전 통지 없이 변경될 수 있습니다. 당사는 새로운 정보, 향후 이벤트 또는 기타 사유로 인해 이 블로그 게시물에 포함된 정보를 업데이트할 의무를 지지 않습니다. 어떤 랜섬웨어 탐지 또는 복구 시스템도 랜섬웨어 공격으로부터 안전을 완벽하게 보장할 수는 없습니다. 공격이 탐지되지 않을 수도 있지만, NetApp 기술은 중요한 추가 방어 계층 역할을 합니다. 모든 정보는 NetApp에 대한 어떠한 보증이나 책임 없이 제공됩니다.