AWS에서 생성형 AI 기능 강화

오늘날의 데이터 중심 환경에서는 생성형 AI(GenAI)가 비즈니스 실무에 필수적인 요소가 되고 있습니다. 생산성을 높이고 운영 비용을 절감하며 탁월한 고객 경험을 제공하는 GenAI는 작업을 자동화하고 고품질 콘텐츠를 생성하여 경쟁에서 앞서 나갈 수 있도록 지원합니다.

GenAI는 단순한 자동화 수준을 뛰어넘습니다. 실효성 있는 인사이트와 예측 분석을 제공하여 시장 변화와 고객의 요구가 발생했을 때 비즈니스가 신속하게 대응할 수 있도록 지원합니다. 실시간으로 추세를 예측하고 정보에 입각한 의사 결정을 내릴 수 있다고 상상해 보십시오. GenAI가 이를 가능하게 합니다.

이것을 가능하게 하는 비결은 무엇일까요? 바로 조직이 보유하고 있는 독점 인사이트입니다. 이러한 데이터를 대규모 언어 모델(LLM)의 공개 데이터와 병합하면 비교할 수 없는 정확도와 관련성을 제공하는 고유한 조합을 만들 수 있습니다. 다른 기업도 유사한 공개 데이터에 액세스할 수 있지만, 이 조합을 통해 경쟁 우위를 확보할 수 있습니다.

• 검색 증강 생성(RAG)을 사용하면 독점 데이터와 동적 공개 데이터를 안전하게 혼합하여 AI 프로젝트를 그 어느 때보다 적절히 활용할 수 있습니다.
• AI 추론을 사용하면 학습된 패턴을 새 데이터에 적용하여 이미지 인식, 자연어 처리(NLP), 예측 분석과 같은 실시간 작업을 수행할 수 있습니다.
• 유니파이드 데이터 스토리지가 이를 가능하게 합니다. 통합 데이터 서비스를 사용하면 모든 주요 프로토콜과 툴을 지원하는 지능형 데이터 인프라를 통해 GenAI의 강력한 성능을 데이터에 더 긴밀히 접목할 수 있습니다. AI 지원 클라우드 스토리지는 RAG 및 추론을 향상할 뿐만 아니라 GenAI 워크로드를 위한 안전한 엔터프라이즈 프레임워크의 역할도 합니다. 유니파이드 데이터 스토리지로 방대한 비정형 데이터를 효율적으로 관리하고 다양한 사용 사례를 손쉽게 지원하십시오.

GenAI는 텍스트 프롬프트에 응답하여 텍스트, 이미지, 음악, 오디오 음성, 비디오, 코드 등의 콘텐츠를 빠르게 생성하는 일종의 인공 지능입니다. GenAI는 기존 데이터에서 새로운 콘텐츠를 생성하여 업무를 개선합니다. GenAI 애플리케이션은 방대한 양의 비정형 데이터에 대해 사전 학습된 LLM과 파운데이션 모델(FM)로 구동됩니다.

이러한 모델을 원하는 데이터로 사용자 지정하여 분야별 작업을 수행하고 운영을 혁신할 수 있습니다.

• 챗봇과 가상 비서를 통해 고객 경험과 개인 맞춤 서비스를 개선합니다.
• 대화형 검색, 요약, 콘텐츠 작성 및 코드 생성을 통해 직원의 생산성을 높입니다.
• 문서 처리, 데이터 증강, 사이버 보안 강화 등의 비즈니스 프로세스를 최적화합니다.

RAG는 업계의 판도를 바꿀 게임 체인저입니다. RAG는 학습 세트 외부에서 관련성 있고 권위 있는 데이터를 추가하여 정확하고 최신의 응답을 보장함으로써 LLM을 개선합니다. 이를 통해 생성형 AI 애플리케이션을 더욱 효과적이고 안정적으로 만들어, 가능성의 세계를 열어줍니다.

RAG 시스템은 두 단계로 작동합니다. 먼저, 관련 데이터 세트가 원래 모델 외부의 GenAI 파이프라인에 들어가도록 한 다음, GenAI 모델이 질의에 관한 정확한 응답을 생성합니다.

글로벌 인사이트와 전문 분야의 지식을 제공하는 RAG는 GenAI 애플리케이션을 최신의 혁신적인 상태로 유지합니다. 검색 메커니즘을 통합하여 적절한 데이터를 포함함으로써 정확성과 관련성을 높이는 비용 효율적이고 간소화된 접근 방식을 제공합니다. 따라서 데이터 파이프라인에서 잘못된 정보를 차단하여 위험을 줄이고 다양한 애플리케이션에 효과적인 솔루션을 제공할 수 있습니다.

• 알고리즘과 UI를 개선하여 검색 엔진을 강화하고 보다 정확하고 관련성 높은 결과를 제공합니다.
• 고급 알고리즘과 사용자 행동 분석을 사용하여 추천 시스템을 개선하고 보다 개인화된 제안을 제공합니다.
• 가상 비서의 기능을 강화하여 더욱 정확하고 개인화된 답변을 제공합니다.

데이터의 잠재력을 최대한 활용하려면 운영 전반에 걸쳐 GenAI를 통합하는 전략적 접근 방식이 필요합니다. 다음은 효과적인 RAG 작업을 추진하는 데 도움이 되는 5가지 기능입니다.

AI에서 추론은 머신 또는 알고리즘이 데이터 및 사전 지식을 사용하여 결정이나 예측을 내릴 수 있도록 하는 중요한 프로세스입니다. 추론 프로세스는 학습된 모델을 활용하여 새로운 입력을 분석하고 이미지 분류, 언어 이해, 선택 등 가치 있는 결과를 도출합니다. 추론을 통해 AI는 결론을 도출하고 보다 정확하고 정보에 입각한 결정을 내릴 수 있어 실제 애플리케이션에서 더 스마트한 결과를 이끌어낼 수 있습니다.

• 실시간 분석을 통해 수집되는 데이터에 대한 즉각적인 인사이트를 확보하여 신속한 의사 결정과 대응 조치를 취할 수 있습니다.
• 예측형 유지 관리를 적용하여, 장비 고장을 예측하여 고장을 방지하고 기계 수명을 연장합니다.
• 사기 행위를 식별하고 완화하는 고급 기술을 구현하여 사기를 탐지 및 방지하고 금융 보안과 신뢰를 유지합니다.

AI 워크로드에는 AI 모델 훈련 및 배포에 필요한 방대한 데이터를 효율적으로 관리, 저장, GPU 활용 및 검색할 수 있는 효과적인 스토리지 인프라가 필요합니다. Amazon FSx for NetApp ONTAP은 AWS 네이티브 스토리지 서비스에서 ONTAP의 모든 기능을 제공하여 데이터 관리를 단순화하고 AI 워크로드 성능을 향상합니다.

FSx for ONTAP은 Bedrock, SageMaker 등의 AWS 서비스와 함께 작동합니다. 또한, AI 애플리케이션을 구축, 확장 및 관리하기 위한 강력한 기반을 제공하며, AI 라이프사이클 전반에서 데이터를 효율적이고 안전하게 처리합니다.

• 고성능과 짧은 지연 시간은 대용량 데이터 세트에 빠르게 액세스해야 하는 생성형 AI 모델을 훈련하고 배포하는 데 있어 매우 중요합니다. FSx for ONTAP은 데이터와 I/O를 여러 파일 시스템에 분산하는 대신 단일 클러스터 내에서 최대 12쌍, 즉 24개의 노드를 통합할 수 있습니다. 최근에는 AWS에서 GenAI 워크로드를 지원하는 보다 세분화된 스케일아웃 처리량 용량을 포함하도록 개선되었습니다.
• 효율적인 데이터 관리는 GenAI 모델 훈련 중에 생성되는 방대한 데이터 세트와 중간 결과물을 처리하는 데 필수적입니다. FSx for ONTAP과 NetApp BlueXP 분류, Snapshot, FlexClone 및 FlexCache의 기능을 활용하면 안전한 GenAI 인프라를 효과적으로 배포하고 관리할 수 있습니다.

• NFS 및 S3 프로토콜을 모두 지원하므로 RAG 워크플로와 원활하게 통합할 수 있습니다. 이러한 유연성 덕분에 모델 생성 과정에서 다양한 소스로부터 관련 데이터를 효율적으로 검색하고 통합할 수 있습니다.
• 독점 데이터를 공개 LLM과 혼합하여 관련성 있고 정확한 결과물을 일관되게 제공하는 RAG 작업을 수행할 수 있습니다.
• 시스템 용량을 손쉽게 확장하여 증가하는 RAG 데이터 세트를 운영 중단 없이 처리할 수 있습니다.

• 짧은 지연 시간으로 데이터에 빠르게 액세스하여 빠르고 효율적인 모델 예측을 가능하게 합니다. 추론 작업에는 실시간 또는 거의 실시간에 가까운 응답이 필요한 경우가 많기 때문에 이는 매우 중요합니다.
• 예측을 위해 정밀하고 정확한 데이터에 의존하는 추론 앱을 지원하는 강력한 파일 시스템으로 데이터를 일관성 있고 안정적으로 유지합니다.
• 최첨단 데이터 보호 및 보안을 통해 마음의 안정을 찾을 수 있습니다. FSx for ONTAP은 중요한 AI 워크로드의 백업 및 복구를 단순화할 뿐만 아니라 추론에 사용되는 데이터를 보호하고 규정 준수 상태를 유지합니다. 따라서 데이터 침해 또는 규정 문제와 관련된 위험을 줄일 수 있습니다.

Amazon Bedrock은 기업이 GenAI 애플리케이션을 구축하고 확장할 수 있도록 지원하는 완전 관리형 AWS 서비스입니다. 선도적인 AI 기업의 파운데이션 모델(FM)에 액세스할 수 있으므로 개발자는 광범위한 ML 전문 지식 없이도 애플리케이션을 통합할 수 있습니다.

• Amazon Titan과 같은 선도적인 FM과 AI21 Labs, Anthropic, Cohere, Meta, Stability.ai 중에서 선택할 수 있으며, 모두 공통 API를 통해 액세스할 수 있습니다.
• 기업의 특정 요구사항과 선호도에 맞게 AI 모델을 사용자 지정할 수 있습니다.
• Amazon Bedrock용 기술 자료를 사용하여 FM으로부터 정확한 맞춤형 응답을 얻을 수 있습니다. 이 완전 관리형 RAG 기능을 사용하면 상황에 맞는 관련 회사 데이터로 FM 응답을 강화할 수 있습니다.
• 보안 및 개인 정보 보호 기능을 사용하여 민감한 정보를 안전하게 보호하여 위험 없이 운영할 수 있습니다.

• 조직별 데이터로 LLM을 강화하여 진정한 경쟁 차별화 요소를 확보할 수 있습니다.
• 사전 레이블이 지정된 데이터 세트와 사용자 지정 매개 변수 또는 가중치로 미세 조정을 통해 맞춤화하거나, 실시간 학습을 위해 분야별 원시 데이터로 사전 학습을 선택할 수 있습니다.
• RAG를 사용하여 내부 데이터 세트에서 정보를 검색함으로써 기본 모델을 보강하고 최종 사용자에게 정확한 응답을 제공할 수 있습니다.
• 에이전트를 통해 회사 시스템과 데이터 소스를 활용하여 여러 단계의 작업을 실행할 수 있습니다. 예를 들어, AWS Lambda 함수는 기본 채팅 응답에서 제품 주문 처리까지 다양한 작업을 처리할 수 있습니다.

Amazon SageMaker는 개발자와 데이터 과학자가 ML 모델을 효율적으로 구축, 훈련 및 배포할 수 있도록 지원하는 포괄적인 AWS ML 서비스입니다. 고급 AI 모델의 개발, 훈련, 배포를 간소화하는 툴과 인프라를 제공하여 AI의 잠재력을 최대한 쉽게 활용할 수 있도록 지원합니다.

SageMaker와 FSx for ONTAP을 사용하면 데이터 처리 및 ML 기능을 향상하고 원활한 연결을 활용하여 대규모 데이터 세트를 처리할 때 최적의 성능 및 효율성을 달성할 수 있습니다.

Amazon Kendra는 NLP 기능을 사용하여 엔터프라이즈 콘텐츠의 통합 검색을 가능하게 하는 지능형 검색 서비스입니다. 직원 생산성을 개선하고, 데이터 중심 의사 결정을 위한 인사이트를 확보하고, 지원 센터 비용을 절감하고, 앱 내 검색을 향상할 수 있습니다.

FSx for ONTAP를 통해 빠른 저장, 엔터프라이즈 데이터 관리, 안전한 액세스를 보장하면 Kendra 검색 결과의 품질이 크게 개선됩니다.

Amazon FSx for NetApp ONTAP을 사용하여 생성형 AI 애플리케이션을 구동하고 놀라운 결과를 달성할 수 있습니다.

• 고객 서비스 개선. 고객 문의를 처리하기 위해 GenAI 챗봇을 배포하여 응답 시간을 단축하고 고객 만족도를 높일 수 있습니다. FSx for ONTAP의 벡터 데이터베이스에서 공유 데이터 및 에이전트 피드를 활용하여 더 스마트하고 효율적인 상호 작용을 제공합니다.
• 제조 분야의 예측형 유지 관리. 제조업체는 RAG 운영을 통해 다운타임과 유지 관리 비용을 줄일 수 있습니다.
• 금융 분야의 사기 탐지. AI 추론을 사용하여 사기 거래를 예측하고 방지하여 사기 관련 손실을 크게 줄일 수 있습니다.
• 권한 인식 RAG 솔루션. Active Directory를 사용하는 이 스마트한 솔루션은 사용자 액세스 수준에 따라 정보를 제공합니다. ACL 인식 내장 에이전트는 보안과 효율성을 위해 FSx for ONTAP에 데이터를 저장합니다.