适用于 AI 的下一代数据管理

在加速计算、深度学习和人工智能技术进步的推动下，所有行业和现代应用程序都在经历快速转型。这一转型的下一阶段需要一个智能数据基础架构，让 AI 和计算离企业数据更近。

当我与客户交谈时，他们谈论的挑战涉及到集成他们的数据和企业 AI 工作流。他们问题的核心是将 AI 技术应用于现有数据，无论是在云中、内部环境中，还是更有可能同时在这两者中。

设想您是一名数据工程师。您利用开源大型语言模型 (LLM) 训练企业数据，以便营销团队构建更好的资产、客户服务团队可以提供面向客户的聊天机器人。数据分散在不同的存储系统中，您不知道具体在哪里。您导出、移动和集中数据以用于训练目的，因此耗费很多时间且容量效率低下。您构建模型，但所用数据的历史记录和上下文会丢失，因此无法将模型追溯到源。所有这些数据都存储在内部环境中，但您的训练是在 GPU 所在的云中进行的。

这些挑战对于我们交谈过的数据工程师和数据科学家来说非常常见。NetApp 已经在应对其中许多挑战。但是，随着模型训练变得越来越先进，训练更多数据的需求也在增加，这些问题将进一步加剧。

随着下一代人工智能培训和工作负载微调的形成，现有基础架构的局限性将面临减缓创新速度的风险。一些挑战包括：允许针对 AI 进行扩展和优化的数据基础架构；用于通知 AI 工作流数据所在位置及其使用方式的数据管理；以及有助于数据科学家保护 AI 工作流并保持模型清洁的相关数据服务。

可扩展的数据基础架构

随着 AI 模型变得越来越复杂，其计算需求也随之增加。企业需要能够扩展并提供密集型 AI 任务所需的高性能的基础架构，例如培训和微调大型语言模型。同时，优化非存储资源使用（例如最大限度地利用 GPU）对于经济高效的 AI 操作至关重要，因为资源使用不足可能会导致支出增加。最大限度地利用 GPU 对于经济高效的 AI 操作至关重要，要实现这一点，需要提高读取和写入操作的存储吞吐量。最后，训练数据通常存储在内部，而 AI 模型通常在云中训练，这意味着 AI 工作负载通常跨内部环境和各种云环境。这意味着基础架构需要在这些系统之间实现无缝数据移动和管理。

通用数据管理

AI 工作负载通常需要访问海量数据，这些数据可能分散在企业中，并采用不同的系统和格式。随着企业使用分布在其数据基础架构中的专有数据进行微调和检索增强型生成 (RAG) 用例，这一挑战变得更加严峻。数据孤岛使 AI 难以有效地聚合和分析数据。管理 AI 数据的生命周期（从载入到处理再到存储）需要成熟的数据管理解决方案，以应对非结构化数据的复杂性和数量。要使 AI 发挥作用，相关数据必须易于发现和访问，这就需要强大的元数据管理和数据探索工具。

智能数据服务

随着 AI 的兴起，越来越需要强大的安全性和治理功能来保护敏感数据并满足法规要求，尤其是在面临勒索软件等威胁时。基于有毒数据或故意篡改构建的模型可能会对日益依赖 AI 的业务运营造成巨大损害。与任何企业级工作负载一样，数据也需要可用，并防止自然灾害和系统中断，以便持续运行并防止代价高昂的停机。

如今，NetApp 已成为人工智能基础架构领域公认的领导者。十多年来，创新型客户一直在从 NetApp 解决方案上管理的数据中提取 AI 驱动的洞察力。作为 NVIDIA 的长期合作伙伴，NetApp 提供经过认证的 NVIDIA DGX SuperPOD 和 NetApp^®AIPod^™ 架构，并见证了超大规模云平台中第一方云产品上的 AI 工作流快速采用。作为非结构化数据存储领域的领导者，客户信任 NetApp 来处理其最宝贵的数据资产。

我们是如何获得这种信任的？答案是通过不懈创新。随着客户将数据托付给我们，我们看到未来还有更多机会来帮助他们实施 AI 和高性能工作负载。因此，我们推出了一种全新的离散式架构，使客户能够继续突破性能和扩展的界限。增强的元数据管理引擎可帮助客户了解其组织中的所有数据资产，从而简化模型训练和微调。一组集成的数据服务有助于管理这些数据和基础架构，保护其免受自然和人为威胁的影响。它全部基于领先的统一存储架构 NetApp ONTAP^® 构建，可提供一个统一架构，用于集成所有数据基础架构。NetApp 的核心基因始终使我们能够发展和采用新技术，同时又能保持客户所依赖的强大安全性、企业级功能和易用性。我很高兴为您预览 ONTAP 即将推出的功能。

我们对统一 AI 数据管理引擎的愿景将彻底改变企业处理和利用 AI 力量的方式。我们的数据管理引擎旨在通过提供统一的数据资产视图、自动捕获数据更改以进行快速推理以及与 AI 工具紧密集成以实现端到端 AI 工作流来消除数据孤岛。NetApp 还在基础架构层和智能层通过基于策略的治理和安全性进行创新，包括可扩展的高性能系统。

计划内创新

• 离散式存储架构。为了提高系统吞吐量并降低成本，NetApp 正在开发一种存储架构，用于更高效地共享存储后端。此架构旨在优化网络和闪存资源的利用率，帮助实现更加灵活且经济高效的存储方法。这项创新将显著提高整个集群的聚合吞吐量，同时减少机架空间和电耗利用率。该架构旨在实现计算和存储资源的独立扩展，这对于需要高级别灵活性和可扩展性的 AI 工作负载尤其有用。
• 性能增强。NetApp 致力于通过即将推出的 NetApp AFF 系列系统和 ONTAP 软件增强功能提供行业领先的性能。这些改进旨在轻松管理最密集的 AI 工作负载，使企业可以在没有性能瓶颈的情况下执行其 AI 策略。这些增强功能将包括用于管理和处理大型数据集的高级功能，这些功能对于生成式 AI 和 LLM 培训等任务至关重要。
• 无缝数据集成。AI 数据管理引擎旨在提供企业数据资产的综合视图。这种统一方法对于跨内部环境、云环境和超大规模云平台集成数据至关重要。通过促进无缝数据集成，NetApp 使企业能够更有效地管理 AI 数据的整个生命周期 — 从初始数据收集到模型部署和分析。有了这一全新的 AI 数据管理引擎，让 NetApp 能够为客户提供一个统一、结构化、可查询的视图来查看其所有 ONTAP 数据资产。无论数据资产是结构化的还是非结构化的，无论它们位于内部、云中还是跨内部以及我们的任何超大规模合作伙伴 Amazon、 Microsoft 和 Google，都是如此。
• 矢量嵌入和数据库。AI 数据管理引擎将自动捕获数据更改，生成高度压缩的矢量嵌入，并将其存储在集成的矢量数据库中，从而使该数据可用于搜索和 RAG 推理工作负载。所有这些都是自动、实时和原位完成的，以实现精简性和效率。
• AI 生态系统集成。认识到统一 AI 工作流的重要性，我们将重点放在将数据服务与更广泛的 AI 工具生态系统集成。这种集成将简化从数据标记和模型训练到流程编排和部署的整个 AI 工作流。通过创建无缝工作流，我们帮助企业降低 AI 项目的复杂性并加快实现价值的速度。
• 负责任的 AI。随着人们对 AI 的道德影响的认识日益加深，NetApp 将重点放在负责任的 AI 实践上。我们正在开发集成的模型数据可追溯性和治理功能，使企业能够实施不仅有效，而且符合道德且透明的 AI 解决方案。

在 NetApp，我们预计未来数据科学家可以坐下来使用涵盖其整个数据资产的数据目录，使用他们自由选择的 AI 工具对模型进行微调。他们不需要知道数据存储在何处，目录中将包含这些详细信息。目录甚至会阻止使用过于敏感的数据进行模型训练。训练数据将通过节省空间的时间点 NetApp SnapSnapshot™ 副本进行捕获，以便数据科学家在需要了解模型决策时始终可以返回并以原始状态分析数据。无论训练数据是位于同一个云、不同云中还是存储在内部环境中，他们都可以从自己选择的云中完成所有这些任务。同时，提供数据的基础架构将提供所需的扩展性和性能，使其余 AI 基础架构完全饱和，从而充分利用这些关键资源并快速交付微调模型。这一未来不是遥不可及的。NetApp 已经构建了这种基础架构的大部分内容，目前正在为 AI 的下一阶段进行构建。

我们坚定不移地追求提高 ONTAP 的能力，旨在满足并超越 AI 驱动型企业的需求。通过创建统一数据环境、增强 AI 工具集成、自动化智能数据管理以及优先考虑性能和可扩展性，我们正在强化我们在 AI 数据存储和管理领域的领导地位。这些战略进步旨在简化人工智能项目的复杂性、扩大数据可访问性、增强数据可用性和安全性，并降低相关成本，使不同组织更容易获得人工智能技术。要详细了解 NetApp ONTAP 和我们的 AI 数据管理引擎的未来发展，请阅读白皮书：ONTAP — 深度学习时代的数据管理先锋

免责声明：此博文讨论了 NetApp 的未来创新愿景，其中一些可能涉及未发布的产品。NetApp 所分享的上述信息仅供参考之用，不应作为购买决策的依据。NetApp 对开发或交付任何产品或服务或任何相关特性、材料、代码或功能不作任何承诺，也没有任何义务。NetApp 产品和服务的任何特性或功能的开发、发布及其时间安排均由 NetApp 自行决定。NetApp 的战略和未来可能的开发、产品和平台方向以及功能如有更改，恕不另行通知。我们不承担因新信息、未来事件或其他原因而更新本博文所含信息的任何义务。任何勒索软件检测或恢复系统都无法完全保证免受勒索软件攻击的安全性。虽然有可能无法检测到攻击，但 NetApp 技术可以提供一层额外的关键防护。提供的所有信息均不含任何担保，NetApp 不承担任何责任。