探索财经奥秘,指引财富未来

利用人工智能的性能和可扩展性重新定义多云

Chris J. Preimesberger 2024-06-06 02:35:58

赞助功能鉴于企业现在部署人工智能应用程序的趋势日益增长,对高效的新数据存储解决方案的需求日益迫切.

在过去,MB和TB的存储负载对于单纯的文档和单一图像类型的工作负载来说是司空见惯的,现在正在生产PB(1K TB)甚至一些EB(1K PB)的工作.

推动AI应用程序繁荣的因素包括从面部识别软件到流媒体服务推荐引擎的各种应用中都使用的大语言模型(LLM),所有这些都是为了改善用户体验和业务流程.

在各个行业,对自动化、数据分析和智能决策的需求越来越大.

人工智能可以自动执行重复性任务,分析海量数据集以发现模式,并做出数据驱动的预测或建议.

这将潜在地提高各个领域的效率、生产力和创新.

所有这一切都需要来自社交网络、GPS发射器、安全摄像头、销售点位置、偏远气象站和无数其他来源的大量数据.

这一趋势需要高性能的存储解决方案来处理AI培训和推理中涉及的大量非结构化数据,这些数据可以分布在内部和云环境中.

最近IEEE Spectrum的一份报告《为什么AI需要比以往更多的内存》探讨了AI系统不断增长的数据存储需求,特别是关注不断增长的LLM的大小.

这表明,除了对高性能、低功耗、低成本和高容量的需求外,对内存中或内存附近的更智能管理功能的需求也在不断增长,以最大限度地减少数据移动.

因此,部署混合云的趋势越来越大,所有这些都是可能的.

传统上,人工智能的实施一直以孤立的解决方案和支离破碎的基础设施为标志.

戴尔技术公司首席产品经理Kshitij Tambe表示:“当你的应用程序和工具主要在云中运行时,用户必须将他们的数据放在离这些工具和应用程序运行的地方更近的地方.

”“因此,现在如果你的数据在本地,你正在构建一些工具和应用程序在云中运行,那么就会有很大的差异.

如果你有一个东西在云中运行,而企业数据在数据中心,这就会变得非常有问题.

所以这就是对这些混合云模型的需求.

”为什么RAG向AI系统添加更多的数据,它们是强大的,需要大量的存储,但提供AI应用程序和工作负载基础的LLM只能根据它们的训练来生成响应.

为了解决这个问题并确保对最新信息的访问,一些人工智能系统利用了一个称为检索增强生成(RAG)的过程.

RAG将信息检索与提示集成在一起,允许LLM访问和利用外部知识存储.

这种方法需要存储基本LLM及其检索的海量数据以供实时使用.

随着公司--尤其是历史悠久的公司--多年来在数据中心、边缘和云部署中构建和使用许多不同类型的存储和存储设备,同时管理跨多个位置的数据成为一个复杂的问题.

一些存储管理员不愿意在单一屏幕上实时查看公司的所有存储工作负载--无论是否在生产中--无论它们在世界各地!这在很长一段时间里都是白日做梦.

但现在可能不再是这样了.

过去一年左右,出现了新的数据管理平台和流程来处理这些分散的下一代工作负载.

一个例子是Microsoft Azure云中的Dell APEX文件存储,这是一个NAS平台,旨在满足跨多云环境的AI容量、性能和数据管理要求,它是戴尔AI就绪型数据平台的一部分.

4月9日正式上市的适用于Microsoft Azure的Dell APEX文件存储弥合了云存储和云存储之间的巨大差距戴尔表示,愤怒和人工智能驱动的洞察力.

它还允许客户在支付服务费用方面拥有一定程度的灵活性.

适用于Azure的Dell APEX文件存储的核心是PowerScale OneFS,这是一个高性能横向扩展文件存储解决方案,已被全球超过16,000个客户部署.

通过将PowerScale OneFS引入Azure云,Tambe表示:“戴尔使用户能够更有效地整合和管理数据,降低存储成本,增强数据保护和安全性--同时利用本机云AI工具更快地了解情况.

”适用于Azure的APEX文件存储充当了一个多功能连接器,可在云转型期间平稳过渡,并实现与所有存储节点的安全连接.

无论使用哪种类型的存储.

一个关键的好处是:微软的界面和控制面板对IT管理员来说是自然熟悉的,而PowerScale OneFS复制了存储IT专业人员在本地熟悉的用户体验.

APEX文件存储Azure解决方案基于PowerScale OneFS,并经验证可与PowerEdge等其他戴尔解决方案配合使用.

APEX配置和规格包括在单个命名空间中支持多达18个节点和5.6PiB.戴尔夸口说,没有其他提供商可以声称这一点.

因此,适用于Microsoft Azure的戴尔APEX文件存储断言它是目前市场上最高效的横向扩展NAS解决方案,这是确凿的证据.

戴尔进行的分析表明,例如,与Azure NetApp Files相比,适用于Microsoft Azure的戴尔APEX文件存储支持的群集性能提高了6倍,命名空间增加了11倍,每个卷的快照数量增加了23倍,群集恢复能力提高了2倍,群集扩展也更轻松、更强大.

Tambe说:“通常情况下,客户可能有三个节点、四个或五个节点,但也可以灵活地在单个群集中最多使用18个节点.

”“APEX的新架构是这样的,集群越大,你的数据集就越大,它就会变得越来越高效--即使是从你的数据集中有多少可用空间的标准来看也是如此.

”,在Microsoft Azure上的集成和部署,对于数据管理,APEX文件存储为Azure提供了一条集成了高性能存储功能的新途径来部署在Microsoft的Azure基础设施上.

其理念是让管理员使用高级本机复制功能轻松将数据从本地移动到云,而无需重构任何存储体系结构.

戴尔表示,这可以节省大量时间,从而使数据管理功能能够帮助组织更快、更高效地设计、培训和运行支持AI的工作负载.

适用于Azure的APEX文件存储利用Azure的云基础架构和功能在几个方面使AI任务受益.

为高级人工智能模型开发基础设施需要大量投资,不仅需要强大的计算资源,还需要涵盖关键的数据存储基础设施.

训练数据集的大小可以从TB到PB不等,并且可以通过多个进程进行并发访问.

保存检查点也同样重要,每个检查点可能由数百GB组成.

APEX文件存储直接与几个最常见的人工智能工具集成-包括Azure AI Studio,以改变开发人员处理生成性人工智能应用程序的方式,并帮助简化从概念到生产的旅程.

戴尔表示,这是一个开发人员的游乐场,用于评估大型语言模型的响应并协调提示流,确保最佳性能和可扩展性.

由于OneFS支持S3作为访问协议,因此让APEX文件存储与Azure AI Studio配合使用应该很容易.

例如,开发人员可以使用OneLake Data Gateway将Azure AI Studio直接指向OneFS目录.

这使他们能够使用OneFS群集(AFS或本地)上的文件,而无需将数据复制到Blob存储,从而使用保留在OneFS文件系统中的文件运行AI模型的微调.

为了提供可扩展性,APEX文件存储利用AzurE的云原生技术,使其能够根据AI工作负载需求灵活地扩展存储容量和性能.

这有助于确保平稳运行,即使在处理AI培训和处理中使用的大数据集时也是如此.

对于集成,APEX文件存储直接与Azure架构集成,促进内部部署和云环境之间的数据传输.

这样,在将AI工作负载转移到云端时,就无需重新设计存储基础设施.

戴尔表示,这种组合为简化多云环境中存储管理的通用存储层奠定了基础.

对于数据管理和保护,APEX文件存储提供了高级本机复制、重复数据删除和擦除编码等功能.

这些功能有助于实现数据冗余、安全性和高效的存储利用率,这些都是管理AI应用程序的大型数据集的关键方面.

去年,戴尔在Microsoft Azure APEX计划之前推出了AWS版本的服务.

这是戴尔承诺为不同的云平台提供广泛的存储和数据管理选项以满足客户要求的一个例子.由戴尔赞助.