迈向智能世界白皮书2023数据新范式，释放ai新动能数据存储 1数据存储序言今天ai大模型是一个非常热的话题，如果说我们把机器智力的发展跟人类过去文明和智力的发展进行类比，有很多相似之处。人类出现在地球上，有几十万年的历史，但是真正人类文明的高速发展也就几千年。这里边最关键的是文字的出现，我们可以记录我们的经验和知识，而且记录下来之后可以群体性地进行学习、复制、演进、发展，这就导致了我们人类社会文明在这几千年当中高速地发展。那么同样的，ai机器文明的发展会怎么样。我们可以看到，今天机器已经有了很好的算法，这个算法可以使得机器能够学习，但是更重要的是学习的素材在哪里。所以有一句话叫做缺数据、无ai，我觉得这句话是非常重要的，它跟人类的历史也恰恰是一样的。如果说我们仅仅只有一个方法论，但是缺乏知识库，缺乏语料库，那么所有的ai大模型本质上是没有意义的。我们必须喂给它知识库、语料库，它才能够针对我们的场景形成咨询师，形成编程机器人，形成客服机器人，让它具有自己学习的大脑。因此在整个系统当中，除了算这一部分，把我们今天的信息进行数字化存储，变成知识库，让这些知识库用的更好，这一点也需要引起足够的重视。 2数据存储今天ai大模型是一个非常热的话题，如果说我们把机器智力的发展跟人类过去文明和智力的发展进行类比，有很多相似之处。人类出现在地球上，有几十万年的历史，但是真正人类文明的高速发展也就几千年。这里边最关键的是文字的出现，我们可以记录我们的经验和知识，而且记录下来之后可以群体性地进行学习、复制、演进、发展，这就导致了我们人类社会文明在这几千年当中高速地发展。那么同样的，ai机器文明的发展会怎么样。我们可以看到，今天机器已经有了很好的算法，这个算法可以使得机器能够学习，但是更重要的是学习的素材在哪里。所以有一句话叫做缺周跃峰华为数据存储产品线总裁所以我们认为，企业在未来ai时代要持续领先，一个很重要的基础就是必须具备先进的以数据存储为核心的数据基础设施。华为公司在数据存储产业上的大规模投入超过十年，产品已进入全球超过150个国家和地区，广泛服务于运营商、金融、政府、能源、医疗、制造、交通等多个行业超过25000家客户。通过与业界专家、客户和伙伴深入交流，我们编写了这份《迈向智能世界-数据存储》白皮书报告，结合近期火热的ai大模型话题，从新应用、新数据、新安全、新技术、绿色节能五个方面，展望数据存储的发展趋势与行动建议。我相信这是一次有意义的探索，将凝聚更多的产业力量共同推进数据存储产业的发展。过去三十年，数据存储一直是高价值数据的最佳底座，新技术、新应用产生的数据源源不断地汇入数据海洋，华为数据存储愿与产业各方更加紧密携手努力，汇聚产业力量，共创数据存储美好未来。 序言目录执行摘要010305展望一ai大模型展望三分布式数据库展望二大数据展望四 云原生新应用新应用新应用新应用08192428展望五 非结构化数据新数据333目录数据存储 数据存储446展望八以数据为中心的架构新技术新技术展望九ai赋能存储49绿色节能展望十 存储绿色节能54新安全新技术展望六存储内生安全37展望七 全场景闪存普惠42 63附录 5执行摘要ai大模型已超出人类想象的速度，将我们带入智能世界。算力、算法、数据构成了ai的三要素。算力、算法是ai大模型时代的工具，数据的规模和质量才真正决定了ai智能的高度。数据存储将信息变为语料库、知识库，正在和计算一起成为最重要的ai大模型基础设施。以ai大模型为代表的企业智能化应用，正在和经典数据库应用形成并驾齐驱乃至超越之势。每一次应用的变革，都伴随着数据基础设施架构的演进。高可靠、高性能、共享的数据存储，成为以oracle为代表的数据库的最佳数据基础设施。新的企业智能化应用从量变进入质变阶段，正在形成新的数据范式。面向未来，我们对企业数据存储进行了如下展望：ai大模型将ai带入新的发展阶段。ai大模型需要更高效的海量原始数据收集和预处理，更高性能的训练数据加载和模型数据保存，以及更加及时和精准的行业推理知识库。以近存计算、向量存储为代表的ai数据新范式正在蓬勃发展。大数据应用经历了历史信息统计、未来趋势预测阶段，正在进入辅助实时精准决策、智能决策阶段。以近存计算为代表的数据新范式，将大幅提升湖仓一体大数据平台的分析效率。以开源为基础的分布式数据库，正在承担越来越关键的企业应用，新的分布式数据库 共享存储的高性能、高可靠架构正在形成。多云成为企业数据中心新常态，企业自建数据中心和公有云形成有效互补。云计算的建设模式从封闭全栈走向开放解耦，从而实现应用多云部署、数据/资源集中共享。以容器为基础的云原生应用，从无状态应用走向有状态应用，数据存储一方面要提升资源发放效率，更重要的要承载全新的云原生应用。存储即服务的商业模式，正在从公有云走向企业数据中心。121234数据存储 680%的企业新增数据是非结构化数据，ai大模型正在加速海量非结构化数据进入生产决策系统，全闪分布式存储成为海量非结构数据最佳数据基础设施。ai大模型应用聚集海量企业私域数据，数据安全风险剧增。构建包括存储内生安全在内的完整数据安全体系，迫在眉睫。全闪存存储以高性能、高可靠、更优的tco，不仅实现对高性能机械硬盘的替代，也将实现对大容量机械盘的替代，从而打造全闪存数据中心。ai大模型推动数据中心的计算、存储架构从以cpu为中心走向以数据为中心，新的系统架构、生态正在重新构建。ai技术正在越来越多地融入在数据存储产品及其管理，从而大幅改善数据基础设施的sla水平。绿色节能从产业牵引进入实施执行阶段，占数据中心能耗30%的数据存储，能耗指标正在纳入建设标准。数据存储6578910123面向以ai大模型为代表的企业智能化新应用，新的数据基础设施架构也正在逐渐形成。为了构建大模型时代最佳的数据基础设施，我们建议：企业数字化从以应用创新为主，转向应用和数据基础设施的协同创新，充分发挥数据潜力。针对ai、大数据、分布式数据库、云原生应用，建设新应用和数据存储的联合设计团队，共同打造最佳的数据基础设施。坚定不移地推进新应用的存算分离架构，充分发挥应用、存储的专业能力，实现强强联合。 7探索以数据为中心的新存储系统架构；构建新的数据范式，推动数据存储支持近存计算、新的数据格式、新的数据访问协议、高性能应用数据缓存。新架构和新范式的组合优化，将大幅提升数字化新应用的效率，让新应用拥有更高的sla，并尽量降低传统应用的改造成本。企业核心的竞争力应用部署在企业自建数据中心，不确定性创新业务根据需要可以尝试公有云。云的建设模式逐渐向应用多云部署、数据/资源集中共享的分层解耦模式演进。面向容器为基础的云原生应用，联合应用开发团队和数据存储团队，构建云原生应用最佳实践。依据企业的战略、经营情况、未来预测，不盲从，综合对比、选择合适的商业模式，并选择合适的msp、存储厂商尊龙凯时网址的合作伙伴。加速全闪存存储的应用，采用以数据为中心的新架构存储、高密硬件、数据缩减、系统融合、海量非结构化数据治理等技术，降低海量数据的tco，打造绿色低碳的数据中心。将数据存储团队加入数据安全联合团队，制定数据存储内生安全标准，构建数据安全的最后一道防线。积极尝试ai使能的数据存储产品及其管理，提升团队人员ai技能，从而大幅改善数据基础设施的sla水平。45678数据存储 8ai大模型新应用展望一 数据存储9缺数据，无ai随着gpu算力、ai算法的迅猛发展，以生成式ai为代表的ai大模型时代已经来临。其在对话、知识反馈等方面已远超过普通人类水平，更将颠覆互联网、制造、金融、媒体等千行百业。当前，ai大模型的第一波浪潮已经开始，作为企业it建设的决策者，需要正视并主动拥抱变化，探索企业如何利用好大模型赋能生产、提升效率。趋势ai的发展远超过预期2022年末，当openai发布chatgpt时，没有人能想到，ai大模型接下来将为人类社会带来历史性变革。其拐点已经出现：2022年以前，ai还是一个面向专用领域以“感知世界、理解世界”的小众工具，例如计算机视觉、互联网推荐。当前，它已经成长为面向通用领域以“生成创造世界”的全能发明家，懂学习知识、会理解思考，在社交、办公、编程、决策、创意生成中掀起生产力的巨浪。示，沃尔玛、亚马逊和微软等公司已经通知员工不要在chatgpt或类似生成式应用中输入任何机密信息，而摩根大通、花旗集团、德意志银行和美国银行直接禁止员工使用chatgpt。verizon也禁止员工从公司系统访问chatgpt，原因是verizon认为如果将客户信息、源代码或知识产权等内容放置在ai平台上，这些信息最终将转化为这些平台的资产，从而失去对数据流转的控制。数据决定ai智能的高度ai大模型三要素是数据、算力、算法。随着ai技术快速成熟，各企业所能够使用的算力已逐渐趋同，均是以英伟达、昇腾为代表的gpu硬件；而各企业采用的算法也同样逐渐收敛简化，均采用transformer模型基础架构和pytorch、tensorflow、mindspore开发框架。因此，真正决定ai智能高度的是数据，企业需要思考怎样才能用好数据。首先，训练数据的规模至关重要。我们发现，同样是大语言模型，meta开发的llama拥有650亿参数和4.5tb训练数据，而openai的gpt-3.5拥有1750亿参数和570gb训练数据，尽管llama在参数规模上仅不到gpt-3.5的一半，但其表现能力在大部分基准上均超过后者。不仅如此，llama更是与来自deepmind的700亿参数模型chinchilla、来自谷歌的5400亿参数模型palm在表现上旗鼓相当。由此可见，相较于模型参数规模，训练数据的体量对提升ai精度的效果更能起决定性作用。其次，数据的质量同样重要。ai大模型生成不正确、有歧义、无意义或不真实的结果，根本原因就是缺乏具备规范性、完整性、时效性的高质量数据源支撑。对于基础大模型，主要基于厂商从公开渠道所获取数据的质量。而对于行业大模型的训练及细分场景推理应用，模型效果取决于行业专属的私域数据的质量，这包含了企业原有数据，与实时更新的增量数据，也就是行业知识库。作为数据载体，数据存储成为ai大模型的关键基础设施作为数据载体，数据存储成为ai大模型的关键基础设施。数据存储是ai大模型数据收集、预处理、训练、推理的关键一环，决定了能保存的数据容量、训练及推理的数据读取效率、数据的可靠性以及数据安全。首先，海量原始数据的归集效率。这个阶段需要通过跨地域、跨线上线下的方式对数据进行归集汇总，进行如数据中心、边缘、云间不同协议格式数据的交互。据统计，pb级数据的归集通常花费3~5周，耗时占据整个ai大模型全流程时长的30%。为了加速数据归集、减少后续分析的等待时间，需要存储具备高效汇聚、协议互通、海量按需扩容的能力。其次，数据的预处理效率。通过收集、爬取的原始数据是无法直接用于模型训练的，pb级原始数据会在这个阶段被cpu与gpu再次读取，进行解析、清洗、去重等工作，包含至少3次全量数据读取与搬迁，所消耗的cpu、gpu、网络、内存资源占据30%以上，然后最终生成训练样本用于后续训练。我们分析，企业在这个阶段耗时超过50天，占据ai大模型全流程时长的40%以上。为了保证数据处理的效率、减少资源的浪费，需要存储提供对数据的就近处理能力。第三，模型训练阶段的数据访问效率。在模型训练启动阶段，gpu服务器会随机读取数万个小文件，读取完毕后才能启动训练。为了避免gpu等待训练数据的加载时间过长，需要数据存储提供千万级iops能力。此外，在模型训练的过程中，gpu服务器硬件的故障率较高，譬如业界模型训练平均每2.8天故障一次，如果每次均从头重新训练，将永远无法完成训练任务。因此，在过程中一般会设定数十次、甚至上百次的周期性checkpoint操作，保存中间过程数据，让发生故障后可以断点续训。在这个期间，gpu将会暂停，等待数据完整保存后才可继续运转。为了减少gpu的空置时长，需要存储提供数百gbps级的读写带宽。此外，应用推理阶段的