当前位置:

网站首页    专家视点    国家信息中心单志广:摸清家底数算匹配智能调度
创建时间:2023-02-23 09:02

国家信息中心单志广:摸清家底数算匹配智能调度

算力正成为数字经济时代的重要驱动力,“东数西算”工程的全面启动开启了我国算力资源全国范围内跨区域统筹布局的新篇章。算力通俗讲就是计算能力,是指对数据的处理能力。算力存在于手机、电脑、服务器、机器人、无人驾驶汽车、数据中心等各种智能硬件设施,是推动人工智能、大数据、物联网、区块链等技术创新与应用的基础支撑。当今世界,以算力为代表的算力经济正在蓬勃发展。人工智能、量子计算、类脑计算等新技术与计算产业相结合,拓展了全方位计算能力,OpenAI发布的研究显示,2012年以来,人工智能应用对于算力的需求平均每年增长10倍。算力已经成为衡量国家经济发展程度的重要指标,《2021—2022全球计算力指数评估报告》显示,国家算力指数与数字经济发展和GDP的走势呈现显著的正相关,从15个重点国家的算力指数看,算力指数平均每提高1个点,数字经济规模和GDP将分别增长3.5‰和1.8‰。

当前,我国算力总规模已超过140EFLOPS(每秒浮点运算次数,用于衡量计算机计算能力),近五年年均增速超过30%,算力规模排名全球第二位。2020年,罗兰贝格咨询公司统计的《世界各国人均算力水平估算结果》显示,发达程度越高的国家,其人均算力水平也越高。美国、新加坡、日本等发达国家人均算力值普遍高于或接近1000GFLOPS,属于高算力国家,我国人均算力值为553GFLOPS,属于中算力国家。随着数字经济深入发展,数据已成为与土地、劳动力、资本、技术等并列的生产要素,与之相关的存储、计算、传输、应用等算力需求都在大幅提升,预计每年仍将以20%以上的速度快速增长。

“东数西算”工程的直观理解就是把东部的数据拿到西部进行计算。需要强调的是,应在全国一体化大数据中心总体布局下科学理解“东数西算”工程的定位。构建全国一体化大数据中心体系的核心是开展全国范围内算力资源的布局和优化,是相对总体性的概念,而“东数西算”工程相对是小概念,是全国一体化大数据中心的一类应用模式。全国一体化大数据中心理论上包括所有“A数B算”,A、B可为东、西、南、北、中等各方位的任意排列组合,“东数西算”是其中一种情况,当前比较现实的主流情况还是“A数A算”。“东数西算”是在8个国家枢纽节点和10个国家数据中心集群形成后才出现的应用模式,因此“东数西算”不是现在时,而是全国一体化大数据中心建设的将来时。当全国各个节点全部打通形成网络并且建立起成熟的调度系统和机制时,才能实现面向业务、服务质量和成本要求的全网、实时、动态优化调度,从而真正意义上实现“东数西算”。

“东数西算”工程对于促进节能减排具有重大意义。西部地区光伏、风电等可再生能源发电后直接入网供西部数据中心使用,节省了西电东送的长距离输电线路损耗。将数据中心建在气温偏低的西部可以降低制冷系统能耗,东西部电价差大(0.2元/千瓦时电左右),西部空间大且地价便宜,中西部局部地区的工业用地成交价格甚至是珠三角地区的50%,降低了初始投资成本。此外,“东数西算”工程还有利于西部地区新能源消纳以及相应产业调整为西部地区带来收益等。

全国一体化大数据中心体系和“东数西算”工程本质上是一个规模庞大、跨区跨域、要素复杂、应用多样、相互作用、不断演化的复杂巨系统,需要优化调度、科学谋划、系统推进。当前推进过程中需要重点关注以下几个方面。

摸清家底,统筹衔接。由于数据资产和算力资源都具有持续性和动态性,必须实时摸清当前处于活跃状态的、正在被处理的数据资产和运行中的算力资源,以及处于静态环境里被保存的数据资产和储备算力资源,由此才能实现最优化的算力资源调配,使得各类数据资产能得到最为及时的分析处理。这需要对各类相关算力资产摸清家底,以便更精准地进行能源资源的消耗调配和预储备,真正做到心中有数。要做好国家算力枢纽节点、国家数据中心集群与现有的全国各地各类型算力设施的统筹、衔接和配合,科学合理地管理和统筹新旧节点的联动关系,形成合理分工、科学联动、高效协作的机制,切实发挥国家布局的引领和示范作用,实现数据资源“一本账”、算力资源“一盘棋”。

“数”“算”匹配,安全可信。因数据类型多样、业务需求各异,如何确保“东数西算”的“数”和“算”供需匹配,是由政府牵头还是由市场调控,目前尚无合理解决方案。如果数据来自珠三角等东部地区,而算力设施位于宁夏、贵州、甘肃等西部地区,网络性能、算力实时性、数据安全等各方面影响难以评估。因此,“东数西算”要在业务层面上做好供需匹配和精准对接,解决谁的“东数”由谁来“西算”。没有业务保障,算力设施就无法发挥应有作用,从而造成设施空置和能源空耗。这种供需匹配需要在国家、地方、企业、业务等多层级开展性能、价格、效益、安全等多方面的评估和测算,形成真正的应用需求供给和安全可信、可持续的长效动力机制。“东数西算”工程目前主要是面向超算算力和智算算力进行调度和统筹,由于基础算力承载的多是电子游戏、短视频、即时通信等实时性较强的需求,就目前的技术而言,实时性的本地数据无法搬到异地计算,因此西部目前主要考虑的是承载后台加工、离线分析、存储备份等非实时算力需求。即使对于能搬到西部的超级计算机来说,一对一进行固定匹配而不是动态调度的可能性较大。不同超级计算机的处理器、加速卡、框架等不同,算力基础设施面临异构化挑战。这需要搭建智能异构算力平台,突破异构算力适配、异构算力网络调度等关键技术,从而优化东西部各类算力资源的精准高效配比。

算力网络,智能调度。全国一体化大数据中心和“东数西算”工程最核心的技术挑战是要具备实现算力统筹和智能调度的枢纽设施——算力网络,从而实现在全国范围内,根据动态业务需求,在云、网、边之间实现按需分配和灵活调度计算、存储、网络等资源。与电力系统完善的分级调度不同,算力网络的实现机制、调度机制和运行机制短期内尚无法建立。算力网络的功能是将不同所有方的计算、存储等资源通过网络整合起来,按照用户业务的不同需求提供最优的资源服务与网络连接,核心是复杂巨系统的多资源联合优化,相当于把全网当成一台计算机进行调度,需要全国范围内、实时、全网、面向任务调度的高QoS(服务质量)资源调度。目前算力网络尚处在概念提出期,还没有真正从实践上形成产品和方案的能力。算力网络是一台超级计算机还是分领域的调度器,或是一种分布式的调度系统,目前尚无结论。从计算机科学角度,要实现目前大家设想的算力网络这种理想状态的枢纽调度器,在理论上可描述,但在实践上可能无法实现,因为全域、全网、实时、按需、动态、安全的调度本身可能就是NP难问题,可能由于复杂计算导致的“系统状态空间爆炸问题”而无法及时获得系统实时最优解,需要在整网最优解难于获得的情况下,走降维、降阶、系统分解、分而治之、局部优化、近似优化、求次优解之路。

 


来源:经济日报