浪潮信息推出算力焕新服务,利旧部署DeepSeek成本降低40%
最近,浪潮信息推出新款“算力焕新”服务,帮助用户通过升级已有服务器的通用计算模块或AI加速计算模块来部署DeepSeek等大模型,相比于采购全新设备,这种方式不仅更为灵活和快捷,而且可以将成本降低30%-40%。
DeepSeek本地化,利旧部署更合适
DeepSeek发布R1模型以来,AI产业进入了全民共创时代。越来越多的企业用户开始部署DeepSeek,除了采购新设备,一些企业开始采用升级旧设备的方式来部署DeepSeek,因为新设备一次性投资大,采购所需的时间和成本消耗也很大。
企业的AI推理对于硬件的要求主要体现在内存、显存等缓存方面,CPU/GPU平台均可运行,多数旧设备升级后都可以满足DeepSeek技术要求。模型大小决定缓存容量,DeepSeek所需要的缓存容量为参数量的1.2-2倍,具体需要视计算精度、并发数、输入输出长度、平台吞吐量要求等情况有所不同。以AI加速卡运行70B版DeepSeek R1为例,最小显存约为80-140GB,所以,只要用户设备有较大的内存扩展空间,或者支持全长全高卡的PCI-e x16插槽,都可以参加此次算力焕新服务。
要大规模推动DeepSeek的利旧部署,关键在于帮助用户解决技术能力不足的挑战。用户原有的设备通常是几年前旧平台,其PCIe接口版本、主板供电、固件驱动与AI加速卡之间易产生兼容冲突,而且加速卡电流大、功耗大,非常容易产生故障,很多设备安装未验证AI加速卡后故障率骤升45%以上,部分用户甚至出现设备烧毁案例。此外,很多用户不具备AI开发部署能力,推理框架的选择、模型规模的确定,以及模型部署、参数设置优化,都存在较高的技术门槛。
以简代繁,让用户零门槛用上AI、用好AI
因此,浪潮信息专门推出了针对DeepSeek利旧部署需求的算力焕新服务,专业的工程师团队为用户提供从方案设计、设备评测、升级/扩容加速卡、现场交付、大模型部署和调优的一站式方案,以及全生命周期的维保服务,让用户能够无门槛的用上AI、用好AI。
硬件方面,浪潮信息的产品至少可以向前兼容2代以上,而且每一代技术平台都做了严格的测试认证,可对多类跨代产品进行软硬件协同优化。因而,此次“算力焕新”服务覆盖广泛,从通用服务器到AI服务器,都可以参加此次算力焕新活动。下表中的产品已经进行了严格的方案验证,客户如果有其他款型的设备需要焕新升级,可致电服务热线进行咨询。
在模型选择方面,DeepSeek R1已经衍生出20多个不同版本。浪潮信息建议1.5B、7B、8B 、14B等小规模版本,可以升级通用服务器平台的内存容量来承载。32B及更大规模的版本可升级服务器的AI加速模组来承载。比如,元脑NF5280G7服务器支持4个PCI-e 5.0 x16插槽,如果要部署70B版本,只需要占用其中2个插槽增加两块中低端AI加速卡即可。浪潮信息已经将不同平台的升级方案模板化、标准化,系统会自行检测硬件配置,升级驱动,然后部署模型,并配置相应的工具软件,进行参数设置和优化,整个过程不到1小时。
算力焕新,性能优化达5倍
专业的工程师团队,完善的服务流程,浪潮信息完全可以帮助用户将不同平台的设备升级改造为高效的AI平台,并且通过完善的后续服务,让用户免于复杂的运维升级、故障排除等琐碎工作,专注于AI模型的开发和应用。
算力焕新给用户带来了切实的成本降低。以部署DeepSeek-70B模型为例。同性能配置下,改造存量的通用型服务器+升级加速卡的“焕新”部署方式,相比全新采购一体机而言,利旧率达75%,成本节省最高达30-40%。
算力焕新服务帮助用户避免了自行升级的诸多技术陷阱,例如某客户部署了一套32B的DeepSeek,在进行问答测试的时候每块显卡的显存使用率始终在 18% 左右,多并发测试无法通过、提高模型的参数运行也会很卡,经常遭遇任务失败的情况。经过系统焕新和重新部署,显卡的核心使用率达到 90% 以上,性能优化达到5倍以上。
目前“算力焕新”服务目前已在金融、制造等领域实践,成功服务用户近百家。