数据堂发布智评-人工智能技术评测平台
9月20日,2024世界制造业大会在安徽省合肥市开幕。全国人大常委会副委员长张庆伟出席开幕式并致辞。在本次大会,数据堂发布“智评-人工智能技术评测平台”。该平台专注于大模型和人工智能技术评测,通过评测工具、评测标准、评测数据组成完善的评测流程,对应获取评测结果。对大模型的领域回答能力和安全性进行评测,并给出定性定量的评测结果。
该平台面向开源及闭源大模型针对性构建两个系列大模型评测数据集,涵盖文本通用大模型、多模态大模型、领域大模型,提供客观公正的第三方评测。其中,开源大模型评测数据集包括17套开源数据,15个基本任务,用于公开评测。闭源大数据评测数据集包括17套数据堂商业数据集,15个基本任务,用于定制化评测。
在本次发布会上,安徽省工业和信息化厅二级巡视员潘峰致辞。安徽数据堂总经理吴鑫坤出席会议,并参加安徽省新经济联合会人工智能专委会成立仪式。
数据堂智评-人工智能技术评测平台,旨在构建全面系统的大模型能力评测系统,形成多层次、多维度的评测方案,力求更加科学、规范、高质量开展大模型的标准评测。