中国信通院联合北京邮电大学发布中文移动端Agent安全评测解决方案
随着大模型技术走向应用落地，智能体（Agent）加持的智能终端成为当前业界的热点应用。在Agent协助下，用户可通过"帮我打开购物车并加入防晒霜"等自然语义指令，指挥手机自动完成跨应用操作，如微信支付与美团订餐的协同执行，大大解放了生产力。然而，这场"手机听懂用户"的技术革命背后潜藏着隐私数据泄露、恶意指令注入、权限滥用等多种安全威胁。因此，构建兼顾用户体验与应用安全的保障机制，建立智能终端的安全可信体系，已成为推动AI Agent可持续落地发展的核心挑战。为此，中国信息通信研究院（简称“中国信通院”）携手北京邮电大学可信分布式计算与服务教育部重点实验室，率先推出国内面向移动设备的中文Agent安全评测解决方案，为智能终端的安全防护提供专业技术支撑。
针对Agent在移动设备控制应用中暴露的安全隐患及技术瓶颈，Agent安全评测解决方案创新性地提出"双轨制"评测，覆盖两大核心场景：分别是“针对移动设备Agent的安全评测”和“针对移动设备Agent内置大模型的安全评测”，实现从单一产品到通用框架的技术跨越。同时，为了支撑全面测试评估工作，研究团队构建了中文Agent安全测评数据集。
轨道一：针对移动设备Agent的安全评测
轨道一聚焦于构建移动端智能Agent应用的多维度安全评估体系，通过系统性攻防测试揭示Agent的安全行为边界。
评测体系创新性地构建了"输入-执行-监控-分析"全链路自动化测评框架，集成智能终端控制、高精度OCR文本解析、多模态内容审核引擎及规则驱动的行为判别模块，测试流程涵盖环境初始化、指令动态生成、多平台交互执行（微信/小红书等）、实时日志采集、敏感内容语义分析及风险等级判定等关键节点，实现从指令注入到结果输出的闭环监测。
值得注意的是，当前评测结果揭示Agent应用普遍存在指令解析碎片化（复杂任务拆解成功率不足40%）、上下文感知薄弱（跨轮对话安全策略失效率达35%）及App应用深度受限（仅支持表层API调用）等结构性缺陷。
轨道二：针对移动设备Agent内置语言模型的安全评测
语言模型作为智能体的核心引擎，展现出了卓越的指令理解与执行能力。依托这一技术，Agent能够高效地解析并精准执行用户指令，进一步推动移动设备的智能化应用，实现自动化任务的高效完成。尽管如此，在实现智能体对移动设备的直接控制过程中，仍然面临着一系列复杂的挑战。
研究团队设计了一种基于语言模型的移动设备控制框架，能通过获取设备的屏幕截图和内容，构建精准的提示词与语言模型进行深度交互，进而转化为具体的执行命令，从而实现对移动端设备的全面控制。
评测中发现，尽管语言模型接入智能设备展现出优秀的任务执行能力，但当其接收可能引发安全风险的指令时，语言模型仍会不加判别地执行预设任务流程，这一特性使其成为安全攻击的潜在突破口。
中文Agent安全测评数据集
数据集旨在全面评估Agent在移动设备控制场景下的安全性能，涵盖了丰富多样的任务类型与风险类型。在任务类型维度上，将其划分为六大核心类别，分别是文本消息、金融交易、社交媒体、设备 / 数据管理、网页导航以及工具。这些任务类型基本覆盖了实际场景中移动设备的典型应用，为评估提供了多元且贴近现实的任务环境。同时，在评估风险类型上，构建了伦理合规、隐私泄露、冒犯性、偏见与公平、财物损失、内容传播6种风险指标。通过对这些风险的考量，能够更深入地了解智能体在移动设备控制过程中可能引发的系统性风险，为安全防护机制的优化提供数据支撑与理论依据。
在数据构成上，数据集规模总量达到2000条（仍在持续扩充中），其中低风险指令与高风险指令的大致比例为1：4。低风险指令可用于评估模型的基本能力，检验其对常见、基础任务的处理情况；高风险指令则聚焦于评估模型在移动设备控制场景下的安全防护能力，特别是在涉及敏感、高风险操作时的表现。数据集通过精心设计的场景覆盖机制，确保了任务类型与风险维度的充分代表性：既涵盖了移动设备的主流应用场景，又纳入了现实环境中的各类潜在风险因素。这种多维度的评估体系不仅能够全面、客观地反映模型的综合性能，更为智能体在移动设备控制领域的安全部署提供了科学、可靠的评估基准与优化方向。
当前，该解决方案创新性地提出"双轨评测"框架，突破了多模态指令解析、跨平台动态监控等核心技术瓶颈，形成了覆盖2000+测试用例的数据集与全链路自动化评测工具链。未来，研究团队将持续优化安全评测体系的场景适应能力，对外开源相关测试数据集，为智能终端Agent的规模化应用提供可信赖的安全基准。
