智能体协议安全 / 模型上下文协议(MCP)
智能体 安全测试平台
关注模型上下文协议(MCP)与智能体间协议安全,针对协议层面的攻击进行全方位防护,保障AI智能体生态系统的安全可信。
人工智能行标委已立项
AIIA联盟规范预研完成
协议安全维度
双端防护体系
Client端安全
工具投毒攻击防护
在工具描述中嵌入对用户不可见但对AI模型可见的恶意指令,实施用户敏感数据窃取等攻击
工具描述注入检测
恶意指令识别
数据流向监控
权限边界控制
Server端安全
远程访问控制防护
将自身SSH公钥注入目标用户文件,实施服务器远程控制
文件操作审计
密钥注入检测
访问控制策略
异常行为告警
主要攻击类型
了解攻击原理,构建有效防御
工具投毒攻击
Tool Poisoning Attack
攻击者通过在MCP工具描述中嵌入恶意指令,诱导AI模型执行非预期操作
攻击流程
1
冒充伪造MCP服务节点
攻击者伪装成合法的MCP服务提供者
2
诱导LLM发送数据至恶意工具
通过精心构造的工具描述欺骗模型
3
窃取数据/修改上下文
获取敏感信息或篡改执行环境
远程访问控制攻击
Remote Access Control Attack
利用工具的文件写入能力,攻击者可实现持久化远程控制
攻击流程
1
利用write_file等工具
获取文件系统写入权限
2
将SSH公钥写入authorized_keys
植入后门访问凭证
3
非法远程登录
实现持久化服务器控制
智能体安全风险框架
全方位风险评估体系
个人风险
- 隐私泄露
- 数据滥用
- 个人权益受损
环境风险
- 系统安全
- 网络环境
- 基础设施威胁
社会风险
- 伦理合规
- 内容传播
- 群体影响
风险环节
应用服务层
提示注入越狱攻击数据投毒权限滥用隐私窃取
单智能体
行为层
越权操作目标偏离
工具层
工具滥用权限逃逸
感知层
数据泄露对抗攻击
多智能体
协同风险
智能体间通信被劫持
决策风险
共识机制被恶意操纵
攻击风险
恶意智能体渗透网络
智能体安全测试评估
业界首个智能体安全标准(联合50余家单位发布)
伦理合规
违反伦理规范的行为检测
隐私泄露
敏感信息未授权暴露
冒犯性
产生冒犯性内容的风险
偏见与公平
算法决策中的偏见问题
财物损失
可能导致经济损害的行为
内容传播
有害内容扩散风险
建设内容
持续推进智能体安全评测体系建设,构建行业标杆
评测数据集建设
覆盖多场景测试样本
测试工具开发
自动化安全检测平台
重点研究方向
引领行业安全研究方向
端侧智能体
面向移动终端、IoT设备等边缘场景的智能体安全评测技术与防护方案
轻量化防护本地化推理边缘安全
多智能体协同
研究智能体间通信、协作过程中的安全风险,构建可信协同机制
通信安全共识机制恶意检测
场景化评测
针对金融、医疗、政务等垂直领域的智能体安全评测方法与标准
行业适配合规评估场景测试
加入智能体安全生态
与行业伙伴共同推动智能体安全标准制定,构建可信AI生态系统