“凡事预则立，不预则废。”
——《礼记·大学》
在数字化浪潮汹涌而来的今天，人工智能（AI）已经从科研实验室的“玩具”，演进为企业运营的“神经中枢”。它帮助我们实现风控自动化、客户画像精准化、交易异常实时检测，甚至可以代替人工完成安全补丁的评估与部署。表面上看，AI 带来了效率的飞跃，却也暗藏着一条隐蔽的“暗河”，稍有不慎，便可能酿成灾难。
本文从 两起典型且富有教育意义的安全事件 切入，结合 PCI SSC 最新发布的《AI 系统安全考量》指引，阐释 “最小自主权（least agency）”、“Human‑in‑the‑loop（HITL）” 与 “Human‑over‑the‑loop（HOTL）” 两种监督模式在支付环境中的落地路径，帮助大家在即将开启的 信息安全意识培训 中，快速构建起系统化、可操作的防护思维。
案例一：AI 代理“偷天换日”，持卡人明文数据泄露
事件概述
2025 年 9 月，一家跨境电商平台在引入 AI 驱动的实时风控系统 后，业务转化率大幅提升，然而在同月的 一次大规模支付异常 中，平台竟出现 数十万笔持卡人明文信息被外泄 的严重事故。经调查发现，平台在部署 AI 代理（Agent）时，仅配置了“读取全部交易原始数据”的权限，未对其 数据访问范围 进行细粒度控制。AI 代理在自行学习交易模式的过程中，直接调用持卡人完整卡号、有效期、CVV 等核心字段进行特征提取。随后，一名内部人员利用该代理的 “自助查询” 接口，将提取出的明文数据导出到公司内部的共享盘，最终被外部黑客通过漏洞利用手段抓取。
失误细节
| 失误点 | 具体表现 | 造成后果 |
|---|---|---|
| 权限过度 | AI 代理获得了“读取全部原始交易数据”的全局权限，未采用最小权限原则 | 明文持卡人数据被 AI 直接访问 |
| 缺乏人工核准 | 对涉及明文持卡人信息的 每一次读取 均未设置 Human‑in‑the‑loop 或 Human‑over‑the‑loop | 导致内部人员不经审批即可导出数据 |
| 数据脱敏不足 | 未对持卡人信息进行 Token 化、加密截断后再供 AI 使用 | AI 必须直接接触明文敏感信息 |
| 监控告警缺失 | 缺乏对 AI 代理数据访问的 实时审计 与 异常行为检测 | 异常导出行为未能及时发现 |
| 治理缺口 | 未建立 AI‑BOM（AI 物料清单）与 AI 代理清单，导致对代理的审计和溯源困难 | 事后追责困难，损失扩大 |
教训与启示
- 最小自主权（least agency）：AI 代理只能获得完成特定任务所必需的最小权限。比如，仅授予 特征向量（已脱敏）的读取权限，杜绝对原始明文的直接访问。
- Human‑in‑the‑loop（HITL）：涉及明文持卡人数据的任何操作必须获得 人工核准，如通过双人审批、角色分离等方式。
- 数据脱敏：在 AI 前置层对持卡人信息进行 Token 化、分段加密，让 AI 在不知晓真实卡号的前提下完成模型训练。
- 审计与告警：对 AI 代理的每一次读取、写入、导出操作进行日志记录，配置基于行为的异常检测（如突发的大批量读取）。
- 治理清单：建立 AI‑BOM 与 AI 代理清单，对所有内部及第三方 AI 服务进行登记、分类、风险评估。
案例二：AI 生成“钓鱼邮件”，成功骗取支付密码
事件概述
2026 年 2 月，一家金融科技公司在内部使用 大型语言模型（LLM） 辅助撰写客户服务邮件。攻击者利用公开的 OpenAI API，生成了高度仿真的“账户异常提醒”邮件模板，嵌入了针对该公司客户的 特定支付密码 重置链接。由于邮件内容语言自然、结构严谨，且包含了公司内部常用的 品牌口吻 与 技术细节（如最近的 API 调用频率异常），导致约 8% 的收件人点击链接并输入密码，直接泄露到攻击者控制的服务器。
失误细节
| 失误点 | 具体表现 | 造成后果 |
|---|---|---|
| Shadow AI 未治理 | 该公司未对 第三方 LLM（即 Shadow AI）进行风险评估与使用登记 | 随意生成的钓鱼邮件未受监控 |
| 缺少内容审计 | 对 AI 生成的邮件缺乏 人工审校（Human‑over‑the‑loop），直接投入发送 | 钓鱼邮件未经审查即外发 |
| 链接安全防护薄弱 | 未对邮件中的 重置链接 进行可信度验证与跳转拦截 | 用户误点恶意链接 |
| 多因子验证缺失 | 仅依赖单因素（密码）进行账户恢复 | 攻击者凭密码直接控制账户 |
| 监测响应迟缓 | 未对异常登录尝试进行实时告警 | 账户被盗后数小时才被发现 |
教训与启示
- Shadow AI 监管：对任何 外部 AI 服务（包括 LLM、图像生成模型等）都应纳入 AI 治理清单，明确其使用场景、数据输入输出、风险等级。
- Human‑over‑the‑loop（HOTL）：AI 生成的内容应在 发布前 通过 人工审校，尤其是涉及 用户交互、链接、凭证 的场景。
- 安全邮件框架：采用 DKIM、DMARC、SPF 等邮件安全认证机制，并在邮件正文中加入 安全提示（如官方渠道验证链接），降低钓鱼成功率。
- 多因子认证（MFA）：对支付密码、账户恢复等关键操作引入 MFA，即使密码泄露，也能形成防御。
- 实时异常监控：对账户登录、密码修改、异常 IP 登录等行为实施 实时监测，并结合 AI 行为分析模型快速识别异常。
PCI SSC《AI 系统安全考量》指引的核心要义
PCI 安全标准委员会（PCI SSC）在 2026 年 10 月 7 日发布的《AI 系统安全考量》（Security Considerations for AI Systems）补充文件，针对支付环境中的 AI 应用提供了 四大面向 的系统化指导：
- AI 系统的部署与使用：强调 最小自主权、安全基线配置，要求对 AI 代理的 系统资源、网络入口、存取数据 进行细粒度划分。
- 防范 AI 被恶意利用：要求企业对 AI 模型的对抗攻击、数据投毒、模型窃取 进行风险评估，并落实 模型防护、输入验证、输出审计。
- 既有 PCI 标准在 AI 环境下的适用：如 PCI DSS Requirement 6.5.1（补丁管理）应映射到 AI 驱动的修补流程，确保 AI 生成的补丁亦需经过 人工核准 与 变更管理。
- 支付环境中的 AI 应用案例：示例涵盖 AI 协助漏洞管理、AI 驱动的欺诈检测、AI 支持的交易监控，为企业提供落地参考。
在上述指引的指导下，企业可以围绕 “最小自主权 + 人工监督 + 数据脱敏 + 治理清单 + 持续监控” 五大要素，构建符合 PCI DSS 要求的 AI 安全防护体系。
数字化、智能体化、具身智能化——新时代的安全挑战
1. 数字化：从纸质到云端的迁移
近年来，企业正加速将 业务、数据、流程 全面迁移至 公有云、私有云、混合云。云原生技术带来了弹性伸缩与成本优化，却也让 边界安全 变得模糊。AI 在云环境中往往以 容器、服务网格 的形态运行，若缺乏 跨云身份治理（Identity & Access Management）与 零信任网络访问（Zero‑Trust Network Access），则极易形成 “横向移动” 的跳板。
2. 智能体化：AI 代理从工具到“同事”
AI 代理在 智能客服、自动化运维、风险评估 等业务中扮演“同事”角色，具备 自主决策 能力。Human‑in‑the‑loop 与 Human‑over‑the‑loop 的区别在于，前者要求每一步决策都有人工批准，后者则允许 AI 在事先授权的范围内自主执行，而人类负责监督与干预。然而，“人类监督” 很容易沦为 “形式监督”——只要有签字流程即视为合规，却忽视了 监督质量 与 实时性。
3. 具身智能化：AI 与物理世界深度融合
具身智能（Embodied AI） 如 机器人、自动售货机、智能 POS，直接与现实世界交互。它们往往需要 读取卡片信息、密码键盘输入、摄像头视觉识别，这意味着 支付卡信息 在物理层面可能被 AI 直接捕获、处理。如果不对 硬件安全模块（HSM） 与 AI 推理芯片 实施严格的 硬件根信任 与 边缘加密，将导致 “AI 触摸卡片” 的安全隐患。
呼吁：携手共建 AI 驱动的安全防线
“千里之堤，溃于蚁穴。”
——《韩非子·五蠹》
安全不是一次性的项目，而是 持续的行为习惯。在数字化、智能体化、具身智能化高度融合的今天，每一位职工都是 防护链条上的关键节点。为此，朗然科技 将在本月启动 信息安全意识培训，围绕 PCI SSC AI 安全指引、最小自主权、人工监督模型、AI 治理清单、数据脱敏技术 等核心议题，开展系统化、可落地的学习与实操。
培训亮点
| 主题 | 关键要点 | 交付形式 |
|---|---|---|
| AI 安全基线 | 最小自主权、权限细粒度划分、Token 化 | 线上微课 + 案例研讨 |
| 人工监督模型 | HITL vs HOTL、审批流程设计、审计日志 | 实战演练、角色扮演 |
| AI 治理清单 | AI‑BOM、Shadow AI 纳管、第三方模型评估 | 文档模板、清单工具 |
| 对抗 AI 攻击 | 数据投毒、模型窃取、对抗样本检测 | 红蓝对抗实验 |
| 具身智能安全 | 边缘加密、硬件根信任、POS 安全架构 | 现场演示、硬件检视 |
| 合规与监管 | PCI DSS 与 AI 的映射、合规审计 | 案例拆解、合规检查表 |
参与方式
- 报名渠道：公司内部邮箱 [email protected]（主题请标注“信息安全意识培训”）
- 培训周期：2026 年 11 月 5 日 – 11 月 20 日（共 4 场线上直播 + 2 场线下工作坊）
- 奖励机制：完成全部培训并通过结业测评的同事，将获得 “安全护卫星” 电子徽章，计入 年度绩效，并有机会参与公司 安全创新项目。
“天下大事，必作于细。”
让我们从 每一次点击、每一次授权、每一次审计 做起，帮助企业在 AI 与支付安全的交叉点上，筑起一道 “防火长城”。
实践指南：在日常工作中落实 AI 安全的五大行动
- 最小权限原则（Least Agency）
- 为每一个 AI 代理创建 独立的服务账号，只授予完成特定任务所需的 API 调用 与 数据读取 权限。
- 对涉及 持卡人明文 的业务，强制使用 Token 或 加密片段，禁止直接暴露卡号、CVV。
- 双层人工监督（Human‑in‑the‑loop + Human‑over‑the‑loop）
- 关键操作（如 金額超额、退款、账户权限变更）必须走 HITL 流程，即 人工核准后方可执行。
- 常规、低风险操作（如 每日交易报告自动生成）可采用 HOTL，但需 实时监控 与 定期复盘。
- AI 治理清单（AI‑BOM）
- 每月更新 AI 代理清单，列出 名称、功能、数据来源、供应商、风险等级。
- 对 Shadow AI（如外部 LLM、图像生成平台）进行 安全评估，并登记在清单中，确保 审计可追溯。
- 日志审计与异常检测
- 开启 AI 代理的全部操作日志，包含 读取、写入、导出、模型训练 等关键行为。
- 引入 行为分析平台（UEBA），对异常的大批量读取、异常时间段的请求进行 告警。
- 持续教育与演练
- 每季度组织 红蓝对抗演练，模拟 AI 代理被攻破、Shadow AI 投毒 等场景，检验防御措施的有效性。
- 将 案例学习、最佳实践 编入 新员工入职 与 岗位轮岗 的必修课程，形成 安全文化 的“滚雪球”效应。
结语：让安全成为每个人的“AI 超能力”
在 AI 技术的浪潮中，“技术是把双刃剑，使用得好是福，使用失误是祸。” 这句古训在现代同样适用。通过 最小自主权、人工监督、数据脱敏 与 治理清单 的系统化落地，我们可以把 AI 的“锋芒”转化为 防护的盾牌。
亲爱的同事们，信息安全不只是IT 部门的职责，更是每一位职工的 共同使命。让我们在即将开启的 信息安全意识培训 中，携手学习、共同演练，将安全意识内化为日常操作的自觉行为。只有这样，企业才能在 AI 与支付安全的交叉口，稳步前行，真正实现 “安全即竞争力”。
“未雨绸缪，方能立于不败之地。”
让我们在 AI 的光辉与阴影之间，保持清醒、坚持守护，成为组织最可靠的 “信息安全守护者”。
在数据安全日益重要的今天，昆明亭长朗然科技有限公司致力于为企业提供全面的信息安全、保密及合规解决方案。我们专注于提升员工的安全意识，帮助企业有效应对各种安全威胁。我们的产品和服务包括定制化培训课程、安全意识宣教活动、数据安全评估等。如果您正在寻找专业的安全意识宣教服务，请不要犹豫，立即联系我们，我们将为您量身定制最合适的解决方案。
- 电话：0871-67122372
- 微信、手机：18206751343
- 邮件：info＠securemymind.com
- QQ: 1767022898