模型提取

信息安全从“思考”到“行动”：在智能化浪潮中守住企业底线

admin

头脑风暴：三大真实案例敲响警钟
① 模型提取大作战——Google Gemini被“千万人次”询问的背后

② 国家级黑客玩转大模型——Gemini成为跨国钓鱼与漏洞挖掘的“外挂”
③ **AI 融入恶意代码——“HONESTCUE”恶意软件把 Gemini 当作代码生成器

在信息技术高速发展的今天，AI 大模型已不再是科研实验室的专属玩具，而是渗透到企业研发、客服、营销乃至内部决策的每一个环节。与此同时，攻击者也在不断升级手段，把这些强大的模型当作“武器”，对企业信息安全形成前所未有的挑战。下面，让我们通过上述三起真实案例，细致剖析攻击手法、危害与防御思路，从而让每一位职工都能在“想象”和“实践”之间架起一道坚实的安全防线。

案例一：模型提取大作战——Google Gemini 被“千万人次”询问的背后

事件概述

2025 年底至 2026 年初，Google 威胁情报团队在其季度报告中披露，一项涉及 超过 100,000 条提示词（prompts）的攻击活动被实时拦截。攻击者通过向 Gemini（Google 最新的大语言模型）发送结构化、目的明确的提问，企图重建模型的推理链路与内部参数，实现 模型提取（Model Extraction） 或 知识蒸馏（Knowledge Distillation）。

攻击手法解析

  1. 语言一致性指令：攻击者先让模型保持“思考语言”与用户输入语言一致，以规避跨语言检测。
  2. 多语种并行提问：同一查询在 10+ 种语言同步发送，迫使模型在不同语境下返回相似的内部推理过程。
  3. 任务多样化覆盖：从数学推导、法律解释到代码生成，构建覆盖面极广的查询库，试图捕获模型在各种任务上的“通用推理”。

潜在危害

  • 知识产权泄露：模型的核心算法、训练数据分布等信息被非法复制，导致研发投入化为乌有。
  • 竞争优势削弱：竞争对手可快速“借鉴”并在自有平台上复现相似能力，压缩差距。
  • 合规与法律风险：模型提取行为违反服务条款，若被用于商业化，可能触发知识产权诉讼。

防御思路

  • 实时流量行为分析：建立基于异常提示词序列的检测模型，对高频、相似度高的请求进行实时拦截。
  • 细粒度访问控制：对 API 调用进行限流、身份校验，并对高风险账户实行多因素认证。
  • 输出监管：在模型层面加入 “安全过滤器”，对可能泄露内部推理的响应进行二次审查。

正如《孙子兵法》所言：“兵形象水，水因地而制流”。面对模型提取的“水流”，我们必须因地制流、筑堤截流。

案例二：国家级黑客玩转大模型——Gemini 成为跨国钓鱼与漏洞挖掘的“外挂”

事件概述

Google 报告指出，2025 年底至 2026 年期间，来自 中国、伊朗、北朝鲜、俄罗斯 的四大国家级威胁组织相继利用 Gemini 完成以下任务：
– APT42（伊朗）借助 Gemini 生成高度针对性的社交工程脚本文案，实现精准钓鱼。
– APT31 与 UNC795（中国）借助 Gemini 自动化漏洞检测、代码调试与 Exploit 生成。
– UNC2970（北朝鲜）利用 Gemini 进行目标企业结构、岗位信息的快速梳理，为后续渗透提供情报。

攻击手法解析

  1. 情报收集自动化：通过向模型提供受害者简历、公司公开信息，快速生成个性化攻击材料。
  2. 代码生成与调试：利用 Gemini 的代码补全功能，自动化编写漏洞利用代码，降低技术门槛。
  3. 跨语言翻译与文化适配：Gemini 的强大翻译能力帮助攻击者突破语言壁垒，实现多语种钓鱼。

潜在危害

  • 攻击效率提升：AI 助力的“脚本化攻击”大幅缩短攻击准备时间，导致防御窗口被压缩。
  • 攻击面扩大：跨语言、跨行业的攻击脚本容易在全球范围复制与传播。
  • 防御误判风险：由于提示词看似普通，传统安全监控难以辨别真实意图。

防御思路

  • 情报链路追踪：通过日志关联分析，追溯异常提示词与外部情报平台的关联性。
  • AI 生成内容检测：部署专用模型辨识 AI 生成的文本、代码及图片，以提前发现潜在攻击材料。
  • 员工安全意识提升：针对钓鱼邮件、社交工程进行持续教育，降低“人”因素成为突破口的可能性。

《礼记·大学》云：“知止而后有定，定而后能安”。只有在了解威胁行为的“止点”后，才能凝聚防御的“定力”，实现组织安全的“安宁”。

案例三：AI 融入恶意代码——“HONESTCUE”恶意软件把 Gemini 当作代码生成器

事件概述

Google 在同一报告中披露，一款代号 HONESTCUE 的新型恶意软件直接调用 Gemini API，在受感染主机上实时生成、编译并执行恶意代码。其工作流程如下：
1. 恶意软件向 Gemini 发送“生成能够在内存中自我隐藏的 C++ 代码”之类的提示。
2. Gemini 返还符合要求的源码片段，软件随后在本地编译、加载至内存执行。
3. 由于提示词本身看似业务需求，Gemini 的安全过滤未能拦截，从而形成 “无声” 的攻击链。

攻击手法解析

  • 提示词伪装：提示词被设计成普通的技术需求，规避内容审查。
  • 即时编译执行：生成的代码不落盘，直接在内存中运行，规避传统防病毒的文件签名检测。
  • 多阶段混淆：每一次生成的代码略有差异，形成多态化攻击，使特征库难以捕获。

潜在危害

  • 检测困难：传统基于文件哈希或签名的防护失效，安全产品需转向行为监控。
  • 攻击自适应：利用 AI 的快速迭代能力，攻击者能够实时根据防御反馈调整生成策略。
  • 后门潜伏：恶意代码可嵌入合法业务流程，导致长期潜伏、难以根除。

防御思路

  • API 使用审计：对所有外部 AI 接口的调用进行严格审计，异常调用即时阻断。
  • 内存行为监控：部署基于行为的 EDR（端点检测与响应）系统，捕获异常的内存加载与执行行为。

  • 安全开发生命周期（SDL）：在研发阶段加入 AI 生成代码的安全审查，建立“AI 产出审计”机制。

《周易》云：“潜龙勿用”。当 AI 技术潜入代码生成的深层，我们必须提前预判、布置防线，避免其潜伏成“龙”，最终危害全局。

1️⃣ 信息安全的“新常态”：数字化、智能体化、机器人化的交织

1.1 数字化——数据是血液，安全是心脏

企业的业务、运营乃至决策都以 数据 为中心。云平台、SaaS、PaaS 的广泛使用使得 数据流动性 前所未有，亦让 数据泄露、篡改、伪造 的风险大幅提升。

1.2 智能体化——AI 充当“大脑”，亦可能是“黑客的手套”

大语言模型、生成式 AI、自动化机器人正成为 业务智能 的核心驱动力。它们在提升效率的同时，也为 模型提取、对抗攻击 提供了新的攻击面。

1.3 机器人化——硬件与软件的深度融合

工业机器人、服务机器人、无人机等 物理平台 正在被 AI 控制，若安全体系未覆盖 网络-控制-执行 全链路，极易形成 “网络攻击 → 物理危害” 的闭环。

正所谓“形势大好，危机四伏”。在数字化、智能体化、机器人化共生的时代，信息安全 已不再是一门单纯的技术学科，而是 全员必修的素养 与 组织治理的基础。

2️⃣ 让每位职工成为 安全卫士：即将开启的安全意识培训计划

2️⃣1 课程目标

目标 说明
认识威胁 通过真实案例，让员工直观感受模型提取、AI 恶意使用的危害。
掌握防护 学习提示词审计、API 使用规范、AI 生成内容的安全辨识方法。
提升响应 了解事件处置流程、报告渠道及个人在应急中的角色定位。
践行合规 熟悉公司信息安全政策、数据分类分级以及 AI 使用合规要求。

2️⃣2 培训形式

  1. 线上微课（30 分钟/节）：兼顾碎片化学习时间，配合案例演练视频。
  2. 线下实战演练：情景模拟攻击（如“模型提取诱饵”、“AI 生成恶意代码”），现场分析、现场防御。
  3. 自测与认证：完成所有模块后进行 30 题测评，合格者颁发《信息安全与 AI 防护》数字证书。

2️⃣3 参与方式

  • 报名渠道：公司内部协同平台统一报名，限额 500 人/批次，先到先得。
  • 时间安排：2026 年 3 月 5 日至 3 月 20 日，每周二、四晚 20:00‑21:30 开设直播课程。
  • 激励机制：完成全部培训并通过测评的员工将获得 “安全先锋” 称号，年度绩效考核加分，并有机会参与公司内部的 AI 安全实验室 项目。

如《孟子·告子下》所言：“得其所哉，能就业劳之者。”只有把安全知识转化为实际操作能力，才能在日常工作中真正“业”出安全、实现价值。

3️⃣ 从“防御”到“主动”：打造企业级 AI 安全生态

3.1 建立 AI 安全治理框架

  • 策略层：制定《生成式 AI 使用与安全规范》，明确内部 API 调用、数据输入、输出审计的责任人。
  • 技术层：部署 AI 内容安全检测系统（如 OpenAI 的 Moderation API、Google 的 SafeSearch），实现模型输出的实时过滤。
  • 审计层：通过 统一日志平台（如 ELK、Splunk）对所有 AI 调用进行聚合、关联、异常检测。

3.2 强化 供应链安全

  • 对外部 AI SaaS 供应商进行安全资质审查（ISO 27001、SOC 2），并在合同中加入数据保密、模型安全的条款。
  • 实施 “双向审计”：既审计供应商的安全措施，也审计内部对供应商服务的使用合规性。

3.3 推动 安全研发（SecDevOps）

  • 在开发流程中加入 AI 代码审计 步骤，使用 静态分析工具 检测 AI 生成代码的潜在漏洞。
  • 引入 自动化安全测试（如模糊测试），对 AI 接口进行 压力测试 与 对抗样本 测评。

3.4 培育 安全文化

  • 每季度举办一次 AI 安全红蓝对抗赛，让安全团队（蓝）与渗透团队（红）围绕模型提取、AI 恶意使用展开攻防。
  • 推行 “安全午餐会”，邀请内部或外部专家分享最新的 AI 攻防案例，形成知识共享的闭环。

正如《礼记·大学》所言：“格物致知，正心诚意”。只有把 技术细节（格物）转化为 组织共识（致知），才能在 AI 时代实现 安全与创新的双赢。

4️⃣ 行动召唤：从今天起，让安全成为每一次点击的默认选项

  • 立即检查：打开公司内部门户，确认自己的 AI API 密钥是否已绑定多因素认证。
  • 马上报名：登录协同平台，参加即将开启的 信息安全意识培训，把案例中的教训转化为自己的防御武器。
  • 积极反馈：在培训结束后提交意见反馈，帮助我们不断优化安全课程，让每一次学习都更有针对性。

“防微杜渐，先知先行”。 只要每一位同事都把安全意识落实到日常操作中，企业在面对 AI 时代的风暴时，便能从容不迫、稳步前行。

让我们以智慧与警觉，为企业的数字化转型保驾护航。
让安全成为每一次创新的基石，让每一位职工都成为信息安全的守护者！

在日益复杂的网络安全环境中，昆明亭长朗然科技有限公司为您提供全面的信息安全、保密及合规解决方案。我们不仅提供定制化的培训课程，更专注于将安全意识融入企业文化，帮助您打造持续的安全防护体系。我们的产品涵盖数据安全、隐私保护、合规培训等多个方面。如果您正在寻找专业的安全意识宣教服务，请不要犹豫，立即联系我们，我们将为您量身定制最合适的解决方案。

  • 电话：0871-67122372
  • 微信、手机：18206751343
  • 邮件：info＠securemymind.com
  • QQ: 1767022898

AI 时代的安全警钟：从“智能间谍”到“自生恶意”——职工信息安全意识必修课

admin

“防微杜渐，未雨绸缪。”古人以先见之明警示天下，今日我们面对的却是由机器学习与生成式大模型编织的全新攻击画卷。2025‑2026 年间，多起以 Gemini 为核心的国家级网络攻击案例，犹如一面面警示牌，提醒每一位职场人：信息安全不再是 “后台” 的事，而是每一次键盘敲击、每一次聊天对话、每一次模型调用都潜在的风险点。下面，我将通过 两个典型案例，从技术细节、攻击链路、组织损失以及防御思考四个维度，展开深度剖析，帮助大家在日常工作中牢牢把握安全底线。

案例一：伊朗 APT42 利用 Gemini 生成“乔装”邮件，构建可信前置

1. 背景与动机

2025 年第三季度，Google Threat Intelligence Group（GTIG）披露：伊朗政府支持的 APT42 在一次针对中东能源企业的攻击中，首次将 Gemini 大语言模型（LLM） 嵌入邮件收集与社交工程环节。该组织的核心目标是获取企业高层管理者的内部邮箱地址，从而伪装成 “业务合作伙伴” 进行钓鱼。

2. 攻击链路

步骤 描述 AI 角色
(1) 目标筛选 使用公开情报平台（如 LinkedIn、企业官网）搜集潜在企业名单。 Gemini 通过自然语言查询，实现多维度过滤。
(2) 邮箱生成 输入 “查找 X 公司 CEO 的官方邮箱格式”，Gemini 返回常见企业邮箱规则（如 [email protected]）并自动拼接。 通过 Prompt Engineering，快速生成 300+ 可能邮箱。
(3) 社交工程脚本编写 Gemini 基于收集的公开信息，撰写一封自洽的合作邀请函，巧妙嵌入链接。 自动化撰写高仿真钓鱼文案，语言流畅且专业。
(4) 邮件投递与追踪 使用自建邮件投递平台批量发送，配合回执追踪。 AI 生成的脚本包括回执监控逻辑，实时过滤成功投递。
(5) 后续渗透 成功获取凭证后，部署 Cobalt Strike 并横向移动。 前期 AI 助力降低手工成本，加快渗透速度。

3. 实际影响

  • 邮件投递成功率 达到 28%，远高于传统钓鱼的 5%‑10% 区间。
  • 凭证泄露 造成目标企业内部网一次性被窃取约 1.2 TB 的业务数据，价值数千万美元。
  • 品牌声誉受损：媒体曝光后，该企业股价在一周内下跌 6%。

4. 教训与防御要点

  1. 邮件地址枚举的风险：传统的 “阻止外部邮件” 已不足以应对 AI 生成的精准地址。应实施 邮件域名验证 (DMARC、SPF、DKIM) 并使用 AI 驱动的邮件异常检测（如邮件频率、语言模型偏差监控）。
  2. 内容相似度检测：利用本地 LLM 对外部邮件文本进行相似度打分，结合 机器学习的文本指纹（如词向量漂移），及时拦截高仿真钓鱼。
  3. 员工安全意识培训：强化“不轻信未知附件、链接”的行为准则，演练 AI 生成的钓鱼案例，让每位员工在真实情境中练习辨识。
  4. 最小权限原则：即使凭证被泄露，也应通过 细粒度权限控制 将横向渗透的空间压到最低。

正所谓“杞人忧天”，若我们只担心传统攻击而忽视 AI 赋能的“智能间谍”，最终将被对手的“智能刀刃”划破防线。

案例二：Honestcue 恶意软件利用 Gemini API 动态生成 C# 代码，实现文件无痕执行

1. 背景与动机

2025 年 9 月，GTIG 报告发现一种新型 文件无痕（fileless） 恶意软件 Honestcue，其核心创新点在于 实时调用 Gemini API，利用云端生成的 C# 代码在受害者机器上 内存执行，从而规避传统签名与行为监控。

2. 技术实现细节

  1. 初始投放：通过钓鱼邮件或恶意广告（malvertising）植入一段 PowerShell 脚本。
  2. API 认证：脚本中硬编码或从受害者机器上爬取的 API Key，用于向 Gemini 发送 “生成 C# 代码，用于下载并执行 payload” 的请求。
  3. 代码生成：Gemini 接收到 Prompt（包含目标 URL、加密方式），返回一个完整的 C# 程序，内部包含 AES 加密的 payload 与 自解密执行逻辑。
  4. 内存加载：PowerShell 使用 Add-Type 将返回的 C# 代码编译成内存 DLL，并调用 Invoke-Expression 直接运行，整个过程不落磁盘。
  5. 持久化与横向：执行完毕后，Honestcue 再次调用 Gemini，生成 WMI 持久化脚本 与 网络扫描模块，完成后续渗透。

3. 攻击效果

  • 检测率低：在 30 家受测企业的 AV/EDR 环境中，仅有 2% 检测到异常，主要因为代码在生成后立即执行，未触发签名匹配。
  • 快速迭代：攻击者可通过更改 Prompt，实现 即时变种（如改写加密方式），有效对抗基于哈希的黑名单。
  • 潜在危害：一次成功渗透后，可在内部网络播散勒索软件、窃取敏感数据或进行长期间谍活动。

4. 防御建议

  • API 访问审计：企业网络应 阻断未经授权的外部 LLM API 调用，对所有出站 HTTPS 流量进行 深度包检测（DPI），识别异常的 JSON Prompt 与 返回代码。
  • 脚本执行限制：通过 PowerShell Constrained Language Mode、AppLocker 或 Windows Defender Application Control (WDAC)，限制 Add-Type、Invoke-Expression 等高危 PowerShell 功能。
  • 内存行为监控：部署能够识别 内存注入、代码即生成即执行（Code Injection）模式的 EDR，重点关注 非签名 DLL 加载 与 不寻常的网络请求。
  • 最小化云凭证：对内部研发或运维使用的 API Key 实行 最小权限，并使用 短期令牌（短期有效期）降低泄漏带来的危害。

如古语云：“防患于未然”。在 AI 算力如此之高的今天，技术防线 必须与 意识防线 同步升级，否则即便拥有最先进的检测系统，也可能在 AI 生成的“瞬时代码”面前失效。

信息化、智能体化、机器人化的融合趋势：安全形势的“复合弹”

1. 信息化——数字资产的海量增长

过去十年，企业内部业务系统从 ERP、CRM 向 云原生微服务 迁移，数据中心规模翻了三番。实时业务决策依赖 大数据平台 与 BI 报表，每一次数据写入都是潜在的攻击入口。

2. 智能体化——AI 助手成为工作伙伴

  • 智能客服、虚拟助理 已渗透到客服、销售、HR 等部门。
  • 生成式 AI（如 Gemini、ChatGPT） 被用于 代码生成、文档撰写、情报分析。
  • AI Agent 能在企业内部自主巡检、故障定位，甚至 自动化修复。

这些智能体在提高效率的同时，也 暴露出“身份伪装”和“权限滥用” 的新风险。如果攻击者成功冒充企业内部的 AI 助手，即可获得 高信任度 与 广泛访问权限。

3. 机器人化——自动化系统的实际场景

  • 生产线机器人、物流搬运 AGV、无人机巡检 等硬件系统正通过 边缘 AI 实现自主决策。
  • 机器人系统往往 与 SCADA、MES 系统深度耦合，一旦被植入恶意指令，可能导致 产线停摆、物理破坏。

4. 融合的安全挑战

  • 跨域攻击链：攻击者可先入侵聊天机器人（智能体），再借助其对业务系统的 API 调用权限进行横向渗透。
  • 模型提取与再利用：如案例中所示，攻击者通过 模型提取（Model Extraction Attack） 窃取企业内部大模型，进而生成针对性的攻击脚本。
  • AI 生成的社交工程：从 “AI 生成的邮件” 到 “AI 生成的视频深度伪造”，全链路的 “可信度提升” 让传统防御失效。

因应之策 必须是 技术+人文 双轮驱动：在技术上实施 零信任、AI 监控、行为分析；在人文上通过 持续的安全意识培训，让每位员工成为 “安全第一线” 的 主动防御者。

邀请您加入“信息安全意识提升计划”——一起筑牢数字护城河

1. 培训目标与核心模块

模块 目标 关键技能
AI 取证与防御 认识生成式模型的攻击手法，掌握对抗技巧 Prompt 监控、模型调用审计、异常行为检测
社交工程实战演练 通过模拟钓鱼、AI 生成的深度伪造邮件，提高辨识能力 逆向思维、邮件头部分析、风险报告
零信任与最小权限 构建基于身份的动态访问控制，避免特权滥用 动态授权、属性基访问控制（ABAC）
机器学习安全基础 了解模型提取、对抗性样本、数据投毒的本质 数据治理、模型安全加固、监控指标
机器人与工业控制安全 识别机器人系统的潜在攻击面，落实安全加固 边缘 AI 防护、SCADA 监控、网络分段

2. 培训形式与节奏

  • 线上微课（每期 15 分钟）+ 现场研讨（每月一次）
  • 红蓝对抗实验室：使用仿真环境，让学员亲自体验 AI 生成的钓鱼邮件、文件无痕恶意代码的防御与响应。
  • 安全知识闯关：结合趣味小游戏（如 “AI 迷宫”），通过答题获取积分，积分可兑换内部安全周边。

3. 参与方式

  • 报名入口：公司内部安全门户 → “信息安全意识提升计划”。
  • 培训时间：2026 年 3 月 5 日（第1期）起，连续 8 周。
  • 考核标准：完成所有模块后进行 模拟红队渗透 演练，达到 80% 以上通过率即可获颁 “信息安全守护者” 电子徽章。

4. 成果回报

  • 个人层面：提升对 AI 生成威胁的辨识与应对能力，防止因“误点链接”“随手复制代码”导致的安全事故。
  • 团队层面：通过统一的安全语言与流程，降低跨部门协同时的安全摩擦，提升整体响应速度。
  • 组织层面：构建 “全员安全、持续进化” 的文化氛围，满足监管合规（如《网络安全法》《数据安全法》）的要求，提升企业在合作伙伴眼中的信任度。

正如 《孙子兵法》 中所言：“兵者，诡道也。”但在数字战场上，“诡道” 已不再是黑客的专利， 我们每个人都必须成为 “正道” 的守护者。通过系统化的安全意识培训，让每一次键盘敲击、每一次 AI 调用，都在 安全的框架 下进行，才是真正的“赢在信息化、赢在智能体化、赢在机器人化”之道。

结语：从“防火墙”到“防思维”——让安全根植于每一次想象

在过去的十年里，防火墙、入侵检测系统 已从“硬件围墙”转向 “云安全、零信任”。今天，面对 AI 生成的智能间谍 与 自生的恶意代码，我们更需要 “防思维”：让安全意识与技术层面的防护 同步进化。

  1. 想象攻击场景：每当你想到使用 Gemini 进行代码生成时，先问自己：“这段代码是否来自可信渠道？”
  2. 审视权限授予：AI 助手是否拥有 写入生产环境 的权限？如果没有，立即收回。
  3. 持续学习：AI 本身也在学习，安全团队 必须保持学习的姿态，关注 模型提取、对抗样本 等前沿攻击。

让我们把 “信息安全意识” 这把钥匙，交到每位职工手中；让 AI 与机器人 成为提升效率的伙伴，而不是开启漏洞的大门。勇于想象、敢于防范，才能在瞬息万变的数字世界中，稳坐信息安全的制高点。

“安全不是一次性的检查，而是一场永不停歇的修行。” 让我们从今天起，从每一次点击、每一次对话、每一次代码生成，践行这份修行。

一起加入信息安全意识提升计划，守护数字未来！

企业信息安全政策的制定和执行是保护公司利益的重要环节。昆明亭长朗然科技有限公司提供从政策设计到员工培训的全方位服务，确保客户在各个层面都做好安全准备。感兴趣的企业请不要犹豫，联系我们以获取更多信息和支持。

  • 电话：0871-67122372
  • 微信、手机：18206751343
  • 邮件：info＠securemymind.com
  • QQ: 1767022898