随着人工智能（AI）技术的迅猛发展，AI系统在各个领域的应用越来越广泛。然而，AI系统在训练和推理过程中面临的数据泄露风险也日益增加。数据泄露不仅可能导致个人隐私被侵犯，还可能对企业和组织造成严重的经济损失和声誉损害。因此，防范AI训练和推理中的数据泄露风险成为信息安全领域的一个重要课题。对此，昆明亭长朗然科技有限公司网络安全研究专员董志军表示：在数据泄露面前，人们经常会问到底是技术有罪，还是人类有罪？大量的事故原因分析显示人的失误占绝对高的比例。如下我们将探讨如何防范这些风险，并强调用户的安全意识在其中扮演的重要角色。

数据泄露风险的来源

在AI系统的训练和推理过程中，数据泄露风险主要来自以下几个方面：

1. 数据收集和存储：AI系统需要大量的数据进行训练，这些数据可能包含敏感信息。如果数据收集和存储过程中没有采取适当的安全措施，数据可能会被未经授权的个人或组织获取。
2. 模型训练：在模型训练过程中，数据可能会被泄露。例如，训练数据中的敏感信息可能会被模型无意中学习到，并在推理过程中暴露出来。
3. 模型推理：在模型推理过程中，输入数据可能会被泄露。例如，用户输入的敏感信息可能会被模型记录下来，并在后续的推理过程中被泄露。
4. 第三方服务：许多AI系统依赖于第三方服务进行数据处理和存储。如果这些第三方服务没有采取适当的安全措施，数据可能会被泄露。

防范数据泄露的技术措施

为了防范AI训练和推理中的数据泄露风险，可以采取以下技术措施：

1. 数据加密

数据加密是防范数据泄露的基本措施。在数据收集、存储和传输过程中，应采用强加密算法对数据进行加密。这样，即使数据被未经授权的个人或组织获取，他们也无法解密和读取数据。

2. 数据匿名化

数据匿名化是指将数据中的敏感信息进行匿名处理，使得数据无法被追溯到具体的个人或组织。例如，可以对数据中的姓名、地址、电话号码等敏感信息进行匿名处理。这样，即使数据被泄露，也不会对个人隐私造成威胁。

3. 差分隐私

差分隐私是一种保护数据隐私的技术，通过在数据中添加噪声，使得数据的统计特性不会显著改变，但个体的隐私信息得到保护。差分隐私技术可以应用于AI模型的训练过程中，防止模型无意中学习到敏感信息。

4. 联邦学习

联邦学习是一种分布式机器学习方法，允许多个参与方在不共享数据的情况下共同训练AI模型。联邦学习可以有效地防止数据泄露，因为数据始终保存在各自的参与方手中，不会被传输到其他地方。

5. 安全多方计算

安全多方计算是一种加密技术，允许多个参与方在不泄露各自数据的情况下共同计算结果。安全多方计算可以应用于AI模型的训练和推理过程中，防止数据在计算过程中被泄露。

用户安全意识的重要性

除了技术措施，用户的安全意识在防范数据泄露风险中也扮演着重要角色。用户是数据的最终使用者和管理者，他们的行为和意识直接影响到数据的安全性。以下是一些提高用户安全意识的建议：

1. 教育和培训

用户需要接受有关数据安全的教育和培训，了解数据泄露的风险和防范措施。例如，可以通过培训课程、在线教程和安全意识宣传活动等方式，提高用户的安全意识。

2. 使用强密码

用户应使用强密码来保护自己的账户和数据。强密码应包含大小写字母、数字和特殊字符，并且应定期更换。此外，用户还可以使用双因素认证（2FA）来增加账户的安全性。

3. 谨慎分享信息

用户在使用AI系统时，应谨慎分享自己的敏感信息。例如，在输入个人信息时，应确保系统是可信赖的，并且数据将被安全处理。用户还应避免在公共场所或不安全的网络环境中输入敏感信息。

4. 定期检查和更新

用户应定期检查和更新自己的设备和软件，确保它们处于最新的安全状态。例如，应及时安装操作系统和应用程序的安全补丁，防止漏洞被利用。

5. 报告可疑活动

用户在使用AI系统时，如果发现任何可疑活动或数据泄露迹象，应立即向相关部门报告。例如，可以向系统管理员或安全团队报告可疑活动，以便及时采取措施进行处理。

结论

防范AI训练和推理中的数据泄露风险是一个复杂的问题，需要综合采取技术措施和提高用户安全意识。通过数据加密、数据匿名化、差分隐私、联邦学习和安全多方计算等技术手段，可以有效地防止数据在AI系统中被泄露。同时，用户的安全意识也至关重要，通过教育和培训、使用强密码、谨慎分享信息、定期检查和更新以及报告可疑活动等方式，可以进一步增强数据的安全性。

在未来，随着AI技术的不断发展，数据泄露风险可能会变得更加复杂和多样化。因此，我们需要不断研究和开发新的防范措施，并持续提高用户的安全意识，共同应对这一挑战。只有这样，才能确保AI系统在提升效率和创新能力的同时，也能保护好用户的隐私和数据安全。

昆明亭长朗然科技有限公司专注于帮助各类型的组织机构持续提升员工们的安全意识，以应对各类传统的和未来的安全威胁，欢迎有兴趣的读者联系我们，预览我们的安全意识产品和体验我们的在线安全意识服务。

昆明亭长朗然科技有限公司

• 电话：0871-67122372
• 手机：18206751343
• 微信：18206751343
• 邮箱：[email protected]
• QQ：1767022898

网络安全公司CrowdStrike软件更新引发了全球性Windows设备崩溃事件。该事件源于一个名为“Channel File 291”的内容验证问题，一个人的失误导致了数百万台Windows设备受到影响。对此，昆明亭长朗然科技有限公司网络安全专员董志军表示：外部黑客都搞不出的危害，内部威胁的一个简单的变更失误就能达成，强烈的对比即具讽刺意味又值得人们反思。

根本原因分析

此次事件的根本原因在于CrowdStrike引入了一个新的Template Type，旨在提高对滥用命名管道和其他Windows进程间通信（IPC）机制的新攻击技术的可见性和检测能力。然而，在实施过程中出现了参数数量不匹配的问题，即Content Validator通过IPC Template Type传递给Content Interpreter的输入参数数量不一致。具体来说，Content Validator传递了21个输入参数，而Content Interpreter只期望接收20个。

由于在测试阶段未能发现这一不匹配，导致在7月19日推送的Channel File 291更新中出现了问题。当传感器接收到含有问题内容的新版本Channel File 291时，它们暴露于Content Interpreter的一个潜在越界读取问题中。当操作系统发出下一个IPC通知时，新的IPC Template Instances被评估，并尝试比较第21个输入值，而Content Interpreter只期望接收20个值。因此，尝试访问第21个值导致了越界内存读取，超出了输入数据数组的边界，最终导致系统崩溃。

安全管理控制措施

为了防止类似事件再次发生，CrowdStrike采取了以下措施：

1. 编译时验证输入字段数量：在编译传感器时验证Template Type中的输入字段数量。
2. 运行时输入数组边界检查：添加运行时输入数组边界检查，以防止Content Interpreter进行越界内存读取。
3. 修正输入参数数量：修正IPC Template Type提供的输入参数数量。
4. 增加测试覆盖率：在开发Template Type时增加测试案例，特别是非通配符匹配条件的测试。
5. 修改Content Validator：增加新的检查，确保Template Instances的内容不会包含超过Content Interpreter期望输入数量的匹配条件。
6. 更新Content Configuration System：更新测试程序，确保每个新的Template Instance都经过测试。
7. 增强部署层和接受检查：增加额外的部署层和接受检查。
8. 客户控制权增强：更新Falcon平台，为客户提供更多控制权，以便他们能够自主决定Rapid Response Content的交付。
9. 第三方审查：聘请两家独立的第三方软件安全供应商进行代码审查，以确保安全性和质量。
10. 与微软合作：与微软合作，探索新的安全功能实现方式，减少对内核驱动程序的依赖。

信息安全的人因要素

此次事件凸显了信息安全领域中的人因要素的重要性。虽然技术问题是根本原因，但缺乏全面的测试和验证流程、以及未能及时识别和修复问题也起到了推波助澜的作用。这表明即便是在高度专业化的安全公司中，人因要素也不容忽视。

网络安全培训内容

为了提高员工的安全意识，组织可以提供以下方面的培训：

• 基础网络安全概念：包括网络安全威胁模型、常见攻击方法等。
• 安全最佳实践：如使用复杂密码、双因素认证等。
• 安全政策与规程：确保员工熟悉组织的安全政策和操作规程。
• 社交工程学防御：识别和抵御社会工程学攻击。
• 应急响应流程：了解在遭遇安全事件时的应急响应步骤。
• 持续教育与更新：定期更新安全知识，了解最新的威胁趋势。

为了帮助企业加强员工的安全意识，昆明亭长朗然科技有限公司提供了一套全面的安全意识培训解决方案，包括：

• 定制化培训计划：根据组织的具体需求量身定制。
• 交互式模拟：通过模拟真实的攻击场景来提高员工的实战经验。
• 持续教育平台：提供在线课程、案例分析和定期更新的安全资讯。
• 合规性监测工具：帮助组织确保员工遵守相关的安全政策和法规。

通过我们的解决方案，组织可以有效地提高员工的安全意识，减少因人为失误而导致的安全事件，从而保护组织的信息资产和声誉。如果您对该方案感兴趣，欢迎不要客气地联系我们。

• 电话：0871-67122372
• 手机：18206751343
• 微信：18206751343
• 邮箱：[email protected]
• QQ：1767022898