企业内部人士滥用人工智能的风险给合规部门带来挑战

主要收获：

• 这篇文章的一个版本也出现在2024年3月1日的《纽约大学合规与执法》上。请在此处访问该版本。
• 人工智能工具为流氓员工提供了颠覆数据控制以谋取个人利益的新方法。
• 公司应考虑更新检测和应对可疑情况的培训。
• 合规部门应考虑对某些高风险系统实施零信任架构。
• 公司应考虑对高风险人工智能系统使用的信息进行审计和版本控制，以更好地检测和补救这些系统的任何不当更改。

我们最近强调，公司需要管理与采用人工智能技术相关的风险，包括恶意使用实时deepfakes（即模拟真人的人工智能生成的音频或视频）。在这篇文章中，我们讨论了三种值得企业合规部门特别关注的与人工智能相关的内幕风险（即内幕深度伪造、障碍规避和模型操纵），并提出了缓解这些风险的可能方法。

Insider Deepfakes

流氓员工使用人工智能工具创建非常逼真的伪造文档以及deepfakes的能力给公司带来了新的危险。许多合规系统的设计都要求对某些员工行为进行特定的批准。例如，向新供应商支付大笔款项、更改现有收款人的银行账户、商务礼品和报销与工作相关的费用等行为通常需要某些内部批准。正如外部威胁行为者可以使用现代技术工具来规避这些控制一样，创建虚假文件、音频或视频的能力将使内部人员更容易伪造对这些措施的遵守情况。虽然内部人员更有可能被发现并对其行为负责，但他们也更有可能对安全流程和工作流程拥有特权知识，从而为破坏公司程序提供了更多机会。

我们为外部deepfake威胁建议的一些防御做法同样适用于内部威胁，例如要求对高风险交易进行双重授权。此外，内部深度伪造风险可以在公司的人工智能和网络安全桌面以及事件响应计划中解决。合规部门还可以考虑跟上深度伪造检测的发展，例如英特尔最近发布的实时检测软件。

但也许对抗内部deepfakes风险的最有效方法是培训。合规可以教会员工，人工智能技术现在可以创建非常令人信服的假文档、音频和视频，而且可以实时完成。因此，员工可能会意识到，对文件、音频或视频中提供的异常费用的任何授权都可能是欺诈性的，尤其是如果批准的行动具有以下特征之一：（a）涉及大笔资金或高度敏感信息的转移，（b）不遵循正常协议，或（c）它具有紧迫性。培训可以特别注意到，员工在获得此类授权时，即使授权似乎来自公司高管，也不会因遵守公司验证协议而面临任何不利行动。

信息障碍规避。

公司合规性通常侧重于防止对敏感信息的不当访问。因此，合规部门在其信息技术环境中实施强有力的控制，通常是通过对谁可以访问哪些信息竖起严格的“墙”。这些限制防止不允许披露敏感信息，如重大非公开信息（“MNPI”）和商业机密。

有了人工智能，这些墙壁上的缝隙变得更容易发现。例如，企业聊天机器人可以访问员工通过与人工智能系统“聊天”访问的企业内部数据。底层数据通常包括员工沟通、公司政策和程序，以及大量非结构化的公司数据。被允许访问敏感数据的聊天机器人可能会在员工甚至不知道这种可能性的情况下，在例行提示下泄露这些数据。

这些功能可能允许流氓员工使用聊天机器人故意提取MNPI或其他保密的隔离信息。这些员工可能会试图掩盖自己的行踪，让人觉得他们正在与聊天机器人进行例行互动，而事实上，他们正试图迫使系统泄露其保密信息。

一种防御措施是确保现有的信息墙和权限正确应用于其人工智能系统可用的数据。实施零信任架构，包括限制真正需要的员工访问的“最低特权”做法，也可以保护敏感数据免受人工智能的利用。有效性测试，如通过红队（即聘请专家团队调查系统的漏洞），可以帮助在部署前和部署后定期评估人工智能信息控制。根据暴露于特定工具的数据的敏感性，公司可能会考虑实施基于风险的控制措施，以检测和防止试图滥用，包括自动及时监测和上报。

模型操纵。

最后，人们越来越依赖人工智能系统来推动销售和投资模型等重要业务流程。流氓员工可能会试图篡改这些系统，例如，操纵算法来人为提高他们的性能指标。

因此，合规部门可能希望考虑限制单个员工更改其人工智能系统的能力。例如，制造商检查程序要求“检查员”批准“制造商”试图实施的任何更改。这种双重授权大大提高了检测对内部系统进行的不当更改以及无意错误的能力。

此外，合规部门可能会考虑审计其风险最高的人工智能系统的内容，并使用版本控制来检测何时进行了更改。有了这样的审计跟踪，再加上详细的访问日志，任何未经授权的更改都可以快速检测、补救和调查。

结论在讨论新技术时，往往忽略了内部威胁的风险。尽管人工智能工具有着巨大的潜力，但它们为流氓员工提供了不断发展的方式，让他们为自己的个人利益颠覆数据控制。公司可能希望在其人工智能战略中考虑这些增加的风险，并在规划控制战略时包括风险缓解。

关键要点。

• 考虑更新检测和应对可疑情况的培训。
• 考虑跟上deepfake使用和检测的发展。
• 考虑使用更强的身份验证措施，如生物识别身份验证和加密数字签名，以在某些情况下防止深度伪造。
• 考虑将现有的信息墙和权限应用于新的人工智能系统。
• 考虑为某些高风险系统实施零信任体系结构。
• 考虑实施基于风险的控制，以检测和防止试图滥用其工具（例如，可以访问MNPI的聊天机器人），包括自动监控和升级。
• 考虑对人工智能系统的任何更改实施双重授权，这将有助于防止模型操纵。
• 考虑对高风险人工智能系统使用的信息进行审计和版本控制，以更好地检测和补救这些系统的任何不当更改。