微软红队自 2018 年以来一直在监控 AI。以下是五个重要见解

微软正在采取措施确保其模型中的人工智能安全，并希望为其他公司树立榜样。

在过去的六个月里，人工智能的积极影响比以往任何时候都更加突出，但风险也同样突出。

在最好的情况下，人工智能使人们能够更轻松地完成日常任务，甚至在不同行业中创造突破，彻底改变工作方式。 

然而，在最坏的情况下，人工智能可能会产生错误信息产生有害或歧视性内容并带来安全和隐私风险。因此，在模型向公众发布之前执行准确的测试至关重要，微软已经这样做了五年。

在ChatGPT 热潮开始之前，AI 已经是一项有影响力的新兴技术，因此，微软在 2018 年组建了一支 AI 红队。 

微软表示，人工智能红队由跨学科专家组成，致力于通过“像攻击者一样思考”和“探测人工智能系统的故障”来调查人工智能模型的风险。 

推出近五年后，微软正在 分享 其红队实践和经验教训，为负责任的人工智能的实施树立榜样。该公司表示，必须在基础模型级别和应用程序级别测试人工智能模型。

微软表示：“这两个级别都有自己的优势：例如，对模型进行红队分析有助于在流程的早期识别模型如何被滥用，确定模型的功能范围，并了解模型的局限性。”

该公司分享了该公司从五年经验中获得的关于人工智能红队的五个关键见解。

首先是人工智能红队的广泛性。AI 红队不是简单的安全测试，而是一系列技术，用于测试公平性和有害内容的生成等因素。 

第二是需要关注恶意和良性角色的失败。尽管红队通常关注恶意行为者如何使用该技术，但测试它如何为普通用户生成有害内容也很重要。

“在新的必应中，人工智能红队不仅关注恶意对手如何通过以安全为中心的技术和漏洞来颠覆人工智能系统，而且还关注当普通用户与系统交互时系统如何生成有问题和有害的内容，”微软说。 

第三个见解是人工智能系统在不断发展，因此有必要在多个不同级别对这些人工智能系统进行红队，这就引出了第四个见解：对生成式人工智能系统进行红队需要多次尝试。 

每次与生成式人工智能系统交互时，您可能会得到不同的输出；因此，微软发现，必须多次尝试红队，以确保系统故障不会被忽视。  

最后，微软表示，缓解人工智能故障需要深度防御，这意味着一旦红队发现问题，将采取多种技术缓解措施来解决该问题。 

微软采取的措施应该有助于缓解人们对新兴人工智能系统的担忧，同时也有助于减轻这些系统所涉及的风险。