采访有时人们想滥用人工智能系统来泄露公司机密.
其他时候，他们只是想强迫LLM像海盗一样说话.
无论如何，人工智能红色团队的工作是预测某人可能会如何尝试武器化这些系统，然后帮助解决这些问题.
Ram Shankar Siva Kumar在2019年创建了微软的人工智能红色团队，远远早于ChatGPT的兴起.
库马尔和他的同事们遇到过各种各样的人工智能失败，你可以在接受下面的The Register采访时听到他们的消息.
YouTube视频，他说：“常见的误解是：人工智能红色团队可以取代所有传统的红色团队，”他说.
尽管如此，还是有一些新的担忧是非常特定于人工智能的，超出了更传统的安全故障.
这包括ML模型中的偏见或幻觉的诱因.
库马尔说，在寻找和修复这些故障时，假设不同的攻击者角色是有用的，在我们的讨论中，他给出了每个角色的例子.
他说：“人工智能红色团队的目标不仅仅是考虑目前对手的状态下可能发生的事情.
”“我们还想通过尚未显现的攻击来突破界限.”®.