功能想象一种全新的、几乎完全未经测试的技术，能够在任何时候在最轻微的挑衅下崩溃，而不需要解释-甚至能够诊断问题.
任何有自尊的IT部门都不会参与其中，把它与任何核心系统隔离开来.
他们可能会被说服，为几个想要尝试一下的员工建立一个“沙盒”，准备在事情发生转折时启动死亡开关.
相反，如果整个世界都接受这种未经测试和不稳定的技术，将其连接到数十亿台台式机、智能手机和其他联网设备上，会发生什么？你会希望，当问题出现时--像呼吸一样自然的状况--会有某种方法来处理它们，这样当天空开始下沉时，那些可怜的IT部门就会有人可以打电话给他们.
但我学到了不同的东西.
似乎自一代人前引入万维网以来最大的技术创新，是由一群根本不严肃的人和组织创造出来的，他们似乎不了解经营软件业务意味着什么，也不想实施任何影响这种严重性所需的系统或流程.
如果这听起来像是一种非同寻常的说法，请原谅我.
我有一个非同寻常的故事要分享.
在一年多一点的时间里，我一直在研究和使用一系列大型语言模型(LLM).
大多数用户看到LLMS连接到网络界面，创建了ChatGPT、Copilot和Gemini等聊天机器人.
但其中许多模型也可以通过即付即用模式下的API访问.
通过少量的Python编码，使用这些API创建自定义应用程序就很容易了.
我们正在看到一类新的应用程序将人工智能功能--如文档摘要和搜索结果过滤--集成到更大、更复杂的应用程序中.
我有一个客户要求我帮助他构建一个工具，使他作为知识产权律师的一些最无聊的工作自动化.
该工具的某些部分需要调用属于各种美国政府服务的API--完全直截了当.
而其他部分则涉及价值判断，例如“这个看起来接近那个吗？”“关闭”没有严格的定义--与其说是规则，不如说是一种氛围.
这是一个基于人工智能的分类器应该能够执行的比特-比任何算法都要好-如果不是像人类那样有效的话.
AI时代已经迎来了一个“中等”的时代--不是很棒，但也不可怕.
这种人工智能驱动的分类器完美地落在了那个中间.
我开始为那个分类器写一个提示，从非常简单的东西开始--与我输入任何聊天机器人的提示没有太大区别.
为了在我开始使用昂贵的API调用之前对其进行测试，我将其弹出到Microsoft Copilot Pro中.
在微软品牌下，Copilot Pro位于OpenAI同类最好的型号GPT-4的顶部.
输入提示，然后按回车键.
聊天机器人一开始就很好--就它回应的前几个词而言.
然后，它陷入了一种喋喋不休的疯狂.
然后…就开始了在……上面.
不知何故，它甚至停不下来.
，好吧，我想.
这有点奇怪，我又试了一次.一样的.嗯.也许Copilot坏了？，没问题，我有几乎所有的聊天机器人-双子座，克劳德，ChatGPT ，骆驼3，Meta AI，米斯特拉尔，Mixtral.
你能想到的，我已经在云上打开了一个窗口，或者可以启动它，并在我的一台机器上本地运行它.
我想，在微软找到修复Copilot的机会之前，我会使用另一个聊天机器人，在Mixtral中输入提示.
最初的几个词很好，然后是…胡言乱语.
一而再，再而三.
所以这不只是副驾驶？，我浏览了我能接触到的每个聊天机器人--除了人类的克劳德3十四行诗--我设法打破了每一个机器人.
我现在该干啥？一方面，我有工作要做.
另一方面，我会遇到一个大的，无处不在的东西，由我相当无害的提示引起的.
我想我应该告诉别人？但是谁呢？微软在Copilot页面的底部有一个“反馈”按钮，所以我发送了一个Screensho我还联系了Groq的支持页面--一家新的LLM即服务提供商--发送了一些屏幕截图和提示符的文本.
这就是我能做的一切.
我不能完成更多的工作，直到我对这个…有了解决方案Bug？，第二天早上我醒来时收到了一封来自Groq Support：的电子邮件，外部确认-Groq已经能够在其支持的LLM中复制我的发现-完全改变了情况.
这意味着我不是在想象，也不是看到自己有什么特别的东西，而且它暗示着更严重的事情：我偶然发现了比虫子更大的东西.
来自不同提供商的模型使用不同的训练数据集、机器学习算法、硬件等.
虽然当它们装扮成聊天机器人的前端时，它们看起来都很相似，但每个都独特地反映了创建它们所用的天赋和资源.
找到影响所有人的东西不是单一实现的弱点，而是更根本的东西：一个缺陷，从表面上看这似乎是荒谬的.
变形金刚--大型语言模型背后的技术--自谷歌2017年发布《注意力就是一切你需要的纸上改造的人工智能》以来一直在使用.
作为一个大得多的代理商原型的一部分构建的一个简单的提示怎么会让一个变压器屈服呢？如果没有其他事情，我本以为LLMS的制造者以前就已经看到了这种行为，并应用了修复方法.
话又说回来，LLM处理语言--我们知道语言是无限灵活、创造性和多变的.
测试所有可能的单词组合是不可能的.
也许以前从来没有人尝试过这个？，如果是这样的话，那么我就是偶然合成了LLM氪石.
如果这是真的，我面临一个选择：我该如何处理这个强大而潜在危险的提示？提示攻击有一个巨大而隐蔽的暗网市场--一串串文本和结构化提示可以让LLM忽略它的护栏，显示受保护或恶意的信息，泄露客户数据，甚至更糟.
我不知道这个缺陷是否会产生这种行为--而且我没有接受过作为渗透测试仪的培训(也没有获得许可)，我不想试图找出答案.
我确实咨询了一位白帽朋友--他对所有具有生成性的人工智能都怀有深深的反感.
他讽刺地叹了口气，建议我报告此事，就像我在一个软件包中发现了安全漏洞一样.
这是一个很好的建议，但不是一个小任务.
考虑到这个漏洞的性质--它影响了几乎所有测试过的LLM--我需要联系该领域的每个LLM供应商，除了人类.
好的，但如何联系？大多数聊天机器人在他们的网站上都提供了一个“反馈”按钮--来评论生成的回复的质量.
我用微软Copilot的这一功能报告了我的初步发现，但从未收到回复.
我应该对所有其他供应商做同样的事情吗？我怀疑，考虑到该漏洞的潜在严重性质，将其放入反馈框不会像情况似乎需要的那样安全，也不会优先考虑.
我需要直接联系这些LLM提供商，与他们的安全团队中的某个人建立联系.
通过我在微软的高层联系人，我被要求提交一份漏洞报告-微软网页上受影响产品的下拉列表甚至不包括Copilot.
我选择了“Other”，报告了这个漏洞，一天后收到了他们安全团队的回复：，这让我怀疑微软的安全团队是否对LLM内部机制和提示攻击有足够的了解，从而能够对潜在的安全漏洞进行评级.
也许吧--但我从这个回复中没有意识到情况就是这样.
在我花了大半个星期试图联系的其他几家供应商中，我不会点名(也不羞愧)任何一家，尽管我想强调几个要点：尽管我尽了最大努力将这袋燃烧的氪石交给某个可以做点什么的人，但在撰写本文时，事情仍然是这样的.
没人想听这件事，而吉恩在更大的软件开发领域，Rative AI可能是一个相当新的领域，该行业已经存在了半个多世纪.
40年前，当我开始我的职业生涯时，我花了很大一部分时间处理来自使用我们软件的客户的所有错误报告.
(我曾经花了三个月的时间在现场修复客户的错误.
)客户购买软件的期望是它会得到维护和支持.
这是他们购买的一部分.
合同条款可能会有所不同，但从本质上讲，客户是在期望它会起作用的情况下购买东西的.
如果它坏了--或者不像承诺的那样工作--它将被修复.
如果这种情况没有发生，客户有充分的理由要求退款--甚至可能是退款.
我工作过的一家最成功的软件公司有一个规模合理的质量保证部门，它是任何客户错误报告的切入点.
QA会尽其所能复制这些错误，并将它们记录下来，然后将它们传递给工程人员进行解决.
如果错误有严重的评级，我们会暂停手头的开发任务来解决错误.
不太严重的错误将被列入优先列表，在时间允许的情况下解决，并在下一次软件更新中推出修复程序.
对于任何在软件行业工作过的人来说，所有这些听起来都不会有什么了不起的.
类似的过程必须存在于制作生成性人工智能模型的软件开发人员中.
如果没有这样的过程，从设计到产品的进步是不可能的.
细菌会大量繁殖，直到一切陷入停顿.这是必要的.然而，这些实验室的客户似乎缺乏任何明显的渠道来提供对这些产品的反馈.
尽管这可能是一个可以原谅的疏忽，因为作为一种商业主张，人们按API使用的“令牌”付费，这似乎是一个根本性的操作失误.
为什么所有这些网站上都没有一个红色的大按钮，当出现问题时可以按下？为什么让这些公司意识到客户非常真实的问题这么难呢？毫无疑问，其中一些问题是很大的--一份10亿美元的合同无疑有助于吸引这些公司的注意力.
然而，在接下来的几年里，大多数创新将发生在小公司内部，就像我们看到的在20世纪90年代末涌现的数千家“网络机构”一样.
大型人工智能公司让较小的客户很难报告漏洞，从而阻碍了它们自己增长市场的能力.
这是糟糕的做法，糟糕的业务--而且很危险.
这些未打补丁的漏洞构成了潜在的安全威胁，影响着他们的所有客户，无论大小.
人工智能公司喜欢谈论“调整”的想法--解释他们的模型是如何被训练和调整的，这样他们就不会造成伤害.
这是必要的，但还不够.
有缺陷的模型可能是无害的，但也可能是危险的.
这似乎就是我们现在所处的境地：构建具有“武器级”内容的应用程序--完成已经被驯服、但没有被拔牙的人工智能.
给它错误的提示，那些强大的大嘴巴可能会突然关闭.
在这些公司关闭供应商和客户之间的环路之前，他们强大的产品不能被认为是安全的.
正如他们所说，强大的力量伴随着巨大的责任.
要被视为负责任的人，人工智能推动者需要仔细倾听，明智判断，并迅速采取行动.
®，由于这个有问题的提示的不确定性质，我们在现阶段不会公布更多的细节.
如果任何模型制造者想要联系它，请在这里随意.