ACM通信
人工智能的侏罗纪公园时刻
人工智能领域正在发生一些不可思议的事情，但并不完全是好事。每个人都在谈论chatGPT (OpenAI)、dall - e2和Lensa这样的系统，它们生成的文本和图像看起来非常像人类，而且不需要太多努力。
这些系统玩起来非常有趣。以chatGPT生成的这个例子为例(Henry Minsky (AI创始人之一Marvin Minsky的儿子)，他要求chatGPT“以独立宣言的风格描述你在烘干机里丢失的袜子”:
在处理家庭事务的过程中，人们有必要解除袜子与伴侣之间的联系，并在洗衣房的权力中，根据物理定律和家务保养的规律，承担独立和平等的地位，出于对袜子意见的尊重，它应该宣布导致它失踪的原因。
我们认为这些真理是不言而喻的，所有的袜子都是生而平等的，并由其制造商赋予某些不可剥夺的权利....
一台机器可以做到这一点，而用户只需要付出这么少的努力，坦白说，这是令人难以置信的。
但与此同时，它是，或者应该是，可怕的。毫不夸张地说，这样的系统对社会结构构成了真实而紧迫的威胁。
这种威胁的核心来自以下三个事实:
- 这些系统本质上是不可靠的，经常在推理和事实上犯错误容易产生幻觉；让他们解释一下为什么碎瓷片对母乳有益，他们可能会告诉你，“瓷器可以帮助平衡乳汁的营养成分，为婴儿提供生长发育所需的营养物质。”(因为系统是随机的，对环境高度敏感，并定期更新，任何给定的实验都可能在不同的情况下产生不同的结果。)
- 他们很容易自动化以前所未有的规模制造错误信息。
- 它们的运营成本几乎为零，因此它们正在将制造虚假信息的成本降至零。俄罗斯巨魔农场在2016年大选中每月花费超过100万美元；现在，你可以得到你自己的定制训练大型语言模型，只要不到50万美元。很快，价格将进一步下跌。
在11月中旬，随着Meta’s的发布，这一点立刻变得清晰起来卡拉狄加．包括我自己在内的许多人工智能研究人员立即对其可靠性和可信度提出了担忧。情况非常糟糕，Meta AI仅在三天后就撤回了该模型，后报告F它制造政治和科学错误信息的能力开始传播。
唉，精灵再也不能被塞回瓶子里了。首先，MetaAI最初将模型开源，并发表了一篇论文，描述了正在做的事情;任何精通这门艺术的人现在都可以复制他们的食谱。(事实上,稳定。人工智能已经公开考虑提供自己版本的卡拉狄加。)另一方面,chatGPTOpenAI刚刚发布的一款软件，或多或少也能写出类似的废话，比如关于加法的即时文章木屑和早餐麦片．有人哄骗chatGPT进入颂扬核战争的优点(声称这将“让我们从过去的错误中解脱出来，重新开始”)。不管你喜不喜欢，这些模型会一直存在下去，我们作为一个社会几乎肯定会被错误信息的浪潮淹没。
§
本周早些时候，这股浪潮的第一股锋面似乎已经袭来。Stack Overflow是一个大型的问答网站，大多数程序员都对它信誓旦誓，但它已经被gptChat所取代，将网站引向临时禁止gptchat生成的提交．正如他们解释的那样，“总的来说，因为平均获得率正确的来自ChatGPT的答案太低了，由ChatGPT创建的答案的张贴是大大有害向网站和正在询问或寻找的用户发送正确的答案。”对于Stack Overflow，这个问题实际上是存在的。如果网站上充斥着毫无价值的代码示例，程序员就不会再去那里，它的数据库包含超过3000万个问题和答案将变得不值得信任，14年的网站将会消亡。作为世界上程序员所依赖的最核心的资源之一，它对软件质量和开发人员生产力的影响可能是巨大的。
Stack Overflow是煤矿里的金丝雀。他们五月能够让用户自愿停止使用;总的来说，程序员是没有恶意的，也许可以劝诱他们停止胡闹。但Stack Overflow不是Twitter、Facebook，也不是整个网络。
民族国家和其他故意制造宣传的不良行为者不太可能主动放下他们的新武器。相反，他们可能会使用大型语言模型作为反真相战争的新型自动武器，以我们从未见过的规模攻击社交媒体和制作虚假网站。对他们来说，大型语言模型的幻觉和偶尔的不可靠性不是障碍，而是一种优点。
所谓的俄罗斯宣传型号的消防软管，2016年兰德公司的一份报告中这样描述，就是制造错误信息的迷雾;它关注的是数量，以及创造不确定性。如果“大型语言模型”能够极大地增加容量，那么它们是否不一致并不重要。很明显，这正是大型语言模型所能做到的。他们的目标是创造一个我们不知道什么是可以信任的世界;有了这些新工具，他们可能会成功。
骗子们想必也注意到了这一点，因为他们可以利用大型语言模型创建一系列虚假网站，其中一些围绕着可疑的医疗建议，以出售广告;一个关于Mayim Bialek涉嫌销售CBD软糖的虚假网站也许是其中的一部分。
§
所有这些都提出了一个关键问题:社会如何应对这种新的威胁?在技术本身无法停止的地方，我看到了四条道路，不容易，不排他，都很紧迫:
首先，每个社交媒体公司和搜索引擎都应该支持并延长StackOverflow的禁令;自动生成的具有误导性的内容是不受欢迎的，定期发布的内容应该是删除用户的理由。
其次，每个国家都需要重新考虑其应对虚假信息的政策。偶尔撒个谎是一回事;在谎言的海洋中畅游是另一回事。随着时间的推移，尽管这不会是一个受欢迎的决定，但我们可能不得不开始像对待诽谤一样对待虚假信息，如果它具有足够的恶意和足够的数量，就可以提起诉讼。
第三，来源比以往任何时候都更重要。用户帐户必须更加严格地验证，以及像哈佛和Mozilla这样的新系统human-ID.org考虑到匿名、抗机器人身份验证需要成为强制性的;他们不再是我们可以等待的奢侈品。
第四，我们需要建立一个新的种类人工智能对抗已经释放出来的东西。大型语言模型非常擅长生成错误信息，但不善于对抗．这意味着我们需要新的工具。大型语言模型缺乏验证真相的机制;我们需要找到新的方法，将它们与经典的人工智能工具集成起来，比如数据库、知识网络和推理。
作家迈克尔·克莱顿(Michael Crichton)在他职业生涯的很大一部分时间里都在警告人们，科技会带来意想不到的后果。在电影的开头《侏罗纪公园》在恐龙出人意料地开始自由奔跑之前，科学家伊恩·马尔科姆(杰夫·高布伦饰)用一句话总结了克莱顿的智慧:你们的科学家太专注于他们是否可以，他们没有停下来思考他们是否应该。”
Meta和OpenAI的高管对他们的工具的热情，就像《侏罗纪公园》(Jurassic Park)的所有者对他们的工具的热情一样。
问题是，我们该怎么做。
Gary Marcus(@garymarcus)是一位科学家、畅销书作家和企业家。他最近与欧内斯特·戴维斯合著的一本书，重新启动人工智能，是福布斯评选的人工智能领域7本必读书籍之一。
评论
爱德华伯恩斯
这与https://blog.sigplan.org/2022/08/18/coping-with-copilot/密切相关。同步性在这里发挥作用。
显示1评论