ACM通信
AGI的火花?还是科学的终结?
"骄傲在败坏以先，狂傲在跌倒之前"
——箴言16:18
微软发布了一个新闻稿昨天，打着科学的旗号，声称GPT-4是“人工通用智能(AGI)系统的早期(但仍不完整)版本”。这是一个愚蠢的说法，因为它完全可以被解释(计算器可以被认为是早期但不完整的AGI版本吗?伊莉莎怎么样?Siri吗?)这种说法在严肃的科学同行评议中是站不住脚的。但为了防止有人错过重点，他们发布了一条类似的、更具自我推销意味的推文:
正如你所料，粉丝们一如既往地滔滔不绝:
还有一些可靠的临界点:
但我不会像往常一样一一批评你，因为还有一个更深层次的问题。正如我之前所说，我真的不认为GPT-4与AGI有太多关系。GPT-4的优点和缺点在性质上与以前相同。幻觉的问题还没有解决;可靠性没有得到解决;对复杂任务的规划(正如作者自己承认的那样)并没有解决。
但最近几天，有一个更严重的担忧一直在我脑海中形成，它分为两部分。
首先，OpenAI和微软的两大论文都是关于一个模型的，这个模型什么都没有透露，包括架构和训练集。没什么。它们体现了用新闻稿代替科学的做法，以及用完全未公开的机制和数据讨论模型的做法。
想象一下，如果某个怪人说，我有一个非常棒的想法，你应该给我很多科学可信度，但我不会告诉你它是如何工作的，只会向你展示我的模型的输出。您可以将邮件存档，而无需进一步阅读。这篇论文的核心观点是:“GPT-4通过其核心心智能力(如推理、创造力和演绎)获得了一种形式的一般智力。”-实际上无法通过严格的审查来测试，因为科学界无法获得训练数据。每件事都必须凭信念去做(然而已经有了培训数据中是否有污染报告）.
更糟糕的是，正如Ernie Davis昨天告诉我的那样，OpenAI已经开始将用户实验纳入训练语料库，扼杀了科学界测试最关键问题的能力:这些模型推广到新的测试用例的能力。
如果这些公司不假装自己是科学的贡献者，用图表和摘要把他们的工作作为科学来编排，就好像他们在报告经过适当审查的想法一样，也许这一切都没问题。我并不指望可口可乐会展示它的秘密配方。但我也不打算为我们一无所知的所谓进展提供科学可信度。
事情是这样的，如果可口可乐想要保守秘密，那没问题;知道确切的公式并不特别符合公众利益。但是，如果他们突然引入一种新的自我改善的公式，原则上有可能终结民主，或给人们可能致命的医疗建议，或引诱人们从事犯罪行为，那该怎么办?在某些时候，我们会希望举行公开听证会。
微软和OpenAI正在推出非常强大但不可靠的系统，这些系统有多种已披露的风险，而且没有明确的安全措施，也没有如何限制它们。通过将科学界排除在对这些模型的设计和功能的任何认真的洞察之外，微软和OpenAI将公众置于这两家公司所处的位置独自一人是否有能力对他们给我们所有人带来的风险采取任何措施。
这不能也不应该继续下去。就连OpenAI的首席执行官山姆·奥特曼最近也公开表示表达了对事态发展的担忧．微软和OpenAI正在大规模生产和部署具有潜在巨大风险的产品，并对这些产品发表了奢侈的、未经审查的和无法审查的声明，而没有对他们自己发现的任何潜在问题提出认真的解决方案。
我们必须要求透明度，如果我们得不到透明度，我们必须考虑关闭这些项目。
Gary Marcus(@garymarcus)是科学家、畅销书作家和企业家，他对当前的人工智能深感担忧，但真的希望我们能做得更好。
没有找到条目