OpenACEO：巨型AI模型时代即将终结，想进步别再靠扩大规模

4月18日消息，OpenAI的聊天机器人ChatGPT可谓是功能强大，引起了人们对人工智能的极大兴趣和投资。但该公司的CEO萨姆·奥尔特曼认为，现有研究策略已经失效，未来的AI进步需要新的思路

4月18日消息，OpenAI的聊天机器人ChatGPT可谓是功能强大，引起了人们对人工智能的极大兴趣和投资。但该公司的CEO萨姆·奥尔特曼认为，现有研究策略已经失效，未来的AI进步需要新的思路。

近年来，OpenAI通过将现有的机器学习算法扩展到以前无法想象的规模，在处理语言方面取得了一系列令人印象深刻的进步。其最近开发的项目是GPT-4，据称已经使用数万亿字的文本和数千个强大的计算机芯片进行训练，耗资超过1亿美元。

但是，奥尔特曼表示，未来AI的进步不再依赖于将模型变得更大。在麻省理工学院的一次活动上，他说：“我认为，我们正处在一个时代的尽头。在（即将过去的）这个时代，模型变得越来越大。现在，我们会在其他方面让它们变得更好。”

奥尔特曼的表态意味着，开发和部署新AI算法的竞赛出现了出人意料的转折。自去年11月推出ChatGPT以来，微软就开始利用这一底层技术在其必应搜索引擎中添加了聊天机器人，谷歌也推出了名为Bard的竞争对手。许多人都迫不及待地尝试使用这种新型聊天机器人来帮助完成工作或个人任务。

与此同时，许多资金充足的初创公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量资源用于构建更大的算法，以努力赶上OpenAI的脚步。ChatGPT的初始版本是基于GPT-3构建的，但用户现在也可以访问功能更强大的GPT-4支持的版本。

奥尔特曼的陈述也暗示，采用将模型扩大并提供更多数据进行训练的策略后，GPT-4可能是OpenAI最后一项重大成果。不过，他没有透露任何可能替代当前方法的研究策略或技术。在描述GPT-4的论文中，OpenAI表示，其估计表明，扩大模型规模的回报正在减少。奥尔特曼说，该公司可以建立的数据中心数量以及建设这些中心的速度也都受到物理限制。

Cohere的联合创始人尼克·弗罗斯特（Nick Frosst）曾在谷歌从事人工智能研究，他表示，奥尔特曼所说的“不断扩大模型规模并不是无限制的有效解决方案”是正确的。他认为，针对GPT-4和其他transformers类型（编辑组：transformers直译为转换器，而GPT是Generative pre-trained transformers的简写，意思是基于转换器的生成式预训练模型）的机器学习模型，进展不再只是靠扩大规模。

弗罗斯特补充说：“有很多方法可以让transformers变得更好、更有用，而且很多方法都不涉及给模型增加参数。新的人工智能模型设计或架构，以及基于人类反馈的进一步调整，都是许多研究人员已经在探索的前进方向。”

在OpenAI的语言算法家族中，每个版本都由人工神经网络组成，这个软件的设计灵感来自于神经元之间相互作用的方式，经过训练后，它可以预测应该跟随在给定文本字符串后面的单词。

2019年，OpenAI发布了其第一个语言模型GPT-2。它最多涉及到15亿个参数，这一指标能够衡量神经元之间可调整的连接数量的大小。这个数字非常大，这在某种程度上要归功于OpenAI研究人员的发现，扩大规模使模型变得更加连贯。

2020年，OpenAI推出GPT-2的后继者GPT-3，该模型规模更大，参数高达1750亿个。GPT-3在生成诗歌、电子邮件和其他文本方面具备广泛能力，这令其他公司和研究机构相信，他们可以将自己的AI模型扩展到与GPT-3类似甚至更大的规模。

去年11月，ChatGPT首次亮相后，表情包制造者和科技专家猜测，当GPT-4问世时，它将是个拥有更多参数、更为复杂的模型。然而，当OpenAI最终宣布新的人工智能模型时，该公司没有透露它有多大，也许是因为规模不再是唯一重要的因素。在麻省理工学院的活动上，奥尔特曼被问及GPT-4的培训成本是否有1亿美元，他回答说：“不止如此。”

尽管OpenAI对GPT-4的规模和内部工作原理保密，但很可能它已经不再仅仅依赖于扩大规模来提高性能。有一种可能性是，该公司使用了名为“强化学习与人类反馈”的方法，用于增强ChatGPT的能力，包括让人类判断模型答案的质量，以引导它提供更有可能被判断为高质量的答案。

GPT-4的非凡能力让许多专家感到震惊，并引发了关于AI改变经济潜力的辩论，以及其可能传播虚假信息和制造失业的担忧。许多企业家和AI专家最近签署了一封公开信，呼吁暂停开发比GPT-4更强大的模型6个月，其中包括特斯拉首席执行官埃隆·马斯克。

在麻省理工学院的活动中，奥尔特曼证实，他的公司目前没有开发GPT-5。他补充说：“这封公开信的早期版本声称OpenAI正在训练GPT-5。实际上我们并没有这样做，短期内也不会。”（小小）