OpenAI下一个旗舰模型“Orion”，其进步幅度远不如前两代旗舰模型，这直接挑战了人工智能领域一直奉行的“缩放定律”。业界正在将精力转向在初始训练之后改进模型。

随着ChatGPT和其他人工智能产品的用户数量不断攀升，支撑这些产品的核心技术——大型语言模型（LLM）的进步速度却似乎放缓了。

据科技媒体The Information报道，OpenAI开发的下一个旗舰模型“Orion”，目前已经完成20%的训练。尽管表现已接近现有的GPT-4，但进步幅度却远不如前两代旗舰模型之间的飞跃。

该媒体还援引OpenAI 的一名员工称，Orion在语言任务上表现更好，但在编码等任务上可能不会优于以前的模型。另一位知情人士表示，与最近发布的其他模型相比，OpenAI在其数据中心运行 Orion 的成本可能更高。

质量进展放缓，扩展法面临挑战

在过去几年中，LLM使用来自网站、书籍和其他来源的公开文本和其他数据进行预训练过程，这种方法虽然能在一定程度上缓解数据匮乏，但带来的质量提升有限。

OpenAI的员工表示，Orion部分接受了人工智能生成的数据训练，这些数据由其他OpenAI模型生成，包括GPT-4和最近发布的推理模型。然而，这种合成数据导致了一个新问题，即Orion最终可能会在某些方面与那些旧模型相似。

与此类似，其他一些AI公司也面临类似的问题。Meta创始人马克·扎克伯格和Databricks公司创始人Ion Stoica都指出，尽管AI技术在编码、复杂任务解决等方面继续取得进展，但在常识判断和通用任务能力上，性能提升已趋于缓慢。

Orion的进展放缓直接挑战了人工智能领域一直奉行的“缩放定律”，即在数据量和计算资源不断增加的前提下，模型性能将持续大幅度提升。

为了应对GPT改进放缓给基于训练的缩放定律带来的挑战，业界似乎正在将精力转向在初始训练之后改进模型，从而可能产生不同类型的缩放定律。由于高质量训练数据的减少以及计算成本的增加，OpenAI的研究人员不得不开始探讨是否有其他改进模型性能的方法。

例如，OpenAI正在将更多代码编写功能嵌入其模型中，并试图开发一种软件，可以接管个人计算机，通过执行点击、 光标移动等执行其他操作， 完成网络浏览器活动或应用程序的任务。

OpenAI还成立了一个专门团队，由之前负责预训练的Nick Ryder领导，负责探索如何优化有限的训练数据和调整扩展法的应用，以保持模型改进的稳定性。

团队通过《新世纪网络平台彩票》训练模型解决大量数学和编码问题，让模型在后期强化过程中逐步提高对这些任务的解答能力。此外，人工评估员还会对模型在不同任务上的表现进行评分，以帮助模型在复杂问题上提供更准确的答案。

巨大计算成本带来的财务负担

然而，随着模型复杂度的增加，训练和运行这些AI模型的成本也在急剧上升。例如，o1模型的推理成本是普通模型的六倍。

即便如此，扎克伯格、Sam Altman等人都曾表示，他们还没有达到传统扩展法的极限。

这也许就是为什么OpenAI等公司依然在投资数十亿美元建设数据中心，希望通过增加计算能力，从预训练模型中获得更多的性能提升。

但OpenAI研究员Noam Brown在TEDAI大会上警告，开发更为先进的模型可能将面临数百亿美元的高昂费用，成为财务上的巨大负担。

“毕竟，我们真的要训练花费数千亿美元或数万亿美元的模型吗？在某些时候，扩展范式会崩溃。”

或许在未来，OpenAI和其他AI公司都需要继续在训练数据和计算资源之间寻求平衡，探索如何在不增加巨大财务负担的前提下，进一步优化模型性能。

风险提示及免责条款

市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。

　　理论研究显示，“选品、配置、长期持有”是大众投资者在理 ☸财新世纪网络平台彩票时自发形成的健康行为。来自清华大学金融科技研究院的报告显示 ♋，同一风险等级用户中 ⛄，在基金优选、配置分散和长期持有三方面有 ♊着更好理财习惯的用户 ♓，其资产组合能够获得的月度收益率和夏普比 ♉率更高。

　　一是结合生态保护基本情况 ⛴，构建合理的监督体系 ♋。国家生态 ⛵环境部门给予省级部门一定的支持 ♓，增加生态保护监督机构并赋予监 ❤督机构相应的管理能力 ⛲，全面落实生态保护监督体系的功能与作用。 ☸省级和部门应将引进生态保护领域的人才作为重要任务，以达到扩充 ⛴生态保护监督队伍的目的，并组织学习培训，提升监督工作的科学化 ⛻水平，同时各级领导也要加强学习培训，实现科学监督。

　　本报记者 竺可桢 【编辑:施瓦辛格 】