来源:财联社
很多人工智能(AI)科学家和初创公司认为,通过增加更多数据和算力来扩大当前模型,以持续改进AI模型的方法正在走到尽头。因此,像OpenAI这样的AI公司正在寻求通过开发新的训练技术来克服当前面临的挑战,这些技术更像人类的思考方式。
人工智能实验室Safe Superintelligence和OpenAI的联合创始人Ilya Sutskever近日表示,扩大预训练(训练AI模型的阶段,该模型使用大量未标记的数据来理解语言模式和结构)所取得的成果已经达到了一个平稳期,对提升模型性能的帮助有限。
Sutskever早期主张通过在预训练中使用更多数据和算力来实现生成式AI的巨大飞跃,这最终创造了ChatGPT。他今年早些时候离开OpenAI,创立了Safe Superintelligence。
Sutskever表示:“以前是规模扩张的时代,现在我们又回到了奇迹和发现的时代。每个人都在寻找下一个东西,这比以往任何时候都更重要。”
此外,Sutskever还承认他的公司正在研究一种扩大预训练规模的替代方法,但未透露更多细节。
新技术竞赛
大模型的所谓“训练”需要同时运行数百个芯片,成本可能高达数千万美元。考虑到系统的复杂性,它们更有可能出现硬件导致的故障;在测试结束之前,研究人员可能无法知道这些模型的最终性能,这可能需要几个月的时间。
另一个问题是,大语言模型吞噬了大量数据,而AI模型已经耗尽了世界上所有容易获取的数据。电力短缺也阻碍了训练运行,因为这个过程需要大量的能源。
为了克服这些挑战,研究人员正在探索测试时计算(test-time compute),这是一种在所谓的推理阶段或使用模型时增强现有AI模型的技术。例如,模型可以实时生成和评估多种可能性,最终选择最佳前进路径,而不是立即选择一个答案。
这种方法使模型能够将更多的处理能力投入到具有挑战性的任务中,比如数学或编码问题或需要类似人类的推理和决策的复杂操作。
OpenAI研究员Noam Brown此前表示:“事实证明,让一个机器人在一盘扑克牌中思考20秒,与将模型放大10万倍、训练时间延长10万倍的效果相同。”
OpenAI 在其新发布的模型“o1”中采用了这项技术,与此同时,来自Anthropic、xAI和DeepMind等其他顶尖AI实验室的研究人员也在致力于开发自己的技术版本。
OpenAI首席产品Kevin Weil表示:“我们看到了很多低垂的果实,摘下来让这些模型变得更好。等到人们迎头赶上的时候,我们会努力开发新的技术。”
多位科学家、研究人员和投资者认为,这种新技术可能会重塑AI军备竞赛,并对AI公司所需求的各类资源产生影响。
责任编辑:《自助领取彩金38棋牌》丁文武
据当地媒体报道♈,近期已有多家国外公司盯上巴西发展绿氢的 ⌛巨大潜力,表示将在巴西投资绿氢产业。今年上半年,总部位于澳大 ⌛利亚的全球绿色能源和绿色工业公司Fortescue Future Industries(FFI)宣布 ♌,将在巴西东北部塞阿 ♉腊州的佩森港投资60亿美元建设绿氢项目,壳牌也宣布将与巴西企 ❤业自助领取彩金38棋牌合作建设绿氢项目。目前,巴西绿氢商业化生产项目总额已超过200亿美元 ⛻。塞阿腊州工业联合会的数据显示 ⚡,如果巴西增长最快的 ♊太阳能和风能这两种可再生能源,有一半用于生产绿氢的话,塞阿拉 ⏩州可以生产大约2000万吨绿色燃料,相当于2050年全球预期 ❥市场的13%。
这笔重磅交易将扩大美联航的宽体机队,因为该公司押注长途旅行 ⛅需求将反弹 ✅。
本报记者 宗臣 【编辑:吴书 】