中信证券:OpenAI o1推理升级,关注强化学习新机遇

①新模型在训练和推理端同步推动算力需求倍增,算力产业链景气度持续上升;
②应用端进一步降低各领域应用开发成本,推理性能提升扩展强逻辑场景覆盖,加速各领域应用落地。

中信证券研报指出,OpenAI o1模型升级思维链和强化学习,重点提升模型推理性能,代码、数学、科学等强逻辑领域能力大幅提升,持续探索AGI实现新方式。新模型在训练和推理端同步推动算力需求倍增,算力产业链景气度持续上升;应用端进一步降低各领域应用开发成本,推理性能提升扩展强逻辑场景覆盖,加速各领域应用落地。建议持续关注相关领域的头部AI公司。

▍事项:北京时间9月13日凌晨, OpenAI发布o1模型;OpenAI o1具备复杂推理能力,代码、数学、科学领域达到顶尖水平。

o1可将任务拆解成多个简单任务,构成完整思维链并进行优化,提升最终回答的逻辑性、综合性、准确性。当前preview版本已开放给5级API用户,并将在下周向企业和学术用户优先开放。根据公司官网,编程方面,模型在Codeforces竞赛上超过83%的专业人员。数学方面,以2024年的美国数学邀请赛为测试集,o1单次生成可解决74%的问题,多次生成后进一步提升正确率到83%,而GPT-4只能解决12%的问题。科学方面,模型GPQA Dimond测试集正确率78%,超越人类专家70%水平。

▍技术解析:强化学习+LLM寻求最优路径,奖励模型泛化问题尚需验证。

参考OpenAI官网及DeepMind的论文Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters(Charlie Snell,Jaehoon Lee,Kelvin Xu等),我们推测o1模型将复杂任务拆解成多任务构成的思维链,并采用类似强化学习(RL)的模式,通过各节点行为优化寻求最优路径。其中,奖励模型决定优化方向,拥有明确评判标准的领域更具优势,因此o1模型在代码、数学、科学领域表现更优,而在写作、编辑等任务上表现暂时不及GPT-4o,未来奖励模型能否准确评估其他的输出结果,是相关技术路线发展的核心问题之一。

▍算力投入:强化学习带来算力投入和推理成本倍增。

根据OpenAI测算,训练和推理端用于强化学习的算力投入与模型效果依然成正比,大模型获得全新有效算力投入途径,有望带来数倍于传统大模型的算力需求。其中模型推理端算力需求增长显著,根据公司官网,当前o1-preview模型生成时间可达分钟级,API定价输入15美元/百万Token和输出60美元/百万Token,较GPT-4o输入5美元/百万Token和输出15美元/百万Token的定价有数倍增长。根据英伟达CEO黄仁勋在Communacopia + Technology会议上的发言,海外Blackwell系列需求旺盛,算力行业景气度持续上行。

▍应用展望:加速开发成本优化,Agent能力提升B端率先受益。

短期聚焦代码、数学、科学等强逻辑领域,其中AI代码生成将推动全领域开发效率提升。根据微软财报,海外GitHub Copilot Q1付费用户数超180万,同比,国内工商银行软开中心编码助手生成代码量占总代码量的比例超32%,o1模型代码能力,有望进一步提升AI辅助开发效率。未来模型通过奖励模型泛化有望扩展更多行业,加速对边缘行业和场景的覆盖,思维链结合工具使用、知识库等能力应用,可以形成更强Agent性能,服务企业汇总、分析、预警、预测、管理等强逻辑任务需求。

▍风险因素:

AI核心技术发展不及预期,AI被不当使用造成严重社会影响,企业数据安全风险,信息安全风险,行业竞争加剧。

▍投资策略:

OpenAI o1模型重点升级思维链能力,结合强化学习,提升代码、数学、科学等强逻辑领域能力,持续探索AGI实现方式。新模型在训练和推理端同步推动算力需求倍增,算力产业链景气度持续上升;应用端进一步降低各领域应用开发成本,推理性能提升扩展强逻辑场景覆盖,C端和B端应用有望加速。建议持续关注相关领域的头部AI公司。

©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经

(0)
打赏 微信扫码打赏 微信扫码打赏 支付宝扫码打赏 支付宝扫码打赏
清一色的头像清一色管理团队
上一篇 2024年9月18日 09:00
下一篇 2024年9月18日 09:01

相关推荐

发表评论

登录后才能评论

联系我们

在线咨询:1643011589-QQbutton

手机:13798586780

QQ/微信:1074760229

QQ群:551893940

工作时间:工作日9:00-18:00,节假日休息

关注微信