开源社区的能量是否被低估了?
「我们没有护城河,OpenAI 也没有。」在最近泄露的一份文件中,一位谷歌内部的研究人员表达了这样的观点。
这位研究人员认为,虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶,但真正的赢家未必会从这两家中产生,因为一个第三方力量正在悄然崛起。
这个力量名叫「开源」。围绕 Meta 的 LLaMA 等开源模型,整个社区正在迅速构建与 OpenAI、谷歌大模型能力类似的模型,而且开源模型的迭代速度更快,可定制性更强,更有私密性……「当免费的、不受限制的替代品质量相当时,人们不会为受限制的模型付费。」作者写道。
这份文件最初由一位匿名人士在公共 Discord 服务器上分享,获得转载授权的产业媒体 SemiAnalysis 表示,他们已经验证了这份文件的真实性。
这篇文章在推特等社交平台上得到了大量转发。其中,得克萨斯大学奥斯汀分校教授 Alex Dimakis 发表了如下观点:
- 开源 AI 正在取得胜利,我同意,对于全世界来说,这是件好事,对于构建一个有竞争力的生态系统来说也是好事。虽然在 LLM 领域,我们还没有做到这一点,但我们刚刚让 OpenClip 击败了 openAI Clip,并且 Stable Diffusion 比封闭模型更好。
- 你不需要庞大的模型,高质量的数据更有效、更重要,API 背后的羊驼模型进一步削弱了护城河。
- 你可以从一个好的基础模型和参数高效微调(PEFT)算法开始,比如 Lora 在一天内就能运行得非常好。算法创新终于开始了!
- 大学和开源社区应该组织更多的工作来管理数据集,训练基础模型,并像 Stable Diffusion 那样建立微调社区。
当然,并非所有研究者都同意文章中的观点。有人对开源模型是否真能拥有媲美 OpenAI 的大模型的能力和通用性持怀疑态度。
不过,对于学术界来说,开源力量的崛起总归是件好事,意味着即使没有 1000 块 GPU,研究者也依然有事可做。
以下是文件
©本文为清一色官方代发,观点仅代表作者本人,与清一色无关。清一色对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议,请读者仅作参考,并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络,如侵犯到著作权人的权利,请与我们联系(微信/QQ:1074760229)。转载请注明出处:清一色财经