人工智能

梯度提升是一种先进的机器学习技术。它依次构建多个弱预测模型（通常是决策树）。每个新模型都逐渐最小化整个模型的损失函数（误差）。

网络结构是GPT-2，但许多超参数设置遵循了GPT-3的那一套。Karpathy分析，按照Chinchilla定律的标准，GPT-2在100B tokens上训练应该属于过度训练了，后面收益递减，124M模型按计算2.5Btokens就够。

模型名为LucaOne，由阿里云飞天实验室生物智能计算团队打造。相比AlphaFold 3因未开源遭到650多名学者联名批评，LucaOne训练推理代码及相关数据目前均已开源。

在一组预训练模型，比如GPT-3.5、Video-LLava 和 SDXL的支持下，建立了一个带有世界指令的多模态数据集。

马斯克最近哭穷表示，xAI需要部署10万个H100才能训出Grok 3，影响全球的大模型算力荒怎么解？昨天开源的这款MoE大模型，只用了1/19算力、1/19激活参数，性能就直接全面对标Llama 3-70B！

自 OpenAI 于 2022 年底推出 ChatGPT 以来，人工智能安全在整个科技领域迅速受到重视，并引发了生成式人工智能产品和投资的热潮。

马斯克在今年早些时候预测，AGI可能会在2026年投入使用。DeepMind联合创始人、首席AGI科学家Shane Legg在一次访谈中认为，2028年，人类有50%的概率开发出第一个AGI。然而百度CEO李彦宏的观点则更加审慎，他认为AGI还需要10年以上的时间才能出现。

近一半（49%）的受访企业表示，他们面临的最大挑战是估算和实现人工智能项目的价值。Gartner 发现，人工智能项目可以支持的五项业务成果分别为收入增长、成本优化、风险降低、客户体验和员工生产力的提高。

大模型，如何用到产业中？

就在刚刚，一份2500页的内部文档泄露，谷歌搜索算法的内幕，让不少人大跌眼镜。

最近，一位昵称「Tore Knabe」的网友在 X 平台发布的一段视频引发了人们的讨论。

解散Ilya的超级对齐团队之后，奥特曼再造了一个新的「安全委员会」。OpenAI称正训练离AGI更近一步的下一代前沿模型，不过在这90天评估期间，怕是看不到新模型发布了。

尽管LeCun反对一股脑全部研究LLM，但Transformer训练模型仍在不断发展。AI/ML顾问Dan Hou谈到了GPT-4o，并强调了其训练模型。

出走OpenAI的超级对齐团队负责人Jan Leike，刚刚官宣了自己加入Anthropic的消息，并且开始高调招兵买马。同时，外界也开始对Ilya的去向纷纷猜测：是去Anthropic，xAI，还是自立门户？

对强大如谷歌的搜索玩家来说，如何确保搜索算法优化既能服务于大众，又不会破坏那些为网络贡献高质量内容的生态基石，也许才是能够长远发展的根本所在。