GPT-4V

智能体在执行玩21点的任务时，系统直接要求多模态模型根据目前的状态，在输出思维链之后选择“停牌” （stand）或者“拿牌”（hit），然后直接将对应的动作输入到环境中，得到奖励函数值以及下一个状态。

最公平的大模型基准测试诞生了！来自LLM竞技场，最接近人类偏好，数据新鲜、速度快、成本低，严格分离学渣和学霸。

本文将向您展示一款优秀的GPT-4V的开源替代品——LLaVA，并分别展示以Web、本地和Google Colab三种方式运行LLaVA。

最近，GPT-4V接连被曝重大缺陷，会把吉娃娃认成松饼，只要一被忽悠就会同意图中的葫芦娃中有8个！

新玩法不只在GitHub上火，开发者Sawyer Hood把demo展示po到𝕏上，也迅速走红，点赞转发收藏2700+，Sawyer Hood还表示，自己在获得GPT-4V API访问权限不到5小时内就开发出了这种玩法，可见“未来一片光明”。

流行的缓解措施，如自我纠正和思维链提示并不能有效解决这些问题，并测试了LLaVA和Bard等多模态模型存在相似的问题。另外研究还发现，GPT-4V更擅长解释西方文化背景的图像或带有英文文字的图像。

对于“为什么有时它会和人类一样发昏被错觉误导、完全不像个智能AI”的疑问，不少人则表示这毫不意外，是训练问题。即大模型是根据人类数据、人的反馈、人的注释进行训练的，自然会产生和人一样的错误。

OpenAI又在深夜搞事了。ChatGPT不光能看能听，还长嘴了。令人吃惊的是，背后的多模态模型GPT-4V(ision)，竟然在2022年就已经训练完毕。