LLM

随着开源大型语言模型的性能不断提高，编写和分析代码、推荐、文本摘要和问答(QA)对的性能都有了很大的提高。但是当涉及到QA时，LLM通常会在未训练数据的相关的问题上有所欠缺，很多内部文件都保存在公司内部，以确保合规性、商业秘密或隐私。

对于许多尝试GenAI或使用大型语言模型（LLM）构建应用程序的组织来说，数据治理责任更大，员工使用人工智能工具的风险更大，非结构化数据的范围也更广。我咨询了几位专家，了解数据治理必须如何发展，以应对生成人工智能工具和能力所固有的机遇和风险。

来自腾讯的研究者发现：只需通过一种简单的采样投票法，大语言模型的性能就会随着实例化 agent 的数量的增大而增强，呈现scaling property（可拓展性），无需复杂的多 LLM agents 协作框架以及prompt工程方法的加持。此外，该方法与现有的复杂方法正交，结合之后，可进一步增强 LLM，其增强程度与任务难度相关。

本文将分享大语言模型推理相关工作，以及大语言模型性能优化的一些关键点。在大语言模型推理中常会用到四个指标：Throughput（吞吐量）、First Token Latency（首字延迟）、Latency（延迟）和QPS（每秒请求数）。

随着 LLM 的快速发展和改进，我们正在面对新的挑战和机遇。LLM 的能力和表现水平不断提高，这使得基于单词出现的评估方法可能无法完全捕捉到 LLM 生成文本的质量和语义准确性。

来自UCLA的华人团队提出一种全新的LLM自我对弈系统，能够让LLM自我合成数据，自我微调提升性能，甚至超过了用GPT-4作为专家模型指导的效果。

生态系统在渴望利用LLM力量的公司的压力下变得紧张。那些希望在人工智能方面开辟新天地的人可能需要等到GPU供应在未来漫长的道路上进一步开放。具有讽刺意味的是，这些限制可能有助于缓和围绕生成性人工智能的一些泡沫炒作，让行业有时间适应积极的模式，高效、经济地使用它。

在开源生态中涌现了许多优秀的LLM预练模型，这些模型有着各自的亮点。本文主要介绍目前为止（2024年1月）几个值得关注的大开源LLM。

保护LLM需要多方面的方法，包括仔细考虑数据处理、模型培训、系统集成和资源使用，但通过实施建议的战略并保持警惕，公司可以利用低成本管理的力量，同时将相关风险降至最低。

本文将聚焦在针对 LLM 的可观测性进行解析，使得大家能够了解 LLM 的可观测性的必要性以及其核心的生态体系知识。

LexisNexis 也享受到了许多企业通过迁移到云端所获得的好处，包括显著的成本节约、可扩展性、灵活性和创新速度。但最大的好处可能是，LexisNexis 能够在自己的生成式人工智能应用中迅速采用机器学习和 LLM。

生成式 AI 仍然是一个快速发展的领域，但所需的工具和技术正在迅速进步，今天就有许多选择可以开始。抓住这一机遇的开发者可以为其组织带来巨大价值，将 AI 应用程序作为日常业务操作和任务的常规功能。

从零开始构建一个新的大语言模型（LLM）可能会花费公司数百万甚至上亿的成本。但有几种方法可以部署定制的 LLM，它们更快、更简单，更重要的是，成本更低。

需要为组织的开发项目提供特定于生成式 AI 的工具？探索这些工具所属的主要类别及其功能。

提示工程在利用 LLM 的RAG系统中解决指代消解问题方面发挥着关键作用。通过集成创新技术，如少样本提示和 CoT 方法，我们极大地改进了 RAG 系统中处理复杂引用的能力，使得 ChatGPT 等 LLM 能够准确地替换代词和模糊引用，并产生连贯的响应。