LLM

找到合适的AI模型来构建工作流程很困难。由于不同平台上有众多的模型可用，因此不可能知道从哪里入手，或者如何找到最适合您特定需求的模型。

LLMLingua-2与其他提示压缩方法相比更快、更高效，并且需要更少的计算资源。对于涉及冗长提示和压缩的LLM应用程序来说，它是一个很好的工具，可以节省大量成本，并获得更好的用户体验。

今天大姚给大家分享4个.NET开源的AI和LLM相关的项目框架，希望能为大家提供一些参考。

随着世界创造出更多的LLM，我们也越来越多地构建使用它们的系统，我们希望找到更加节约成本的方法来运行它们。本文讨论的FrugalGPT论文为未来的开发人员创建了一个强大的框架，让我非常想知道这个框架能走多远。

知名 AI 学者、图灵奖得主 Yann LeCun 并不这么认为，他一直唱衰自回归 LLM。近日 LeCun 在哈佛大学的演讲内容深入探讨了这些问题，内容长达 95 页，可谓干货满满。

检索增强生成（RAG）是一种通过外部知识源增强现有大型语言模型（LLM）的方法，以提供和上下文更相关的答案。

LLM和RAG都代表着人工智能理解和生成类人文本能力的重大进步。在LLM和RAG模型之间进行选择需要权衡NLP项目的独特需求。

LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！

让陶哲轩大神赞不绝口的形式化研究神器Lean，运行LLM的推理却有个bug。最近，加州理工团队解决了这个bug，把80%以上的数学证明步骤，都自动化了！

我们在这篇博文中将深入研究一篇突破性的研究论文探究大语言模型（LLM）的预测能力，并将它们与人群预测这个参照标准进行比较。这项研究由伦敦政治经济学院、麻省理工学院和宾夕法尼亚大学的研究人员共同进行，研究结果刷新了我们对AI能力的理解，并揭示了LLM在现实场景中与人类专业知识相媲美的潜力。

近日，LLM竞技场更新了战报，Command R+推出不到一周，就成了历史上第一个击败了GPT-4的开源模型！目前，Command R+已经上线HuggingChat，可以免费试玩。

本文将探讨使用自组织映射（SOM）算法来提升RAG的LLM上下文的检索性能，并给出具体的示例展示。当今社会，人们使用大量数据训练包含数百万和数十亿模型参数的大型语言模型（LLM），目标是生成文本，如文本完成、文本摘要、语言翻译和回答问题。

PrivateGPT的特点是脚本可以摄取数据文件，将其分割成块，创建“embeddings”（文本含义的数字表示），并将这些嵌入存储在本地Chroma矢量存储中。当你提出问题时，该应用程序会搜索相关文档，并将其发送给LLM以生成答案。

这篇论文研究了大型语言模型（LLMs）生成合成数据集用于文本分类模型训练的潜力和限制。 分析发现，任务的主观性（标注一致性越差）越高，利用合成数据来训练模型效果也越差。另外合成数据效果好不好的关键影响因素在于生成数据的多样性如何，few-shot方式可以提高生成样本的多样性，通过few-shot方式生成的样本效果也一般优于zero-shot的样本。

LLM很有可能在汇总、评估、推荐和促进此类操作方面显著提高决策过程的效率。适当地将LLM纳入决策支持系统，需要对道德、技术和人为因素进行彻底审查。