AnythingLLM：零成本的私人ChatGPT，支持几乎所有主流大模型 原创

用过大模型的都知道，我们不怕它不回答，就怕它乱回答，特别是一眼还看不出来的那种。即便是最先进的AI模型也会说谎，防不胜防。对企业来说，幻觉，已经成为阻碍大模型应用的严重缺陷性问题。

除了幻觉，通用大模型无法满足企业实际业务需求还涉及到知识局限性、信息安全等问题，企业显然不能将私域数据上传到第三方平台训练。在这种情况下，如何将本地知识库和大模型连接起来，构建一个专属的AI知识库，成为了关键问题。

AnythingLLM正是为解决这个问题而生的通用框架。

AnythingLLM是什么？

从原理上看，构建专属知识库可分为三个部分，一是通过LLM处理自然语言；二是嵌入模型把复杂的数据简化，转化成易于处理的格式；三是向量数据库专门存储和管理那些转化后的数据。

那么进入正题，AnythingLLM到底是什么？AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。

AnythingLLM支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统，也可以使用Docker安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。

 一键安装，支持自定义模型，支持多种文档类型，可定制化

先看几个官方解答的用户问题，进一步了解AnythingLLM。

1、使用AnythingLLM要花钱吗？

AnythingLLM Desktop是免费的，也可以通过GitHub Repo自托管。AnythingLLM云托管起价为每月25美元，专为需要AnythingLLM功能但希望拥有AnythingLLM托管实例的企业或团队而构建。

2、如何使用 AnythingLLM？

AnythingLLM有几种规格，具体取决于用例。AnythingLLM Desktop是用户在计算机上安装应用程序最简单的方法；AnythingLLM for Docker旨在使用最少的开发人员配置设置一个完整的多用户实例；AnythingLLM托管则是官方的SaaS产品。

3、我的文档保存在哪里？

不管用哪种方式使用AnythingLLM，用户的文档和信息都存储在运行AnythingLLM的机器上，用户数据与实例相隔离，以确保数据不会暴露或与其他客户共享存储。

4、为什么用AnythingLLM而不是带插件的ChatGPT？

AnythingLLM使用户可以完全控制与任何LLM和向量数据库的访问、权限和数据共享，能够完全离线运行，仅由本地运行的服务提供支持。使用AnythingLLM不必担心第三方隐私问题，并且可以访问全球的开源和闭源LLM、任何向量数据库解决方案。

怎么用AnythingLLM？

AnythingLLM默认通过Ollama来使用LLama2 7B、Mistral 7B、Gemma 2B等模型，也可以调用OpenAI、Gemini、Mistral等大模型的API服务。因此在使用前，需要启动Ollama服务，如果没有安装Ollama，需要自行下载安装，这里使用后端服务器模式，具体操作本文不再赘述。

打开安装好的AnythingLLM进行配置。先设置LLM Preference，选择想用的大模型；再设置Embedding Preference，Embedding Preference可以把本地资料向量化，这样就可以根据问题匹配对应的资料片段；设置Vector Database，选择默认的LanceDB即可，这是一款无服务器向量数据库，可嵌入到应用程序中，支持向量搜索、全文搜索和SQL。

新建工作区（workspace），每个工作区可以选用不同的模型，也可以修改向量数据库和代理配置。关于工作区的概念，官方是这么解释的：工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。简单理解，工作区就是管理各种文件的。

以上设置完成后就会出现对话界面，这时你就拥有了自己本地的大语言模型。接下来上传资料到工作区，可以上传本地文档，也可以粘贴网址，将其更新到工作区就可以开始使用了。

AnythingLLM很酷的一点是支持多用户模式，有3种角色的权限管理，这一点对企业应用很重要。系统会默认创建一个管理员（Admin）账号，拥有全部的管理权限。第二种角色是Manager账号，可管理所有工作区和文档，但是不能管理大模型、嵌入模型和向量数据库。普通用户账号，则只能基于已授权的工作区与大模型对话，不能对工作区和系统配置做任何更改。

AnythingLLM具有多用户管理、丰富文档支持、高效成本优化及云部署友好等优势。但从使用体验上看，一些用户反馈目前它给出的回答还不够准确，相信这套系统未来可以在文本召回和重排等方面，进一步调优和完善。