AnythingLLM:零成本的私人ChatGPT,支持几乎所有主流大模型 原创

开源、高效、可定制的私人ChatGPT。

用过大模型的都知道,我们不怕它不回答,就怕它乱回答,特别是一眼还看不出来的那种。即便是最先进的AI模型也会说谎,防不胜防。对企业来说,幻觉,已经成为阻碍大模型应用的严重缺陷性问题。

除了幻觉,通用大模型无法满足企业实际业务需求还涉及到知识局限性、信息安全等问题,企业显然不能将私域数据上传到第三方平台训练。在这种情况下,如何将本地知识库和大模型连接起来,构建一个专属的AI知识库,成为了关键问题。

AnythingLLM正是为解决这个问题而生的通用框架。

AnythingLLM:零成本的私人ChatGPT,支持几乎所有主流大模型

AnythingLLM是什么?

从原理上看,构建专属知识库可分为三个部分,一是通过LLM处理自然语言;二是嵌入模型把复杂的数据简化,转化成易于处理的格式;三是向量数据库专门存储和管理那些转化后的数据。

那么进入正题,AnythingLLM到底是什么?AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序,是一款高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。

AnythingLLM支持几乎所有的主流大模型和多种文档类型,可定制化,而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统,也可以使用Docker安装。官方已经做好了各个版本的应用,直接下载对应版本,像正常软件一样安装启动即可。

AnythingLLM:零成本的私人ChatGPT,支持几乎所有主流大模型

 一键安装,支持自定义模型,支持多种文档类型,可定制化

先看几个官方解答的用户问题,进一步了解AnythingLLM。

1、使用AnythingLLM要花钱吗?

AnythingLLM Desktop是免费的,也可以通过GitHub Repo自托管。AnythingLLM云托管起价为每月25美元,专为需要AnythingLLM功能但希望拥有AnythingLLM托管实例的企业或团队而构建。

2、如何使用 AnythingLLM?

AnythingLLM有几种规格,具体取决于用例。AnythingLLM Desktop是用户在计算机上安装应用程序最简单的方法;AnythingLLM for Docker旨在使用最少的开发人员配置设置一个完整的多用户实例;AnythingLLM托管则是官方的SaaS产品。

3、我的文档保存在哪里?

不管用哪种方式使用AnythingLLM,用户的文档和信息都存储在运行AnythingLLM的机器上,用户数据与实例相隔离,以确保数据不会暴露或与其他客户共享存储。

4、为什么用AnythingLLM而不是带插件的ChatGPT?

AnythingLLM使用户可以完全控制与任何LLM和向量数据库的访问、权限和数据共享,能够完全离线运行,仅由本地运行的服务提供支持。使用AnythingLLM不必担心第三方隐私问题,并且可以访问全球的开源和闭源LLM、任何向量数据库解决方案。

怎么用AnythingLLM?

AnythingLLM默认通过Ollama来使用LLama2 7B、Mistral 7B、Gemma 2B等模型,也可以调用OpenAI、Gemini、Mistral等大模型的API服务。因此在使用前,需要启动Ollama服务,如果没有安装Ollama,需要自行下载安装,这里使用后端服务器模式,具体操作本文不再赘述。

打开安装好的AnythingLLM进行配置。先设置LLM Preference,选择想用的大模型;再设置Embedding Preference,Embedding Preference可以把本地资料向量化,这样就可以根据问题匹配对应的资料片段;设置Vector Database,选择默认的LanceDB即可,这是一款无服务器向量数据库,可嵌入到应用程序中,支持向量搜索、全文搜索和SQL。

新建工作区(workspace),每个工作区可以选用不同的模型,也可以修改向量数据库和代理配置。关于工作区的概念,官方是这么解释的:工作区的功能类似于线程,同时增加了文档的容器化。工作区可以共享文档,但工作区之间的内容不会互相干扰或污染,因此您可以保持每个工作区的上下文清晰。简单理解,工作区就是管理各种文件的。

以上设置完成后就会出现对话界面,这时你就拥有了自己本地的大语言模型。接下来上传资料到工作区,可以上传本地文档,也可以粘贴网址,将其更新到工作区就可以开始使用了。

AnythingLLM很酷的一点是支持多用户模式,有3种角色的权限管理,这一点对企业应用很重要。系统会默认创建一个管理员(Admin)账号,拥有全部的管理权限。第二种角色是Manager账号,可管理所有工作区和文档,但是不能管理大模型、嵌入模型和向量数据库。普通用户账号,则只能基于已授权的工作区与大模型对话,不能对工作区和系统配置做任何更改。

AnythingLLM具有多用户管理、丰富文档支持、高效成本优化及云部署友好等优势。但从使用体验上看,一些用户反馈目前它给出的回答还不够准确,相信这套系统未来可以在文本召回和重排等方面,进一步调优和完善。

来源:至顶网软件与服务频道

0赞

好文章,需要你的鼓励

2024

05/31

18:03

分享

点赞

邮件订阅