基于LM Studio私有化部署Llama3和API调用

分享内容

1. 使用 LM Studio 私有化部署Llama3模型
2. 基于AnythingLLM实现Llama3 API调用
3. AnythingLLM整合Llama3构建知识库应用

业务背景

假设公司需要一套最佳的基于大模型的知识库系统解决方案，需要具有如下能力：

1. 能够快速将大型模型进行本地化的部署使用。
2. 结合大语言模型，能有一套良好的知识库系统，方便使用。
3. 针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。
4. 针对算法人员，“套壳” 大模型或微调大模型，可通过一款工具完成本地化的快速部署和分发，而不需要自己单独写一个服务。
5. 针对开发人员，可将算法开发好的模型快速构建成后台服务，且为 OpenAI 标准的服务 API，能让开发团队快速进行大型模型的接入测试和验证。
6. 针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如 embedding 的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。
7. 针对甲方的企业要快速验证知识库项目的可行性，可以使用这两个工具搭建本地的测试环境。这样可以对一些关键技术进行全流程化的跟踪调试，待验证没有问题再进行立项或系统的集成。

最终选择了 LM studio + Anything LLM 搭建本地知识库。

LM Studio 安装部署及使用

安装

LM Studio 是一款桌面软件，安装后，经过简单的配置即可使用。登录 https://lmstudio.ai/ 即可看到如下界面，按自己的操作系统进行下载即可。

安装完成之后，登录系统的主界面如下图所，可以看到其默认界面如下：

安装完成！！！

​

配置huggingface代理

下载和管理大模型

在 LMs studio 的首页即提供了大模型列表及搜索能力，可以从 hugging Face 上获取支持的大模型列表，并可以通过搜索获取关注的大模型。如下图搜索最近也比较火的 LLama-3：

1. 点击 “download” 可以将想要的大模型下载到本地磁盘中。

查看下载进度条

1. 点击 My models 图标，即可查看本地下载的大模型列表，在这里我本身下载了 1 个大模型（LLama-3）、一个 Text embedding Model

AI chat

下载了模型之后，就来验证一下这个模型能否正常使用，进入 AI chat 界面：

1. 是选择模型，选择我们刚下载的 LLama-3，左侧可以显示该模型在执行时的内存及 cpu 占用情况。
2. 是针对该模型的聊天历史
3. 是针对该模型进行对话时的参数配置，这里我们默认即可
4. 是聊天的主交互界面。

以下是 LLama-3 模型回答的结果

将大模型部署为后台服务

点击

，进入服务配置界面：

1. 选择做为后台服务的大语言模型，在这里选择 llama3
2. 配置做为后台服务的端口，并启动 server
3. 服务器的 logs 界面，每一次 api 的调用日志在这里都可以看得到，方便进行问题排查

用 Anything LLM 快速构建知识库应用

Anything LLM 有两个版本，一是桌面安装版本，另一是通过 Docker 进行部署的版本。我选择安装桌面版，有兴趣的同学可以研究一下 Docker 版本，它增加了用户权限管理功能，并可以进行企业级应用部署。它是开源的，可以在真正的生产环境中使用 Anything LLM 作为知识库的后台系统，并开放 API 供前端业务系统集成。

安装

登录网站 https://useanything.com/download 并选择适用自己的版本：

下载到本地后直接像普通软件一样安装即可，由于本地已经完成了安装，在此就不再进行安装了。