主题

RAGFlow ​

资源需求 ​

资源数量
RTX 4090 24GB2
数据盘50GB

使用步骤 ​

1. 创建实例 ​

在算力市场中，选择RTX 4090 / 24GB，GPU数量至少选择2张 ，选择 RAGFlow 镜像。

img

包括 RAGFlow 应用环境，及一个内置的 QWQ 32B 大语言处理模型。

2. 启动 RAGFlow ​

在控制台-实例管理找到对应实例的 "RAGFlow" 按钮，打开 RAGFlow 的 Web 界面。

RAGFlow自带简单用户管理，需要先注册。

注册

此注册是RAGFlow官方集成的用户系统，并非注册到平台上。请自行记录用户密码。 用户数据会保存在实力内部。实例销毁后，相关数据将会丢失。

img

创建账号后，系统会自动转到登录界面，输入账号密码进行登录。

3. 添加 LLM 模型 ​

登录后，点击右上角的用户头像图标，再点击左侧的“模型提供商“。然后在窗口右侧，在 Ollama 卡片的下方，选择“添加模型”。

  • 模型类型选 "chat"
  • 模型名称填 "qwq:32b"
  • 基础 Url 填 "http://127.0.0.1:11434"
  • 最大 token 数可填 4096 或 8192 或 16384

img

点击“确定”，系统会在后台调用 Ollama，启动 qwq:32b 模型。这需要大约 6~7 秒的时间。

4.设置系统模型 ​

添加之后，系统回到上级页面。然后点击右上方的“系统模型设置”。

img

在其中，设置两个必要的模型：

  • 聊天模型，选择刚才创建的 qwq
  • 嵌入模型，用系统缺省的 BAAI/bge-large-zh-v1.5 就可以。

69a1

点击“确定”之后，系统回到上级页面。点击“知识库”，然后就可以 “创建知识库”。如下图所示。

5.创建知识库 ​

a781!

之后便可以：

  • 确认创建知识库的参数（使用缺省的参数就可以）
  • 上传本地知识文档进行解析
  • 基于知识库，创建聊天，进行提问
  • 通过 API 与外部接口对接，进一步扩展其应用。

6.创建聊天助手 ​

创建聊天助手，需要勾选知识库

b2d1