sub plan page (#23)

* fix chunk index; error page text * feat: dataset process Integral prediction * feat: stand plan field * feat: sub plan limit * perf: index * query extension * perf: share link push app name * perf: plan point unit * perf: get sub plan * perf: account page
c121914yu · Feb 23, 2024 · 0e92430 · 0e92430
1 parent 5c434cf
commit 0e92430
Show file tree

Hide file tree

Showing 104 changed files with 1,651 additions and 1,858 deletions.
diff --git a/docSite/content/docs/course/data_search.md b/docSite/content/docs/course/data_search.md
@@ -56,7 +56,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 ### 检索方案
 
-1. 通过`问题补全`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
+1. 通过`问题优化`实现指代消除和问题扩展，从而增加连续对话的检索能力以及语义丰富度。
 2. 通过`Concat query`来增加`Rerank`连续对话的时，排序的准确性。
 3. 通过`RRF`合并方式，综合多个渠道的检索效果。
 4. 通过`Rerank`来二次排序，提高精度。
@@ -97,7 +97,7 @@ FastGPT 采用了`PostgresSQL`的`PG Vector`插件作为向量检索器，索引
 
 #### 结果重排
 
-利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题补全后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
+利用`ReRank`模型对搜索结果进行重排，绝大多数情况下，可以有效提高搜索结果的准确率。不过，重排模型与问题的完整度（主谓语齐全）有一些关系，通常会先走问题优化后再进行搜索-重排。重排后可以得到一个`0-1`的得分，代表着搜索内容与问题的相关度，该分数通常比向量的得分更加精确，可以根据得分进行过滤。
 
 FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结果进行合并，得到最终的搜索结果。
 
@@ -115,7 +115,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 该值仅在`语义检索`或使用`结果重排`时生效。
 
-### 问题补全
+### 问题优化
 
 #### 背景
 
@@ -125,7 +125,7 @@ FastGPT 会使用 `RRF` 对重排结果、向量搜索结果、全文检索结
 
 ![](/imgs/coreferenceResolution2.jpg)
 
-用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题补全】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
+用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
 
 ![](/imgs/coreferenceResolution3.jpg)
 

diff --git a/docSite/content/docs/development/configuration.md b/docSite/content/docs/development/configuration.md
@@ -36,7 +36,7 @@ llm模型全部合并
       "charsPointsPrice": 0, 
       "censor": false,
       "vision": false, // 是否支持图片输入
-      "datasetProcess": false, // 是否设置为知识库处理模型
+      "datasetProcess": false, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
       "toolChoice": true, // 是否支持工具选择
       "functionCall": false, // 是否支持函数调用
       "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
@@ -89,7 +89,7 @@ llm模型全部合并
       "maxTemperature": 1.2,
       "charsPointsPrice": 0,
       "censor": false,
-      "vision": false,
+      "vision": true,
       "datasetProcess": false,
       "toolChoice": true,
       "functionCall": false,

diff --git a/docSite/content/docs/development/openapi/share.md b/docSite/content/docs/development/openapi/share.md
@@ -169,81 +169,124 @@ curl --location --request POST '{{host}}/shareAuth/start' \
 
 响应值与[chat 接口格式相同](/docs/development/openapi/chat/#响应)，仅多了一个`token`。
 
-可以重点关注`responseData`里的`price`值，`price`与实际价格的倍率为`100000`，即 100000=1元。
-
 ```bash
 curl --location --request POST '{{host}}/shareAuth/finish' \
 --header 'Content-Type: application/json' \
 --data-raw '{
     "token": "{{authToken}}",
     "responseData": [
         {
-            "moduleName": "KB Search",
-            "price": 1.2000000000000002,
-            "model": "Embedding-2",
-            "tokens": 6,
-            "similarity": 0.61,
-            "limit": 3
+            "moduleName": "core.module.template.Dataset search",
+            "moduleType": "datasetSearchNode",
+            "totalPoints": 1.5278,
+            "query": "导演是谁\n《铃芽之旅》的导演是谁？\n这部电影的导演是谁？\n谁是《铃芽之旅》的导演？",
+            "model": "Embedding-2(旧版，不推荐使用)",
+            "charsLength": 1524,
+            "similarity": 0.83,
+            "limit": 400,
+            "searchMode": "embedding",
+            "searchUsingReRank": false,
+            "extensionModel": "FastAI-4k",
+            "extensionResult": "《铃芽之旅》的导演是谁？\n这部电影的导演是谁？\n谁是《铃芽之旅》的导演？",
+            "runningTime": 2.15
         },
         {
-            "moduleName": "AI Chat",
-            "price": 454.5,
+            "moduleName": "AI 对话",
+            "moduleType": "chatNode",
+            "totalPoints": 0.593,
             "model": "FastAI-4k",
-            "tokens": 303,
-            "question": "导演是谁",
-            "answer": "电影《铃芽之旅》的导演是新海诚。",
-            "maxToken": 2050,
+            "charsLength": 593,
+            "query": "导演是谁",
+            "maxToken": 2000,
             "quoteList": [
                 {
-                    "dataset_id": "646627f4f7b896cfd8910e38",
-                    "id": "8099",
-                    "q": "本作的主人公是谁？",
-                    "a": "本作的主人公是名叫铃芽的少女。",
-                    "source": "手动修改"
-                },
-                {
-                    "dataset_id": "646627f4f7b896cfd8910e38",
-                    "id": "8686",
-                    "q": "电影《铃芽之旅》男主角是谁？",
-                    "a": "电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。",
-                    "source": ""
-                },
-                {
-                    "dataset_id": "646627f4f7b896cfd8910e38",
-                    "id": "19339",
-                    "q": "电影《铃芽之旅》的导演是谁？22",
+                    "id": "65bb346a53698398479a8854",
+                    "q": "导演是谁？",
                     "a": "电影《铃芽之旅》的导演是新海诚。",
-                    "source": "手动修改"
+                    "chunkIndex": 0,
+                    "datasetId": "65af9b947916ae0e47c834d2",
+                    "collectionId": "65bb345c53698398479a868f",
+                    "sourceName": "dataset - 2024-01-23T151114.198.csv",
+                    "sourceId": "65bb345b53698398479a868d",
+                    "score": [
+                        {
+                            "type": "embedding",
+                            "value": 0.9377183318138123,
+                            "index": 0
+                        },
+                        {
+                            "type": "rrf",
+                            "value": 0.06557377049180328,
+                            "index": 0
+                        }
+                    ]
                 }
             ],
-            "completeMessages": [
-                {
-                    "obj": "System",
-                    "value": "下面是知识库内容:\n1. [本作的主人公是谁？\n本作的主人公是名叫铃芽的少女。]\n2. [电影《铃芽之旅》男主角是谁？\n电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。]\n3. [电影《铃芽之旅》的导演是谁？22\n电影《铃芽之旅》的导演是新海诚。]\n"
-                },
-                {
-                    "obj": "System",
-                    "value": "1.请记住，你的身份是百度的下一代知识增强语言模型，能够完全根据知识库提供的内容回答问题。\n\n2. 你忘记了关于电影《铃芽之旅》以外的内容。"
-                },
-                {
-                    "obj": "System",
-                    "value": "你仅回答关于电影《玲芽之旅》的问题，其余问题直接回复: 我不清楚。"
-                },
+            "historyPreview": [
                 {
                     "obj": "Human",
-                    "value": "导演是谁"
+                    "value": "使用 <Data></Data> 标记中的内容作为你的知识:\n\n<Data>\n导演是谁？\n电影《铃芽之旅》的导演是新海诚。\n------\n电影《铃芽之旅》的编剧是谁？22\n新海诚是本片的编剧。\n------\n电影《铃芽之旅》的女主角是谁？\n电影的女主角是铃芽。\n------\n电影《铃芽之旅》的制作团队中有哪位著名人士？2\n川村元气是本片的制作团队成员之一。\n------\n你是谁？\n我是电影《铃芽之旅》助手\n------\n电影《铃芽之旅》男主角是谁？\n电影《铃芽之旅》男主角是宗像草太，由松村北斗配音。\n------\n电影《铃芽之旅》的作者新海诚写了一本小说，叫什么名字？\n小说名字叫《铃芽之旅》。\n------\n电影《铃芽之旅》的女主角是谁？\n电影《铃芽之旅》的女主角是岩户铃芽，由原菜乃华配音。\n------\n电影《铃芽之旅》的故事背景是什么？\n日本\n------\n谁担任电影《铃芽之旅》中岩户环的配音？\n深津绘里担任电影《铃芽之旅》中岩户环的配音。\n</Data>\n\n回答要求：\n- 如果你不清楚答案，你需要澄清。\n- 避免提及你是从 <Data></Data> 获取的知识。\n- 保持答案与 <Data></Data> 中描述的一致。\n- 使用 Markdown 语法优化回答格式。\n- 使用与问题相同的语言回答。\n\n问题:\"\"\"导演是谁\"\"\""
                 },
                 {
                     "obj": "AI",
                     "value": "电影《铃芽之旅》的导演是新海诚。"
                 }
-            ]
+            ],
+            "contextTotalLen": 2,
+            "runningTime": 1.32
         }
     ]
+        
+    
 }'
 ```
 
+**responseData 完整字段说明：**
 
+```ts
+type ResponseType = {
+    moduleType: `${FlowNodeTypeEnum}`; // 模块类型
+    moduleName: string; // 模块名
+    moduleLogo?: string; // logo
+    runningTime?: number; // 运行时间
+    query?: string; // 用户问题/检索词
+    textOutput?: string; // 文本输出
+
+    charsLength?: number; // 上下文总字数
+    model?: string; // 使用到的模型
+    contextTotalLen?: number; // 上下文总长度
+    totalPoints?: number; // 总消耗AI积分
+
+    temperature?: number; // 温度
+    maxToken?: number; // 模型的最大token
+    quoteList?: SearchDataResponseItemType[]; // 引用列表
+    historyPreview?: ChatItemType[]; // 上下文预览（历史记录会被裁剪）
+
+    similarity?: number; // 最低相关度
+    limit?: number; // 引用上限token
+    searchMode?: `${DatasetSearchModeEnum}`; // 搜索模式
+    searchUsingReRank?: boolean; // 是否使用rerank
+    extensionModel?: string; // 问题扩展模型
+    extensionResult?: string; // 问题扩展结果
+    extensionCharsLength?: number; // 问题扩展总字符长度
+
+    cqList?: ClassifyQuestionAgentItemType[]; // 分类问题列表
+    cqResult?: string; // 分类问题结果
+
+    extractDescription?: string; // 内容提取描述
+    extractResult?: Record<string, any>; // 内容提取结果
+
+    params?: Record<string, any>; // HTTP模块params
+    body?: Record<string, any>;  // HTTP模块body
+    headers?: Record<string, any>; // HTTP模块headers
+    httpResult?: Record<string, any>; // HTTP模块结果
+
+    pluginOutput?: Record<string, any>; // 插件输出
+    pluginDetail?: ChatHistoryItemResType[]; // 插件详情
+
+    tfSwitchResult?: boolean; // 判断器结果
+}
+```
 
 ## 实践案例
 

diff --git a/docSite/content/docs/development/upgrading/465.md b/docSite/content/docs/development/upgrading/465.md
@@ -15,13 +15,13 @@ weight: 831
 
 1. 主要是修改模型的`functionCall`字段，改成`toolChoice`即可。设置为`true`的模型，会默认走 openai 的 tools 模式；未设置或设置为`false`的，会走提示词生成模式。
 
-问题补全模型与内容提取模型使用同一组配置。
+问题优化模型与内容提取模型使用同一组配置。
 
 2. 增加 `"ReRankModels": []`
 
 ## V4.6.5 功能介绍
 
-1. 新增 - [问题补全模块](/docs/workflow/modules/coreferenceresolution/)
+1. 新增 - [问题优化模块](/docs/workflow/modules/coreferenceresolution/)
 2. 新增 - [文本编辑模块](/docs/workflow/modules/text_editor/)
 3. 新增 - [判断器模块](/docs/workflow/modules/tfswitch/)
 4. 新增 - [自定义反馈模块](/docs/workflow/modules/custom_feedback/)

diff --git a/docSite/content/docs/workflow/examples/google_search.md b/docSite/content/docs/workflow/examples/google_search.md
@@ -135,7 +135,7 @@ export default async function (ctx: FunctionContext) {
       },
       {
         "key": "model",
-        "type": "selectExtractModel",
+        "type": "selectLLMModel",
         "valueType": "string",
         "label": "core.module.input.label.LLM",
         "required": true,
@@ -264,7 +264,7 @@ export default async function (ctx: FunctionContext) {
       },
       {
         "key": "model",
-        "type": "selectChatModel",
+        "type": "selectLLMModel",
         "label": "core.module.input.label.aiModel",
         "required": true,
         "valueType": "string",
@@ -635,7 +635,7 @@ export default async function (ctx: FunctionContext) {
       },
       {
         "key": "model",
-        "type": "selectChatModel",
+        "type": "selectLLMModel",
         "label": "core.module.input.label.aiModel",
         "required": true,
         "valueType": "string",

diff --git a/docSite/content/docs/workflow/examples/lab_appointment.md b/docSite/content/docs/workflow/examples/lab_appointment.md
@@ -139,7 +139,7 @@ HTTP 模块允许你调用任意 GET/POST 类型的 HTTP 接口，从而实现
       },
       {
         "key": "model",
-        "type": "selectExtractModel",
+        "type": "selectLLMModel",
         "valueType": "string",
         "label": "core.module.input.label.LLM",
         "required": true,
@@ -401,7 +401,7 @@ HTTP 模块允许你调用任意 GET/POST 类型的 HTTP 接口，从而实现
       },
       {
         "key": "model",
-        "type": "selectCQModel",
+        "type": "selectLLMModel",
         "valueType": "string",
         "label": "core.module.input.label.Classify model",
         "required": true,
@@ -614,7 +614,7 @@ HTTP 模块允许你调用任意 GET/POST 类型的 HTTP 接口，从而实现
       },
       {
         "key": "model",
-        "type": "selectChatModel",
+        "type": "selectLLMModel",
         "label": "core.module.input.label.aiModel",
         "required": true,
         "valueType": "string",
@@ -835,7 +835,7 @@ HTTP 模块允许你调用任意 GET/POST 类型的 HTTP 接口，从而实现
       },
       {
         "key": "model",
-        "type": "selectExtractModel",
+        "type": "selectLLMModel",
         "valueType": "string",
         "label": "core.module.input.label.LLM",
         "required": true,

diff --git a/docSite/content/docs/workflow/modules/coreferenceResolution.md b/docSite/content/docs/workflow/modules/coreferenceResolution.md
@@ -1,6 +1,6 @@
 ---
-title: "问题补全（已合并到知识库搜索）"
-description: "问题补全模块介绍和使用"
+title: "问题优化（已合并到知识库搜索）"
+description: "问题优化模块介绍和使用"
 icon: "input"
 draft: false
 toc: true
@@ -23,7 +23,7 @@ weight: 364
 
 ![](/imgs/coreferenceResolution2.jpg)
 
-用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题补全】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
+用户在提问“第二点是什么”的时候，只会去知识库里查找“第二点是什么”，压根查不到内容。实际上需要查询的是“QA结构是什么”。因此我们需要引入一个【问题优化】模块，来对用户当前的问题进行补全，从而使得知识库搜索能够搜索到合适的内容。使用补全后效果如下：
 
 ![](/imgs/coreferenceResolution3.jpg)
 

diff --git a/packages/global/common/error/code/team.ts b/packages/global/common/error/code/team.ts
@@ -3,11 +3,25 @@ import { ErrType } from '../errorCode';
 /* team: 500000 */
 export enum TeamErrEnum {
   teamOverSize = 'teamOverSize',
-  unAuthTeam = 'unAuthTeam'
+  unAuthTeam = 'unAuthTeam',
+  aiPointsNotEnough = 'aiPointsNotEnough',
+  datasetSizeNotEnough = 'datasetSizeNotEnough',
+  datasetAmountNotEnough = 'datasetAmountNotEnough',
+  appAmountNotEnough = 'appAmountNotEnough',
+  pluginAmountNotEnough = 'pluginAmountNotEnough',
+  websiteSyncNotEnough = 'websiteSyncNotEnough',
+  reRankNotEnough = 'reRankNotEnough'
 }
 const teamErr = [
   { statusText: TeamErrEnum.teamOverSize, message: 'error.team.overSize' },
-  { statusText: TeamErrEnum.unAuthTeam, message: '无权操作该团队' }
+  { statusText: TeamErrEnum.unAuthTeam, message: '无权操作该团队' },
+  { statusText: TeamErrEnum.aiPointsNotEnough, message: 'AI积分已用完~' },
+  { statusText: TeamErrEnum.datasetSizeNotEnough, message: '知识库容量不足，请先扩容~' },
+  { statusText: TeamErrEnum.datasetAmountNotEnough, message: '知识库数量已达上限~' },
+  { statusText: TeamErrEnum.appAmountNotEnough, message: '应用数量已达上限~' },
+  { statusText: TeamErrEnum.pluginAmountNotEnough, message: '插件数量已达上限~' },
+  { statusText: TeamErrEnum.websiteSyncNotEnough, message: '无权使用Web站点同步~' },
+  { statusText: TeamErrEnum.reRankNotEnough, message: '无权使用检索重排~' }
 ];
 export default teamErr.reduce((acc, cur, index) => {
   return {

diff --git a/packages/global/common/error/code/user.ts b/packages/global/common/error/code/user.ts
@@ -5,15 +5,13 @@ export enum UserErrEnum {
   unAuthUser = 'unAuthUser',
   unAuthRole = 'unAuthRole',
   binVisitor = 'binVisitor',
-  balanceNotEnough = 'balanceNotEnough',
-  aiPointsNotEnough = 'aiPointsNotEnough'
+  balanceNotEnough = 'balanceNotEnough'
 }
 const errList = [
   { statusText: UserErrEnum.unAuthUser, message: '找不到该用户' },
   { statusText: UserErrEnum.binVisitor, message: '您的身份校验未通过' },
   { statusText: UserErrEnum.binVisitor, message: '您当前身份为游客，无权操作' },
-  { statusText: UserErrEnum.balanceNotEnough, message: '账号余额不足~' },
-  { statusText: UserErrEnum.aiPointsNotEnough, message: 'AI积分已用完~' }
+  { statusText: UserErrEnum.balanceNotEnough, message: '账号余额不足~' }
 ];
 export default errList.reduce((acc, cur, index) => {
   return {

diff --git a/packages/global/core/module/node/constant.ts b/packages/global/core/module/node/constant.ts
@@ -20,9 +20,7 @@ export enum FlowNodeInputTypeEnum {
   aiSettings = 'aiSettings',
 
   // ai model select
-  selectChatModel = 'selectChatModel',
-  selectCQModel = 'selectCQModel',
-  selectExtractModel = 'selectExtractModel',
+  selectLLMModel = 'selectLLMModel',
 
   // dataset special input
   selectDataset = 'selectDataset',
@@ -58,7 +56,7 @@ export enum FlowNodeTypeEnum {
   pluginModule = 'pluginModule',
   pluginInput = 'pluginInput',
   pluginOutput = 'pluginOutput',
-  cfr = 'cfr'
+  queryExtension = 'cfr'
 
   // abandon
 }

diff --git a/packages/global/core/module/template/system/aiChat.ts b/packages/global/core/module/template/system/aiChat.ts
@@ -31,7 +31,7 @@ export const AiChatModule: FlowModuleTemplateType = {
     Input_Template_Switch,
     {
       key: ModuleInputKeyEnum.aiModel,
-      type: FlowNodeInputTypeEnum.selectChatModel,
+      type: FlowNodeInputTypeEnum.selectLLMModel,
       label: 'core.module.input.label.aiModel',
       required: true,
       valueType: ModuleIOValueTypeEnum.string,