Skip to content

Commit

Permalink
新增 任务管理相关文档
Browse files Browse the repository at this point in the history
  • Loading branch information
kkangert committed Jul 27, 2024
1 parent cefe45f commit 002abb7
Show file tree
Hide file tree
Showing 3 changed files with 40 additions and 2 deletions.
7 changes: 6 additions & 1 deletion kspider-docs/.vitepress/config.mts
Original file line number Diff line number Diff line change
Expand Up @@ -178,7 +178,12 @@ export default defineConfig({
{
text: '任务管理',
collapsed: true,
items: []
items: [
{
text: '介绍',
link: '/TaskManage/intro.md'
}
]
},
{
text: '函数管理',
Expand Down
6 changes: 5 additions & 1 deletion kspider-docs/FlowManage/intro.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,14 +12,18 @@ Kspider 是一个爬虫\WEB 自动化开发平台,以图形化方式定义流
填入流程名称与描述后点击`确定`按钮

## 流程设计

![流程设计](images/flowDesign_index.png)
通过可视化拖拽形式快速设计出流程

## 流程测试

可完整运行当前设计的流程,快速测试流程,与`流程调试`的区别在于`流程测试`会完整执行,直到错误出现或流程终止

## 流程调试

可完整运行当前设计的流程,快速测试流程,与`流程测试`的区别在于`流程调试`是属于单步调试,用户触发`下一步`才会执行

## 流程运行
流程的正式运行需要通过任务驱动形式,注入`metedata`以定时运行或一次性运行方式,流程运行参考[任务管理](/TaskManage/intro.md)

流程的正式运行需要通过任务驱动形式,注入`metedata`以一次性或周期性运行方式,流程运行参考[任务管理](/TaskManage/intro.md)
29 changes: 29 additions & 0 deletions kspider-docs/TaskManage/intro.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,29 @@
## 简介

Kspider 是一个爬虫\WEB 自动化开发平台,流程的正式运行需要通过任务驱动形式,注入`metedata`以一次性或周期性运行方式,本文当将介绍 Kspider 的`metedata`注入方式,以及任务运行方式,涵盖`任务创建``定时任务``产物下载`

## metedata

`metedata`是一个`json`格式的数据,包含任务所需要的参数,通常为该任务对应流程的可变参数,`流程`相当于函数,而`任务`相当于使用者,`metedata`则为使用者的具体参数

如设计的流程目的为爬取指定年份`西安今年人均收入`,并截图搜索页面,其中可以看出,如果需要让该流程通用,则`西安`是一个`metedata`属性,则可定义为如下:

```json
{
"city": "西安"
}
```

将此`metedata`注入到任务中,即可完成任务创建,后续`流程`所有节点都可访问此属性

## 任务创建

创建流程任务,驱动流程运行

## 定时任务

使流程以一次性或周期性运行

## 产物下载

流程输出的数据、文件等下载

0 comments on commit 002abb7

Please sign in to comment.