Skip to content

Commit

Permalink
update docs to recommend accelerate plugins (alibaba#1200)
Browse files Browse the repository at this point in the history
  • Loading branch information
yyuuttaaoo authored Oct 26, 2023
1 parent d68ae5f commit 788ed30
Show file tree
Hide file tree
Showing 7 changed files with 25 additions and 5 deletions.
15 changes: 14 additions & 1 deletion docs/cn/data-pipeline/accelerator/delimiter-accelerate.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

`processor_delimiter_accelerate processor`插件以加速模式实现分隔符日志的字段提取。该方式支持使用引用符对分隔符进行包裹。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。
备注:该插件目前仅支持与输入插件file_log配套使用,且不得与其它加速插件混用。

## 版本

Expand All @@ -19,6 +19,9 @@
| Quote | Char || 包裹分隔符的引用符。若引用符为不可见字符,则值为"0x不可见字符在ASCII码中对应的十六进制数"。例如,若引用符为ASCII码中排行为1的不可见字符,则值为0x01。 |
| ColumnKeys | Array || 解析后的字段名列表。 |
| AcceptNoEnoughKeys | Boolean || 如果日志中分割出的字段数少于ColumnKeys的元素个数,是否上传已解析的字段。如果未添加该参数,则默认使用false,表示不上传已解析的字段。 |
| LogBeginRegex | String || 起始行正则表达式,仅当待采集日志为多行日志时使用。支持组合参见表3。 |
| LogContinueRegex | String || 中间行正则表达式,仅当待采集日志为多行日志时使用。支持组合参见表3。 |
| LogEndRegex | String || 结尾行正则表达式,仅当待采集日志为多行日志时使用。支持组合参见表3。 |
| FilterKey | Array || 用于过滤日志的字段。仅当该字段的值与FilterRegex参数中对应设置的正则表达式匹配时,对应的日志才会被采集。 |
| FilterRegex | Array | 否,当FilterKey参数不为空时必选 | 日志字段过滤的正则表达式。该参数元素个数必须与FilterKey参数的元素个数相同。 |
| TimeKey | String || 用于解析日志时间格式的字段名称。未配置该字段时,默认使用系统时间作为日志时间。 |
Expand Down Expand Up @@ -81,6 +84,16 @@
| all | Boolean || true | 是否替换该字段中所有的敏感内容。可选值如下:<br>- true(推荐):替换。<br>- false:只替换字段中匹配正则表达式的第一部分内容。 |
| const | String || "********" | 当type设置为const时,必须配置。 |

- 表3:多行切分正则模式组合

| 正则 | 含义 |
| --- | --- |
| LogBeginRegex | 多行日志有明确的开头模式。开头模式之后的其他日志,跟随开头模式组成多行日志。
| LogBeginRegex,LogContinueRegex | 多行日志有明确的开头模式,中间行模式。不符合模式的其他日志,根据 DiscardUnmatch 进行处理。
| LogBeginRegex,LogEndRegex | 多行日志有明确的开头模式,结尾模式。两者之间的日志会被当做多行日志进行处理,两者之外的日志会根据 DiscardUnmatch 进行处理。
| LogContinueRegex,LogEndRegex | 多行日志有明确的中间行模式,结尾模式。不符合模式的其他日志,根据 DiscardUnmatch 进行处理。
| LogEndRegex | 多行日志有明确的结尾模式。结尾模式之前的其他日志,跟随结尾模式组成多行日志。

## 样例

采集`/home/test-log/`路径下的`delimiter.log`文件。
Expand Down
4 changes: 2 additions & 2 deletions docs/cn/data-pipeline/accelerator/json-accelerate.md
Original file line number Diff line number Diff line change
@@ -1,10 +1,10 @@
# json加速
# Json加速

## 简介

`processor_json_accelerate processor`插件以加速模式实现`Json`格式日志的字段提取。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。
备注:该插件目前仅支持与输入插件file_log配套使用,且不得与其它加速插件混用。

## 版本

Expand Down
2 changes: 1 addition & 1 deletion docs/cn/data-pipeline/accelerator/regex-accelerate.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

`processor_regex_accelerate processor`插件通过正则匹配以加速模式实现文本日志的字段提取。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。
备注:该插件目前仅支持与输入插件file_log配套使用,且不得与其它加速插件混用。

## 版本

Expand Down
2 changes: 2 additions & 0 deletions docs/cn/data-pipeline/processor/processor-json.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,8 @@

`processor_json processor`插件可以实现对`Json`格式日志的解析。

备注:当作为第一个日志解析插件时,建议使用[Json加速](../accelerator/json-accelerate.md)插件替代。

## 支持的Event类型

| LogGroup(v1) | EventTypeLogging | EventTypeMetric | EventTypeSpan |
Expand Down
3 changes: 3 additions & 0 deletions docs/cn/data-pipeline/processor/processor-regex.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,8 @@

`processor_regex processor`插件可以通过正则匹配的模式实现文本日志的字段提取。

备注:当作为第一个日志解析插件时,建议使用[正则加速](../accelerator/regex-accelerate.md)插件替代。

## 版本

[Stable](../stability-level.md)
Expand All @@ -21,6 +23,7 @@
| KeepSource | Boolean || 是否保留原始字段。如果未添加该参数,则默认使用false,表示不保留。 |
| FullMatch | Boolean || 如果未添加该参数,则默认使用true,表示只有字段完全匹配Regex参数中的正则表达式时才被提取。配置为false,表示部分字段匹配也会进行提取。 |
| KeepSourceIfParseError | Boolean || 解析失败时,是否保留原始日志。如果未添加该参数,则默认使用true,表示保留原始日志。 |

## 样例

采集`/home/test-log/`路径下的`reg.log`文件,日志内容按照提取字段。
Expand Down
4 changes: 3 additions & 1 deletion docs/cn/data-pipeline/processor/processor-split-log-regex.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,7 +3,9 @@
## 简介

`processor_split_log_regex processor`插件实现多行日志(例如Java程序日志)的采集。
备注:该插件必须设置为`processor`的第一个插件。

备注:建议使用[正则加速](../accelerator/regex-accelerate.md)[分隔符加速](../accelerator/delimiter-accelerate.md)插件中的多行切分功能替代。
单独与非加速插件配合时,该插件必须设置为`processor`的第一个插件。

## 版本

Expand Down
Binary file removed pluginmanager/libPluginAdapter.so
Binary file not shown.

0 comments on commit 788ed30

Please sign in to comment.