Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

doc: update docs to recommend accelerate plugins #1200

Merged
merged 1 commit into from
Oct 26, 2023
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
15 changes: 14 additions & 1 deletion docs/cn/data-pipeline/accelerator/delimiter-accelerate.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

`processor_delimiter_accelerate processor`插件以加速模式实现分隔符日志的字段提取。该方式支持使用引用符对分隔符进行包裹。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。
备注:该插件目前仅支持与输入插件file_log配套使用,且不得与其它加速插件混用。

## 版本

Expand All @@ -19,6 +19,9 @@
| Quote | Char | 是 | 包裹分隔符的引用符。若引用符为不可见字符,则值为"0x不可见字符在ASCII码中对应的十六进制数"。例如,若引用符为ASCII码中排行为1的不可见字符,则值为0x01。 |
| ColumnKeys | Array | 是 | 解析后的字段名列表。 |
| AcceptNoEnoughKeys | Boolean | 否 | 如果日志中分割出的字段数少于ColumnKeys的元素个数,是否上传已解析的字段。如果未添加该参数,则默认使用false,表示不上传已解析的字段。 |
| LogBeginRegex | String | 否 | 起始行正则表达式,仅当待采集日志为多行日志时使用。支持组合参见表3。 |
| LogContinueRegex | String | 否 | 中间行正则表达式,仅当待采集日志为多行日志时使用。支持组合参见表3。 |
| LogEndRegex | String | 否 | 结尾行正则表达式,仅当待采集日志为多行日志时使用。支持组合参见表3。 |
| FilterKey | Array | 否 | 用于过滤日志的字段。仅当该字段的值与FilterRegex参数中对应设置的正则表达式匹配时,对应的日志才会被采集。 |
| FilterRegex | Array | 否,当FilterKey参数不为空时必选 | 日志字段过滤的正则表达式。该参数元素个数必须与FilterKey参数的元素个数相同。 |
| TimeKey | String | 否 | 用于解析日志时间格式的字段名称。未配置该字段时,默认使用系统时间作为日志时间。 |
Expand Down Expand Up @@ -81,6 +84,16 @@
| all | Boolean | 是 | true | 是否替换该字段中所有的敏感内容。可选值如下:<br>- true(推荐):替换。<br>- false:只替换字段中匹配正则表达式的第一部分内容。 |
| const | String | 否 | "********" | 当type设置为const时,必须配置。 |

- 表3:多行切分正则模式组合

| 正则 | 含义 |
| --- | --- |
| LogBeginRegex | 多行日志有明确的开头模式。开头模式之后的其他日志,跟随开头模式组成多行日志。
| LogBeginRegex,LogContinueRegex | 多行日志有明确的开头模式,中间行模式。不符合模式的其他日志,根据 DiscardUnmatch 进行处理。
| LogBeginRegex,LogEndRegex | 多行日志有明确的开头模式,结尾模式。两者之间的日志会被当做多行日志进行处理,两者之外的日志会根据 DiscardUnmatch 进行处理。
| LogContinueRegex,LogEndRegex | 多行日志有明确的中间行模式,结尾模式。不符合模式的其他日志,根据 DiscardUnmatch 进行处理。
| LogEndRegex | 多行日志有明确的结尾模式。结尾模式之前的其他日志,跟随结尾模式组成多行日志。

## 样例

采集`/home/test-log/`路径下的`delimiter.log`文件。
Expand Down
4 changes: 2 additions & 2 deletions docs/cn/data-pipeline/accelerator/json-accelerate.md
Original file line number Diff line number Diff line change
@@ -1,10 +1,10 @@
# json加速
# Json加速

## 简介

`processor_json_accelerate processor`插件以加速模式实现`Json`格式日志的字段提取。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。
备注:该插件目前仅支持与输入插件file_log配套使用,且不得与其它加速插件混用。

## 版本

Expand Down
2 changes: 1 addition & 1 deletion docs/cn/data-pipeline/accelerator/regex-accelerate.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

`processor_regex_accelerate processor`插件通过正则匹配以加速模式实现文本日志的字段提取。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。
备注:该插件目前仅支持与输入插件file_log配套使用,且不得与其它加速插件混用。

## 版本

Expand Down
2 changes: 2 additions & 0 deletions docs/cn/data-pipeline/processor/processor-json.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,8 @@

`processor_json processor`插件可以实现对`Json`格式日志的解析。

备注:当作为第一个日志解析插件时,建议使用[Json加速](../accelerator/json-accelerate.md)插件替代。

## 支持的Event类型

| LogGroup(v1) | EventTypeLogging | EventTypeMetric | EventTypeSpan |
Expand Down
3 changes: 3 additions & 0 deletions docs/cn/data-pipeline/processor/processor-regex.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,8 @@

`processor_regex processor`插件可以通过正则匹配的模式实现文本日志的字段提取。

备注:当作为第一个日志解析插件时,建议使用[正则加速](../accelerator/regex-accelerate.md)插件替代。

## 版本

[Stable](../stability-level.md)
Expand All @@ -21,6 +23,7 @@
| KeepSource | Boolean | 否 | 是否保留原始字段。如果未添加该参数,则默认使用false,表示不保留。 |
| FullMatch | Boolean | 否 | 如果未添加该参数,则默认使用true,表示只有字段完全匹配Regex参数中的正则表达式时才被提取。配置为false,表示部分字段匹配也会进行提取。 |
| KeepSourceIfParseError | Boolean | 否 | 解析失败时,是否保留原始日志。如果未添加该参数,则默认使用true,表示保留原始日志。 |

## 样例

采集`/home/test-log/`路径下的`reg.log`文件,日志内容按照提取字段。
Expand Down
4 changes: 3 additions & 1 deletion docs/cn/data-pipeline/processor/processor-split-log-regex.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,7 +3,9 @@
## 简介

`processor_split_log_regex processor`插件实现多行日志(例如Java程序日志)的采集。
备注:该插件必须设置为`processor`的第一个插件。

备注:建议使用[正则加速](../accelerator/regex-accelerate.md)或[分隔符加速](../accelerator/delimiter-accelerate.md)插件中的多行切分功能替代。
单独与非加速插件配合时,该插件必须设置为`processor`的第一个插件。

## 版本

Expand Down
Binary file removed pluginmanager/libPluginAdapter.so
Binary file not shown.