Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

add stability level doc #705

Merged
merged 7 commits into from
Mar 20, 2023
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions docs/cn/SUMMARY.md
Original file line number Diff line number Diff line change
Expand Up @@ -37,6 +37,7 @@
## 数据流水线 <a href="#data-pipeline" id="data-pipeline"></a>

* [概览](data-pipeline/overview.md)
* [插件版本管理](data-pipeline/stability-level.md)
* [输入](data-pipeline/input/README.md)
* [文本日志](data-pipeline/input/file-log.md)
* [容器标准输出](data-pipeline/input/input-docker-stdout.md)
Expand Down
14 changes: 11 additions & 3 deletions docs/cn/data-pipeline/accelerator/delimiter-accelerate.md
Original file line number Diff line number Diff line change
@@ -1,11 +1,17 @@
# 分隔符加速

## 简介

`processor_json_accelerate processor`插件以加速模式实现分隔符日志的字段提取。该方式支持使用引用符对分隔符进行包裹。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。

## 版本

[Stable](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
| --- | --- | --- | --- |
| Type | String | 是 | 插件类型,指定为`processor_delimiter_accelerate`。 |
Expand Down Expand Up @@ -77,11 +83,12 @@

采集`/home/test-log/`路径下的`delimiter.log`文件。

* 输入
- 输入

> 127.0.0.1,07/Jul/2022:10:43:30 +0800,POST,PutData?Category=YunOsAccountOpLog,0.024,18204,200,37,-,aliyun-sdk-java

* 采集配置
- 采集配置

```yaml
enable: true
inputs:
Expand Down Expand Up @@ -110,7 +117,8 @@ flushers:
LogstoreName: test_logstore
```

* 输出
- 输出

```json
{
"__tag__:__path__": "/home/test-log/json.log",
Expand Down
15 changes: 12 additions & 3 deletions docs/cn/data-pipeline/accelerator/json-accelerate.md
Original file line number Diff line number Diff line change
@@ -1,11 +1,17 @@
# json加速

## 简介

`processor_json_accelerate processor`插件以加速模式实现`Json`格式日志的字段提取。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。

## 版本

[Stable](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
| --- | --- | --- | --- |
| Type | String | 是 | 插件类型,指定为`processor_json_accelerate`。 |
Expand Down Expand Up @@ -73,12 +79,14 @@

采集`/home/test-log/`路径下的`json.log`文件。

* 输入
- 输入

```json
{"url": "POST /PutData?Category=YunOsAccountOpLog HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "07/Jul/2022:10:30:28"}
```

* 采集配置
- 采集配置

```yaml
enable: true
inputs:
Expand All @@ -94,7 +102,8 @@ flushers:
LogstoreName: test_logstore
```

* 输出
- 输出

```json
{
"__tag__:__path__": "/home/test-log/json.log",
Expand Down
32 changes: 23 additions & 9 deletions docs/cn/data-pipeline/accelerator/regex-accelerate.md
Original file line number Diff line number Diff line change
@@ -1,11 +1,17 @@
# 正则加速

## 简介

`processor_regex_accelerate processor`插件通过正则匹配以加速模式实现文本日志的字段提取。

备注:该插件目前仅支持与输入插件file_log和输出插件flusher_sls配套使用,且不得与其它加速插件混用。

## 版本

[Stable](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
| --- | --- | --- | --- |
| Type | String | 是 | 插件类型,指定为`processor_regex_accelerate`。 |
Expand All @@ -25,7 +31,6 @@
| MergeType | String | 否 | 日志聚合方式。可选值包括“topic”和“logstore”。如果未添加该参数,则默认使用topic,表示根据topic聚合。 |
| SensitiveKeys | Map<String, Object> | 否 | 脱敏功能,具体信息参见表2。 |


- 表1:时间格式

| 时间格式 | 说明 | 示例 |
Expand Down Expand Up @@ -75,12 +80,15 @@
## 样例

### 单行日志采集

采集`/home/test-log/`路径下的`reg.log`文件,日志内容按照提取字段。

* 输入
- 输入

> 127.0.0.1 - - [07/Jul/2022:10:43:30 +0800] "POST /PutData?Category=YunOsAccountOpLog" 0.024 18204 200 37 "-" "aliyun-sdk-java"' >> /home/test-log/reg.log

* 采集配置
- 采集配置

```yaml
enable: true
inputs:
Expand Down Expand Up @@ -108,7 +116,8 @@ flushers:
LogstoreName: test_logstore
```

* 输出
- 输出

```json
{
"__tag__:__path__": "/home/test-log/reg.log",
Expand All @@ -125,17 +134,21 @@ flushers:
"__time__": "1657161810"
}
```

### 多行日志采集

采集`/home/test-log/`路径下的`regMulti.log`文件,日志内容按照提取字段。

* 输入
```
[2022-07-07T10:43:27.360266763] [INFO] java.lang.Exception: exception happened
- 输入

```plain
[2022-07-07T10:43:27.360266763] [INFO] java.lang.Exception: exception happened
at com.aliyun.sls.devops.logGenerator.type.RegexMultiLog.f2(RegexMultiLog.java:108)
at java.base/java.lang.Thread.run(Thread.java:833)
```

* 采集配置
- 采集配置

```yaml
enable: true
inputs:
Expand All @@ -157,7 +170,8 @@ flushers:
LogstoreName: test_logstore
```

* 输出
- 输出

```json
{
"__tag__:__path__": "/home/test-log/regMulti.log",
Expand Down
4 changes: 4 additions & 0 deletions docs/cn/data-pipeline/aggregator/aggregator-base.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`aggregator_base` `aggregator`插件可以实现对单条日志的聚合。

## 版本

[Stable](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`aggregator_content_value_group` `aggregator`插件可以实现对单条日志按照指定的 Key 进行聚合。

## 版本

[Alpha](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand All @@ -18,14 +22,12 @@

采集`/home/test-log/`路径下的所有文件名匹配`reg.log`规则的文件,使用`processor_regex`提取字段后,再按照字段`url`、`method`字段聚合,并将采集结果发送到SLS。


* 输入

```bash
echo '127.0.0.1 - - [10/Aug/2017:14:57:51 +0800] "POST /PutData?Category=YunOsAccountOpLog" 0.024 18204 200 37 "-" "aliyun-sdk-java"' >> /home/test-log/reg.log
```


* 采集配置

```yaml
Expand Down
4 changes: 4 additions & 0 deletions docs/cn/data-pipeline/aggregator/aggregator-context.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`aggregator_context` `aggregator`插件可以实现根据日志来源对单条日志进行聚合。

## 版本

[Beta](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand Down
4 changes: 4 additions & 0 deletions docs/cn/data-pipeline/aggregator/aggregator-metadata-group.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`aggregator_metadata_group` `aggregator`插件可以实现对PipelineGroupEvents按照指定的 Metadata Key 进行重新聚合。仅支持v2版本。

## 版本

[Alpha](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`flusher_clickhouse` `flusher`插件可以实现将采集到的数据,经过处理后,发送到 ClickHouse,需要 ClickHouse 版本至少为 `22.3`。

## 版本

[Alpha](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`flusher_http` `flusher`插件可以实现将采集到的数据,经过处理后,通过http格式发送到指定的地址。

## 版本

[Alpha](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand Down Expand Up @@ -31,7 +35,7 @@
采集`/home/test-log/`路径下的所有文件名匹配`*.log`规则的文件,并将采集结果以 `custom_single` 协议、`json`格式提交到 `http://localhost:8086/write`。
且提交时,附加 header x-filepath,其值使用log中的 __Tag__:__path__ 的值

```
```yaml
enable: true
inputs:
- Type: file_log
Expand All @@ -46,6 +50,3 @@ flushers:
Protocol: custom_single
Encoding: json
```



Original file line number Diff line number Diff line change
@@ -1,9 +1,13 @@
# Kafka

## 简介
`flusher_kafka`已弃用,后续不再维护,请使用`flusher_kafka_v2`。

`flusher_kafka` `flusher`插件可以实现将采集到的数据,经过处理后,发送到Kafka。

## 版本

[Deprecated](../stability-level.md),请使用`flusher_kafka_v2`

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand All @@ -22,7 +26,7 @@

采集`/home/test-log/`路径下的所有文件名匹配`*.log`规则的文件,并将采集结果发送到Kafka。

```
```yaml
enable: true
inputs:
- Type: file_log
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@

`flusher_kafka_v2` `flusher`插件可以实现将采集到的数据,经过处理后,发送到Kafka。

## 版本

[Beta](../stability-level.md)

## 配置参数

| 参数 | 类型 | 是否必选 | 说明 |
Expand Down Expand Up @@ -58,13 +62,14 @@
- `Version`需要填写的是`kafka protocol version`版本号,`flusher_kafka_v2`当前支持的`kafka`版本范围:`0.8.2.x~2.7.0`。
请根据自己的`kafka`版本号参照下面的`kafka protocol version`规则进行配置。**建议根据自己的`kafka`版本指定对应`protocol version`**,
`kafka protocol version`配置规则如下:
```

```plain
// x代表小版本号
0.8.2.x,0.9.0.x,0.10.0.x,0.10.1.x,0.10.2.x,0.11.0.x,1.0.0,1.1.0,1.1.1,2.0.0,2.0.1,2.1.0,2.2.0,2.3.0,2.4.0,2.5.0,2.6.0,2.7.0
```


- `Brokers`是个数组,多个`Broker`地址不能使用`;`或者`,`来隔开放在一行里,`yaml`配置文件中正确的多个`Broker`地址配置参考如下:

```yaml
enable: true
inputs:
Expand All @@ -80,8 +85,6 @@ flushers:
Topic: KafkaTestTopic
```



## 样例

采集`/home/test-log/`路径下的所有文件名匹配`*.log`规则的文件,并将采集结果发送到Kafka。
Expand Down Expand Up @@ -240,14 +243,17 @@ flushers:
- `content.application`中表示从`contents`中取数据`application`字段数据,如果对`contents`协议字段做了重命名,
例如重名为`messege`,则应该配置为`messege.application`

# 安全连接配置
## 安全连接配置

`flusher_kafka_v2`支持多种安全认证连接`kafka`服务端。

- `PlainText`认证,`ilogtail v1.3.0`开始支持;
- `SASL`认证,`ilogtail v1.3.0`开始支持;
- `TLS`认证,`ilogtail v1.4.0`开始支持;
- `Kerberos`认证(待测试验证),`ilogtail v1.4.0`开始支持;

前面两种配置比较简单,下面主要介绍下`TLS`和`Kerberos`两种认证的配置。

## TLS配置参考

```yaml
Expand Down Expand Up @@ -275,8 +281,11 @@ flushers:
MaxVersion: "1.2"
Topic: KafkaTestTopic
```

**注:** 配置仅供参考,证书文件请自行生成后根据事情情况配置。

## Kerberos配置参考(待验证)

```yaml
enable: true
inputs:
Expand All @@ -301,4 +310,5 @@ flushers:
KeyTabPath: "/etc/security/kafka.keytab"
Topic: KafkaTestTopic
```
**注:** Kerberos认证由于缺乏环境,目前待测试验证,使用中如有问题请及时向社区反馈修复。

**注:** Kerberos认证由于缺乏环境,目前待测试验证,使用中如有问题请及时向社区反馈修复。
Loading