【Feature】Add CSV processor | 增加CSV处理插件

[henryzhx8]

CSV格式说明

本插件所期望的规范CSV格式应当符合如下标准：

1. 每条记录必须以行分隔符（通常为“\n”或“\r\n”）作为结束标志；
2. 每条记录应当包括相同数目的字段；
3. 每个字段允许使用双引号括起来，如果字段中包含双引号和分隔符时，必须使用双引号将字段括起来；如果字段中存在前置空白字符时，为避免歧义，也应当使用双引号将字段括起来。
4. 对于字段中的双引号，必须在其之前添加另一个双引号进行转义（即""）。
   需要说明的是，对于违反上述“必须”字样要求的输入，称其为非法输入；对于符合“必须”字样要求但违反“应当”字样要求的输入，称其为不规范输入。

插件描述

本插件的主要功能是对输入日志中指定字段SourceKey中所存储的单行CSV记录进行解析，然后将解析结果分别存储于SplitKeys中的各个字段，并在日志中添加这些字段。根据需要，用户可以通过KeepSource参数来选择是否在日志中保留原始字段SourceKey。

1. 如果CSV记录为非法输入，则插件将保留原始字段，并记录错误；
2. CSV的字段分隔符默认为逗号，用户可以在SplitSep参数中设置自定义分隔符；
3. 本着best-effot服务的原则，允许CSV记录的字段数与SplitKeys的数量不一致：

• 如果CSV记录的字段数小于SplitKeys的数量，则SplitKeys中多余的字段将被忽略；
• 如果CSV记录的字段数大于SplitKeys的数量，则用户可以通过PreserveOthers参数来选择是否保留CSV记录中的多余字段。如果选择保留，则用户可以通过ExpandOthers来进一步选择是否解析多余字段，
  • 若选择否，则多余字段的内容将作为整体存储于“decode_preserve"字段中，并添加到日志中。特别的，如果多余的字段内容中存在不规范内容时，则对其按照《CSV格式说明》进行规范化后，再执行上述存储操作；
  • 若选择是，则用户需要通过ExpandKeyPrefix来额外指定超出字段的命名前缀，插件会将多余字段的解析结果分别存储于这些扩展字段，并添加到日志中。

4. 允许带有前置空白字符的字段不使用双引号括起来，用户可以通过TrimLeadingSpace参数来控制插件在解析时，是否需要忽略字段中的前置空白字符。需要说明的是，该参数控制全局行为，不能针对某个具体字段进行控制。

参数说明

参数	类型	是否必选	说明
SourceKey	String	是	原始字段名。
SplitKeys	String数组	是	解析日志后设置的字段名，例如["date", "ip", "content"]。
PreserveOthers	Boolean	否	如果待分割的字段长度大于SplitKeys参数中的字段长度时，是否保留超出部分。如果未添加该参数，则默认值为false。
ExpandOthers	Boolean	否	是否解析超出部分。如果未添加该参数，则默认值为false。
ExpandKeyPrefix	String	否	超出部分的命名前缀。例如配置expand_，则Key为expand_1、expand_2。
TrimLeadingSpace	Boolean	否	是否忽略字段前置空格。如果未添加该参数，则默认值为false。
SplitSep	String	否	分隔符。如果未添加该参数，则默认值为","。
KeepSource	Boolean	否	是否保留原始字段。如果未添加该参数，则默认值为false。
NoKeyError	Boolean	否	无匹配的原始字段时是否报错。如果未添加该参数，则默认值为false。

示例

插件配置

 {
	......
	"type":"processor_csv",
	"detail":{
		"SourceKey":"csv",
		"SplitKeys":["date", "ip", "content"],
	}
	......
}

输入日志

{
	"csv": "2022-06-09,172.0.0.1,\"{\"\"key1\"\":\"\"value\"\",\"\"key2\"\":{\"\"key3\"\":\"\"string\"\"}}\"",
	......
}

输出日志

{
	"date": "2022-06-09",
	"ip": "172.0.0.1",
	"content": "{\"key1\":\"value\",\"key2\":{\"key3\":\"string\"}}"
	......
}

[messixukejia]

代码已入库