基于 eBPF 采集网络可观测数据

[KayzzzZ]

背景

参考 Pixie 和 Datadog，我们计划建设 eBPF 网络监控插件。
目前提供的能力：

1. 通过 eBPF 采集 TCP 连接的生命周期，获取连接信息，包括 address、namespace、state 等；
2. 基于 eBPF 采集 HTTP 协议的字节流，并在用户态中进行解析和匹配实现服务性能监控；
3. 支持内核态过滤数据。

设计

主要分为三部分：

1. eBPF 事件采集：针对 syscall 和内核协议栈的部分 kernel function 埋点，观测 TCP 连接的生命周期并获取传输字节流；
2. eBPF 事件处理：基于内核上报的事件，在用户态维护 TCP 连接表（ConnTracker）并进行协议解析；
3. 通用数据处理：进行聚合、采样等处理，根据我们预先设定的 Metric/Log/Trace 的数据模型，将解析成功的事件（Record）进行标准化。

架构

具体的架构如下图所示：

其中，采集配置如下：

inputs:
  - Type: input_network_observer
    ProbeConfig:
      EnableProtocols:  # 目前仅支持 HTTP
        - "http"
      EnableLog: true # 是否支持以日志格式上报
      EnableMetric: false # 是否支持以指标格式上报
      EnableSpan: false #是否支持以 Span 格式上报
      EnableCidFilter: false #是否开启 ContainerID 的过滤，如果选择 true，则可以通过 EnableCids 来配置

eBPF 事件采集

hook 点与采集内容如下所示：

用途	Hook 点	类型	采集内容	字段
用于观测 L7 协议	sys_enter_write	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_write	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_writev	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_writev	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_read	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_read	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_readv	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_readv	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_sendto	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_sendto	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_recvfrom	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_recvfrom	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_sendmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_sendmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_sendmmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_sendmmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_recvmmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_recvmmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_enter_recvmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
	sys_exit_recvmsg	tracepoint	字节流和进程信息	fd, pid, start, buf
用于观测 TCP 生命周期	tcp_connect	kprobe	tcp 连接信息	ip, port, peer ip, peer port, namespace, family
	tcp_close	kprobe	tcp 关闭连接	ip, port, peer ip, peer port, namespace, family
	tcp_sendmsg	kprobe	tcp 发送数据	ip, port, peer ip, peer port, namespace, family
	tcp_recvmsg	kprobe	tcp 接收数据	ip, port, peer ip, peer port, namespace, family

eBPF 事件处理

事件获取

通过 coolbpf 来管理 eBPF Object 的加载和 perf buffer 的管理。
在用户态，我们需要定时拉取 perf buffer 的数据。

ConnTracker

在用户态，我们会为每一条 TCP 连接分配一个 ConnTracker 对象，用来管理连接的元信息。
我们还需要一个 ConnTrackerManager 来管理所有的 ConnTracker，主要包含以下能力：

• ConnTracker Map：管理所有 ConnTracker，支持增删改查；
• GC：正常关闭的 TCP 连接我们会在数据处理完成之后立刻删除；非正常关闭的 TCP 连接我们通过阈值回收。

协议解析

当我们收到 L7 的 Data 事件后，我们将进行异步的协议解析。目前支持的协议解析器只有 HTTP，后续计划扩展 DNS、MySQL、Kafka、Redis。

通用数据处理

协议解析完成后，我们需要进行如下流程：

• 聚合：在固定时间窗口内，对某些字段相同的 record 进行累加，生成 Metrics 指标；
• 采样：针对 Log 和 Trace 数据，我们可以配置采样率；
• 转化：在生成 Metric/Trace/Log 数据之前，我们需要按照标准将字段进行格式化。

数据模型

需要支持 Metric、Trace、Log 三种数据类型的上报。
通用标签 Key 的定义参考下表：

分组	简介	Log	Metric	Trace
K8s 资源	namespace	namespace	namespace	k8s.namespace.name
	pod_name	pod_name	pod_name	k8s.pod.name
	pod_ip	pod_ip	pod_ip	k8s.pod.ip
	peer_pod_ip	peer_pod_ip	peer_pod_ip	k8s.peer.pod.ip
	peer_workload_kind	peer_workload_kind	peer_workload_kind	k8s.peer.workload.kind
	peer_workload_name	peer_workload_name	peer_workload_name	k8s.peer.workload.name
	peer_namespace	peer_namespace_name	peer_namespace_name	k8s.peer.namespace.name
	container_name	container_name	container_name	container.name
	workload_name	workload_name	workload_name	k8s.workload.name
	workload_kind	workload_kind	workload_kind	k8s.workload.kind
容器信息	container_image	container_image_name	container_image_name	container.image.name
	container_id	container_id	container_id	container.id
宿主机信息	hostname	host_name	host_name	host.name
	hostip	host_ip	host_ip	host.ip
进程信息	pid	process_pid	process_pid	process.pid
	start time	process_start_time	-	process.start.time
连接信息	socket fd	net_socket_fd	net_socket_fd	net.socket.fd
	net namespace	net_namespace	net_namespace	net.namespace
	family	net_family	net_family	net.family
	ip	net_ip	net_ip	net.ip
	port	net_port	net_port	net.port
	peer ip	net_peer_ip	net_peer_ip	net.peer.ip
	peer port	net_peer_port	net_peer_port	net.peer.port
HTTP 信息	request route	http_route	http_route	http.route
	request body	http_request_body	-	http.request.body
	method	http_method	-	http.method
	response body	http_response_body	-	http.response.body
	status code	http_status_code	http_status_code	http.status.code
	response headers	http_response_header-<header_key>	-	http.response.header-<header_key>
	request headers	http_request_header-<header_key>	-	http.request.header-<header_key>