PassiveDataSorting 0.1

自动化被动扫描系统分为数据源、数据处理、漏洞验证等三个子系统，本系统属于数据处理部分，抓取流量镜像的数据，进行分析过滤去重等操作，发送至消息队列中，等待PassiveSecCheck消费

Author

咚咚呛

如有其他建议，可联系微信280495355

Support

满足如下安全需求

1、支持大流量镜像(比如核心交换机上对负载均衡nginx或waf流量镜像)数据处理，当流量过大会主动丢弃
2、支持流量对http解析
2、支持按照规则进行去重、去静态、去相似等方法，已集成部分规则，另一部分规则需要按照场景和日志进行统计设定
3、支持按照五元素json存储结果到redis(方法、协议、域名、接口、参数)

技术细节如下：

1、基于scapy进行网卡流量数据处理，流量过大会主动丢弃部分数据
2、基于scapy_http进行流量的http解析
3、支持http协议的GET/POST方法，针对POST防止，暂只支持application/x-www-form-urlencoded(如body为user=test&password=123456)类型
4、自定义url过滤规则保存在redis的中，可动态修改，支持如下：匹配任意五元素，进行放行、拦截、替换等操作，如去静态资源、去相似url、去敏感域名等。
5、去重过滤，计算出MD5(方法+接口)值，利用redis唯一key进行去重
6、结果redis存储Key是去重md5值，VALUE是json存储的五元素
7、结果为反复覆盖式存储，可保持请求最新

Test Environment

centos 7

python 2.7.5

Tree

PassiveDataSorting
----lib                #模块库文件
----run.py		   	   #程序主程序

Deploy

1、任意机子安装redis
$ yum install redis
$ vim /etc/redis.conf
# 更改bind 127.0.0.1 改成了 bind 0.0.0.0
# 添加一行requirepass xxxxx密码
# 修改daemonize yes
$ redis-server /etc/redis.conf

2、流量镜像数据处理server
1） $ yum install scapy
2） $ pip install -r requirements.txt
3） 配置./lib/config.py 文件，填入Redis和相关规则，后期可以直接在redis进行规则更改添加
4） $ nohup python run.py &

Config

配置目录：./lib/config.py

# redis信息
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
REDIS_PASSWORD = 'xxxxxxx'
REDIS_DB = 0

# field 代表5元素中字段名称，method/protocol/domain/ng_request_url_short/arg
# rule 代表需要匹配的正则
# remarks 代表备注信息
# action代表行为，open匹配上则放过没匹配则拦截、lock匹配上拦截，replace匹配上替换
# replace代表，当action为replace为时，匹配上的替换为replace中的字串
conf_sniffer_rule = [
    {'field': 'method', 'rule': '^(GE|POS)T$', 'remarks': '方法过滤只允许GET/POST', 'action': 'open'},
    {'field': 'protocol', 'rule': '^http://$', 'remarks': '协议过滤只允许http://', 'action': 'open'},
    {'field': 'domain', 'rule': 'www\.test\.com', 'remarks': '禁止www.test.com', 'action': 'lock'},
    {'field': 'ng_request_url_short', 'rule': '(.+)\.(ico|mp3|js|jpg|jped|gif|xml|zip|css|png|txt|ttf|rar|gz)$',
     'remarks': '排除静态文件', 'action': 'lock'},
    {'field': 'ng_request_url_short', 'rule': '(\d+){5,}', 'replace': 'xxxxxx', 'remarks': '接口出现5位以上数字则把相关数字替换为xxxxx',
     'action': 'replace'},
    {'field': 'ng_request_url_short', 'rule': '/$', 'replace': '', 'remarks': '假如接口最后一位为/进行删除',
     'action': 'replace'}
]

Screenshot