wooyuxin

乌云公开漏洞、各大安全网站知识库离线搜索

1.简介

源自wooyun_public的4W公开漏洞和知识库进行拓展，采用python2+mongodb+flask和Elasticsearch搜索引擎。

搜索结果：

2.安装说明

修改配置文件docker-compose.yml

web默认监听端口37527，mongodb默认转发到127.0.0.1:37017，elasticsearch默认转发到127.0.0.1:39200，如有需要可进行修改。

可以将mongodb和elasticsearch数据和日志映射到本地，参见配置文件中注释部分。

注意：WSL中无法将本地文件夹映射到容器中，如果在windows上使用请在cmd下执行。

启动容器

docker-compose up -d

3.数据导入导出

下载离线数据后，将其中的json文件放到json目录下，文件夹放到static目录下。

登录mongodb容器后将json导入数据库中。

注意wooyun_list_wooyun.json为wooyun漏洞数据，需要导入到wooyun_list中，其他数据导入到wooyun_drops中。

docker exec -it wooyun2-mongodb /bin/bash
mongoimport -h 127.0.0.1 --port 27017 -d wooyun -c wooyun_list --file wooyun_list_wooyun.json
mongoimport -h 127.0.0.1 --port 27017 -d wooyun -c wooyun_drops --file=wooyun_drops_wooyun.json

查看数据导入情况：

mongodb可以直接在web主页看到当前数据库中存储的数量。也可以登录容器查看

docker exec -it wooyun2-mongodb /bin/bash
mongo
user wooyun
db.wooyun_drops.count()
db.wooyun_list.count()

数据导入到mongodb后会自动同步到elasticsearch，可以直接通过API接口进行查看。

curl -s http://127.0.0.1:39200/_search?pretty | grep total

同步时间大概需要半个小时以上，如比赛需要使用请提前搭好环境并同步好数据。

导出数据：

# 导出全部数据
mongoexport --db=wooyun --collection=wooyun_drops --out=wooyun_drops.json mongodb://127.0.0.1:27017
mongoexport --db=wooyun --collection=wooyun_list --out=wooyun_list.json mongodb://127.0.0.1:27017

# 指定条件
mongoexport --db=wooyun --collection=wooyun_drops -q '{"producer": {"$eq": "weixin"}}' --out=wooyun_drops_test.json mongodb://127.0.0.1:27017

4.其它

• 本程序只用于技术研究和个人使用，程序组件均为开源程序，漏洞和知识库来源于互联网公开漏洞，版权归wooyun.org及其他各大网站所有。

5.Todo

• 将web的python2改为python3，去除虚拟运行环境。
• 优化elasticsearch初始化部分