- 百科类网站全站词条抓取,包括百度百科、互动百科、wiki中英文站点;
- 支持断点续爬;
- 支持缓存百科词条页面;
- 可分布式部署;
- 经过单机测试,在i9-9900K 内存64G 100M网络带宽下,百度百科词条一天可以抓取大概50w条(默认系统配置下);互动百科测试结果 类似,wiki网站抓取数据量较少,收到配置的代理延迟影响较大;
- 安装依赖
pip install -r requirement.txt
- 初始数据库
python initialize_db.py
- 初始化爬虫种子
python initialize_tasks_seeds.py
- 开始运行爬虫
python start_spiders.py
- 单机,多次运行
python start_spiders.py
- 多机,配置好redid 和mysql 服务器,多次运行
python start_spiders.py
- 理论上来说,只要你给的种子够全面,你就可以尽可能的抓取到更多的词条信息
- 种子链接 提取码:iagw 来源于 百度百科 2012 dump
- 多进程爬取下,Redis 的内存会溢出(64G),目前改为 1.5T内存尚未遇到BUG,运行三个小时,已使用内存高达38G
- 大家要是感兴趣,请动动你们勤劳的小手儿给我点个💗💗吧!非常感谢~
- 欢迎大家讨论并给作者提出一些宝贵的改进建议;