QQ空间爬虫,直接调用空间后端接口,更快更稳定。
支持爬取指定uin的说说信息,图片,评论列表和赞列表。
- Python 3,开发环境为Python 3.6
- MongoDB
- requests, selenium, pymongo库
- Windows系统,且安装了Google Chrome,如果系统或浏览器不同,或浏览器版本和驱动不匹配,请手工更换项目中的浏览器驱动
确保运行环境要求都已满足。
创建一个qz_auth.cfg文件,前两行分别输入需要登陆的QQ号和密码。
接下来,请修改qz_launcher.py中的QQ号,设置为需要爬取的QQ号,运行即可开始爬取。
- 适配QQ空间的升级
- 增加更多的爬取模式
- 编写详细的使用指南
- 编写QQ空间API文档