Python 网络爬虫实例

分享各种网站数据爬虫实例，全部爬虫代码开源，可供学习和使用，不可用于非法用途。

爬虫教程

1. 基础网站爬虫
2. 无 HTTPS 证书网站爬虫
3. HTTP 认证网站爬虫
4. 慢速网站爬虫
5. 异步加载网站爬虫
6. 动态页面渲染网站爬虫
7. 无页码翻页网站爬虫
8. 异步智能页面网站爬虫
9. 模拟登陆网站爬虫

爬虫名单

• 豆瓣 Top250 电影榜单爬虫
• 京东商品数据爬虫
• 淘宝商品数据爬虫
• 糗事百科段子爬虫
• 彼岸图网图片爬虫
• GXNAS 精美壁纸图片爬虫
• 抖音无水印视频爬虫
• 哔哩哔哩视频弹幕爬虫
• 哔哩哔哩视频评论爬虫
• 铅笔小说网爬虫
• 半次元无水印图片爬虫（未上传）
• 下厨房网数据爬虫
• 百度百科爬虫项目
• 北京市政务数据资源网爬虫
• 51Job 职位数据爬虫

未来计划

• 58 同城租房数据爬虫
• 半次元视频爬虫
• 知乎数据爬虫
• 微博数据爬虫

现存问题

哔哩哔哩视频弹幕爬虫：
只能获取单 P 视频弹幕
哔哩哔哩视频评论爬虫：
没有获取评论总页数
每次运行只获取一页评论
铅笔小说网爬虫：
覆盖保存时不明原因无响应
58 同城租房数据爬虫：
需要破解数字加密

改进计划

铅笔小说网爬虫：
爬取限定范围章节

学习交流

QQ： 2437596031
微信： YongQuanlolu