feapder v1.5.3

更新

1. 日志支持带颜色输出，且支持更多的配置
2. 强化 tools.format_time 函数

feapder v1.5.2

更新

1. 下载时间间隔支持随机
2. 生成的项目包含爬虫文档及数据校验文档

feapder v1.5.1

更新

1. 爬虫支持重复运行

举例说明

import feapder


class AirSpiderDemo(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    # 循环运行，本次结束后马上开始下一次
    spider = AirSpiderDemo()
    while True:
        spider.start()
        spider.join() # 等待结束

    # 直接开启10个爬虫
    # for i in range(10):
    #     spider = AirSpiderDemo()
    #     spider.start()

feapder v1.5.0

Bug Fixes

1. 修复浏览器渲染 不自动拼装绝对连接问题

feapder v1.4.9

更新

1. 邮件报警支持自定义邮件服务器
2. 配置文件整理

feapder v1.4.8

更新

1. 浏览器渲染支持自定义参数
2. 支持firefox浏览器渲染
3. redis 断开自动重连
4. 优化mongo入库效率
5. feapder create 支持创建cookie、配置文件
6. 配置文件新增REQUEST_TIMEOUT参数

feapder v1.4.7

更新

1. 支持mongo存储
2. Request支持携带非基本类型的数据
3. AirSpider 支持爬虫开始与结束的回调函数

Bug Fixes

1. 修复拼接sql时与数据库保留关键字冲突问题
2. 解决redis2.x 3.x版本不兼容问题，即3.x存储dict、list、tuple报错问题
3. 修复创建item，因不同库有同名表导致item字段不准确问题

feapder v1.4.6

更新

1. 浏览器渲染模式下response携带browser, 可操控浏览器
2. download_midware 支持自定义下载, 不使用框架内置下载器

    def download_midware(self, request):
        response = requests.get(request.url)
        return request, response

Bug Fixes

1. render_time 参数不存在bug

feapder v1.4.5

更新

1. 支持企业微信报警
2. 支持响应校验

    def validate(self, request, response):
        """
        @summary: 校验函数, 可用于校验response是否正确
        若函数内抛出异常，则重试请求
        若返回True 或 None，则进入解析函数
        若返回False，则抛弃当前请求
        可通过request.callback_name 区分不同的回调函数，编写不同的校验逻辑
        ---------
        @param request:
        @param response:
        ---------
        @result: True / None / False
        """

        pass

feapder v1.4.4

更新

1. 支持指定浏览器渲染时长