支持代理配置

[imp0wd3r]

希望可以支持代理配置，这样可以方便在不同网络环境下进行测试，虽可以通过 proxychains 等方法实现，但是不如原生支持来的方便：）

[Qianlitp]

爬虫返回的URL结果，并不是所有的都会发出网络请求。所以目前建议的方法是将爬虫返回的URL结果，手动设置代理发包，就像我在系统调用部分所说的，使用python反序列化之后即可。

当然，爬虫任务结束后，将结果自动设置代理循环发包，也可以在crawlergo中实现，但我不知道有多少人需要这个功能。

[Sw0rrdD]

那我在chrome中设置了代理是否对程序起作用呢

[Qianlitp]

chrome设置代理 只能对发出的网络请求起作用，不是所有的URL都会发出请求，比如从注释、JS文件等地方解析出来的URL，不会发出网络请求。

[Qianlitp]

#21

[0x3f97]

爬虫返回的URL结果，并不是所有的都会发出网络请求。所以目前建议的方法是将爬虫返回的URL结果，手动设置代理发包，就像我在系统调用部分所说的，使用python反序列化之后即可。

当然，爬虫任务结束后，将结果自动设置代理循环发包，也可以在crawlergo中实现，但我不知道有多少人需要这个功能。

加上这个功能可以很方便的结合xray使用

[Qianlitp]

最新版的 --push-to-proxy 选项可以将结果推送到代理地址。

[timwhitez]

--push-to-proxy选项是默认所有url都会请求是吧？

[Qianlitp]

--push-to-proxy选项是默认所有url都会请求是吧？

是将同域名结果，即 req_list中的结果推送到代理地址。

[timwhitez]

好的，懂了

[timwhitez]

level=warning msg="add Push2Proxy task failed: this pool has been closed"
这个报错是什么原因呢，刚刚测试了几次都是这样

[Qianlitp]

协程同步的问题，更新了一下，重新下载试试

[hex0wn]

使用最新的0.2.1版本又出现了 add Push2Proxy task failed: this pool has been closed
而且0.2.1版本在命令行下显示的version为0.2.0

[Qianlitp]

使用最新的0.2.1版本又出现了 add Push2Proxy task failed: this pool has been closed
而且0.2.1版本在命令行下显示的version为0.2.0
更新了一版

[Qianlitp]

加入了请求代理选项，--request-proxy。