Skip to content

kingname/Tinepeas

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Tinepeas——豌豆尖

这个框架我命名为 Tinepeas,中文名叫做豌豆尖。以表达我对杭州吃不到豌豆尖的遗憾之情和对豌豆尖的想念。

Tinepeas 的数据流如下图所示:

基于 Scrapy 的数据流,我们省略了 Downloader Middleware、Spider Middleware 和 Pipeline,仅保留核心的爬虫定义、调度和网络请求。

Scrapy 基于 Twisted实现异步请求,而Tinepeas使用Asyncio 和 aiohttp 实现异步请求。

项目还在开发中,请勿用于生产环境。

关于本项目的设计原理,请阅读我的公众号文章:

从零开发一个爬虫框架——Tinepeas

About

Tinepeas,我们自己的爬虫框架。

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages