-
爬虫全天不间断获取公开租房信息,汇总处理分析后落地到数据库中.
-
使用高德地图API直接在地图上展示房源位置,方便查看租房地理位置,同时提供住址到公司的路线计算（公交+地图 or 步行导航）以及预估耗时.
-
通过实时爬虫获取公开租房信息，直接在高德地图上直观展示房源位置+基础信息，同时提供住址到公司的路线计算（公交+地图 or 步行导航），已实现【豆瓣租房小组】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家园】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【贝壳租房】、【v2ex租房帖子】、【上海互助租房】等房源信息数据爬取，部分房源价格支持筛选功能。
-
支持个人收藏房源信息,以便筛选自己合适的房子.
- vue.js 冻爷Erane 已全部完成
-
基于dotnet core 2.2,使用了 dapper ,RestSharp , Jieba.net, NEST...
-
数据库使用 MySQL, 缓存使用redis
-
House-Map.Crawler/src项目为爬虫代码
-
House-Map.Crawler/API项目为API代码
-
House-Map.Crawler/node-proxy项目为某些API的服务转发/解密
-
每个项目都支持Docker打包,都可以自行打包独立使用
-
由于单服务器爬虫比较低效,简单改造成分布式爬虫, 所有的爬虫均通过crawler项目中暴露API供外部启动
-
CI自动化发布使用Jenkins +Docker(这部分有兴趣可以看下:手把手教你用Jenkins做Docker自动化发布)
-
appsetting.json配置和初始化MySQL脚本
appsetting.json配置如下:
{
"MySQLConnectionString": "server=mysql地址;port=端口号;database=数据库名字;uid=账号;pwd=密码;charset='utf-8';Allow User Variables=True;Connection Timeout=30;SslMode=None;",
"RedisConnectionString": "redis数据库地址:端口,name=名字,keepAlive=1800,syncTimeout=10000,connectTimeout=360000,password=访问密码,ssl=False,abortConnect=False,responseTimeout=360000,defaultDatabase=1",
"EmailAccount": "QQ邮箱账号",
"EmailPassword": "QQ邮箱密码",
"EmailSMTPDomain": "smtp.qq.com",
"EmailSMTPPort": 587,
"SenderAddress": "QQ邮箱账号",
"ReceiverAddress": "QQ邮箱账号",
"ReceiverName": "liguobao-test",
"EncryptionConfigCIV": "加密向量,16个16进制数字",
"EncryptionConfigCKEY": "加密秘钥,16个16进制数字"
}数据库初始化脚本:HouseCrawler.Core/Dump20180512-House-Structure.sql
数据库爬虫配置数据:HouseCrawler.Core/Dump20180512-House-Config.sql
- dotnet core mvc + 实时爬虫 + 地图定位展示
- dotnet MVC 4 + 实时爬虫 + 地图定位展示