Skip to content

智联招聘,广西人才网工作岗位爬虫

Notifications You must be signed in to change notification settings

yellowaug/pythonpro

Folders and files

NameName
Last commit message
Last commit date
Jan 13, 2019
Jan 9, 2019
Jan 18, 2019
Jan 13, 2019
Jan 18, 2019
Jan 17, 2019
Jan 13, 2019
Jan 3, 2019
Jan 18, 2019
Jan 1, 2019
Jan 13, 2019

Repository files navigation

==============================已完成============================================
从广西人才网上获取的信息
搜索结果主页
职位名称,公司名称,工资,工作地区,更新时间,人数,学历,经验要求,公司性质,职位简介
项目子页要获取的信息
公司福利,年龄限制,工作职责,任职要求,公司人数
================================================================================
从智联招聘获取搜索信息
获取了以下信息
公司名称,工资,工作地区,更新时间,人数,学历,经验要求,公司性质,公司福利,公司人数
================================================================================
新增多线程优化程序(多线程还不熟悉,所以就暂时放着)
新增使用OMP框架连接数据库,废弃原来直连数据库的方法
================================================================================
完成了广西人才网的数据库插入功能,
完成了智联招聘数据库的插入功能,
整个爬虫基本上实现了想要的功能虽然有点简陋
没有添加定时任务,打算使用linux自带的定时任务程序
未在linux上进行测试部署。
===============================================================================
数据分析功能:
1.分析公司更新岗位的频次
2.分析岗位的平均工资
3.统计国有单位,大型民营企业,小公司的占比
===============================================================================
在linux上修正了定时程序只运行一次的BUG

About

智联招聘,广西人才网工作岗位爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages