GitHub - yellowaug/pythonpro: 智联招聘，广西人才网工作岗位爬虫

yellowaug / pythonpro Public

Notifications You must be signed in to change notification settings
Fork 0
Star 2

智联招聘，广西人才网工作岗位爬虫

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 14 Commits
.idea		.idea
hjcproject		hjcproject
README.txt		README.txt
getpostinfo.py		getpostinfo.py
main.py		main.py
runspide.py		runspide.py
searchjob.py		searchjob.py
sql_ctr.py		sql_ctr.py
sqlomp.py		sqlomp.py
test.py		test.py
zlzp_search.py		zlzp_search.py

Repository files navigation

==============================已完成============================================
从广西人才网上获取的信息
搜索结果主页
职位名称，公司名称，工资，工作地区，更新时间，人数，学历，经验要求，公司性质，职位简介
项目子页要获取的信息
公司福利,年龄限制，工作职责，任职要求,公司人数
================================================================================
从智联招聘获取搜索信息
获取了以下信息
公司名称，工资，工作地区，更新时间，人数，学历，经验要求，公司性质，公司福利，公司人数
================================================================================
新增多线程优化程序(多线程还不熟悉，所以就暂时放着）
新增使用OMP框架连接数据库，废弃原来直连数据库的方法
================================================================================
完成了广西人才网的数据库插入功能，
完成了智联招聘数据库的插入功能，
整个爬虫基本上实现了想要的功能虽然有点简陋
没有添加定时任务，打算使用linux自带的定时任务程序
未在linux上进行测试部署。
===============================================================================
数据分析功能：
1.分析公司更新岗位的频次
2.分析岗位的平均工资
3.统计国有单位，大型民营企业，小公司的占比
===============================================================================
在linux上修正了定时程序只运行一次的BUG