Skip to content

ciciandjojo/getDataFormEastAndsina

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

爬虫财经信息(数据报表、新闻数据)

financial.py

(1)这是一个比较老的爬虫信息,获取财务报表的多种信息,当时设计是为了从每个季度来对股票进行预测
(2)里面包含数据库的插入

wallstreet.py

(1)这是华尔街见闻的一个爬虫,感谢它对于数据的处理并没有太复杂、每个版块有对应的api(不过不定时会有所变化)
(2)数据量比较齐全而且还不错

同花顺.py

(1)这个的爬取需要用到cookie,但是这里的cookie是定时的(大概几分钟就会变化)
(2)对于这种我只能想到用selenium来进行获取了(大佬们有什么方法欢迎向我说下,本人十分有空)

时间戳.py

(1)这是个时间与时间戳之间转化的一个文件(上网一堆)

获取基本信息.py

(1)这是一个通过东方财富来获取信息(感谢东方大佬手下留情)
(2)通过解析网站获取信息

证券之星——金融界——中国搜索——东方财富——中金证券.py

(1)通过获取这五大财经网站的搜索功能获取相关的新闻信息(感谢五大机构手下留情)
(2)爬取难点:有的需要代理、都需要headers、有的需要Referer
(3)基本都会存在api,如果没有就只能网页解析数据,太复杂成本太高就用selenium(用到这个也就是无奈)

pymysql_get_data_num.py

(1)将数据从csv导入数据库

About

爬虫五个财经网站,使用它们的搜索功能

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages