(1)这是一个比较老的爬虫信息,获取财务报表的多种信息,当时设计是为了从每个季度来对股票进行预测
(2)里面包含数据库的插入
(1)这是华尔街见闻的一个爬虫,感谢它对于数据的处理并没有太复杂、每个版块有对应的api(不过不定时会有所变化)
(2)数据量比较齐全而且还不错
(1)这个的爬取需要用到cookie,但是这里的cookie是定时的(大概几分钟就会变化)
(2)对于这种我只能想到用selenium来进行获取了(大佬们有什么方法欢迎向我说下,本人十分有空)
(1)这是个时间与时间戳之间转化的一个文件(上网一堆)
(1)这是一个通过东方财富来获取信息(感谢东方大佬手下留情)
(2)通过解析网站获取信息
(1)通过获取这五大财经网站的搜索功能获取相关的新闻信息(感谢五大机构手下留情)
(2)爬取难点:有的需要代理、都需要headers、有的需要Referer
(3)基本都会存在api,如果没有就只能网页解析数据,太复杂成本太高就用selenium(用到这个也就是无奈)
(1)将数据从csv导入数据库