-
Notifications
You must be signed in to change notification settings - Fork 1.2k
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
无法看见转推信息; 评论,点赞,回复数等也是0 #190
Comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1.你是怎么操作的?
一台机器上默认开启所有任务。
celery -A tasks.workers worker -l info -c 1
2.你期望的结果是什么?
转推所有相关信息,包括:
1.转推数,
2.所有转推人列表
3.转推的原作者,
4.原围脖发送时间,
5.原微博内容,
3.实际上你得到的结果是什么?
执行:python3 first_task_execution/repost_first.py
得到:2020-02-28 17:32:42 - crawler - INFO - There are 11836 repost urls have to be crawled
然后就没了
在抓取用户信息时 执行 celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1
得到
请问UI界面的用户信息是不是我抓取的微博的博主的信息,还是随机抓取的?也就是说必须先有种子数据(先抓取一定量的微博)才能再抓取相对应的其他信息,如果不抓取任何微博,其他一切数据抓取都是0。
关于 https://github.com/SpiderClub/weibospider/wiki/WeibSpider%E4%B8%AD%E6%89%80%E6%9C%89%E4%BB%BB%E5%8A%A1%E5%8F%8A%E5%85%B6%E4%BD%9C%E7%94%A8%E8%AF%B4%E6%98%8E 任务表述
comment_crawler | 抓取第一页评论的任务
-- | --
comment_page_crawler | 根据第一页评论分发的抓取其它页评论的任务
repost_crawler | 抓取第一页转发的任务
repost_page_crawler | 抓取第一页之后的转发数据
praise_crawler | 抓取第一页点赞的任务
praise_page_crawler | 抓取第一页之后的点赞数据
这个“第一页之后”是什么意思?
mysql里面有一个user_relation 是储存什么用的?任何一个任务都无法填充这个表。
在UI界面内的“微博信息”的用户ID和“用户信息”里的用户ID无法在对方搜索栏中找到。
“用户信息”是🈯️哪些用户?是转发的用户?微博信息是博主信息?
执行所有任务时报错。
在UI界面上,找不到转推信息,怎么设置才能看见。还是说要去mysql手动找?
评论,点赞,回复数为什么是0呢
4.你使用的是哪个版本的WeiboSpider? 你的操作系统是什么?是否有读本项目的常见问题?
UBUNTU18.04,master
The text was updated successfully, but these errors were encountered: