Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

国产刮削修改,增强,新增 #73

Merged
merged 13 commits into from
Feb 7, 2024
Merged

Conversation

kikiyou18
Copy link
Contributor

简单说明

  • 主要参考issues中的一些反馈、建议以及使用过程中出现的问题进行修改
  • 不会qt,用qt designer修改ui文件产生了较大的改变,不清楚为什么,所以没有动ui文件,还请作者将新增的站点加入单文件刮削列表中重新生成布局文件
  • 初学py水平不佳加上整个工程过于庞杂,仅仅简单测试功能没有考虑全局影响,如有纰漏或缺失规范性,请作者酌情自行重写、筛选有效提交
  • guochan中的人名列表取自madouqu,进行简单去重排序,作者可自行将列表独立成一个文件(如actor mapping一样),方便用户自定义人名列表

国产刮削建议

  • 建议作者初始化多个配置文件,按照类型选择配置文件,国产、无码有码、fc2等,目前在程序内混在一起通过程序识别影片类型有切换不够灵活、重复刮削、无效刮削、识别错误等问题
  • 新增的两个网站仅简单测试,主要针对国产影片,非国产不要使用这两个站点
  • 如作者所言,国产影片不具备成熟的刮削条件,所以十分不建议批量的刮削没有番号的影片,频繁的爬取可能会招致严格的反爬措施
  • 国产影片大多数时候应该使用单文件刮削,即找到了影片对应的网页地址并且网页在程序支持的网站列表内,即可使用单文件刮削,这样更准确更有效
  • 没有番号的影片建议下载时就备注好来源信息(可以用tc文件管理),以免查找不到来源无法刮削,同时没有番号往往意味着没有封面图,很多自摄作品无法刮削的情况下,建议自行制作nfo,封面图(求推荐能批量制作封面图,nfo信息的工具)

@sqzw-x sqzw-x self-requested a review February 1, 2024 07:49
Copy link
Owner

@sqzw-x sqzw-x left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

一般函数定义之间应当空两行, 不过这个项目也没有样式约定, 我到时再格式化吧

src/models/crawlers/cableav.py Outdated Show resolved Hide resolved
src/models/crawlers/mdtv.py Outdated Show resolved Hide resolved
src/models/crawlers/cableav.py Show resolved Hide resolved
src/models/core/nfo.py Outdated Show resolved Hide resolved
# 其他非javdb网站取消强制输出该字段
if json_data_nfo['javdbid']:
print(" <javdbid>" + json_data_nfo["javdbid"] + "</javdbid>", file=code)
else:
Copy link
Owner

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

这个地方不要改了, 本来应该用 mosaic 字段判断, 国产或欧美不输出, 其它 JP 影片均输出, 但是 mosaic 具体可能写入什么我都搞不清楚. 另外这个字段仅在 emby 中搭配插件才有实际作用, 所以留着也无妨

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

所有国产影片会强制输出该字段,既然对国产完全没有用处,所以觉得有点多余

@sqzw-x
Copy link
Owner

sqzw-x commented Feb 1, 2024

  • 建议作者初始化多个配置文件,按照类型选择配置文件,国产、无码有码、fc2等,目前在程序内混在一起通过程序识别影片类型有切换不够灵活、重复刮削、无效刮削、识别错误等问题

这个应该是用户自己完成, 毕竟已经提供了多配置功能. 很多刮削网站我自己也没用过, 没法设计一套通用的预设

@kikiyou18
Copy link
Contributor Author

  • 建议作者初始化多个配置文件,按照类型选择配置文件,国产、无码有码、fc2等,目前在程序内混在一起通过程序识别影片类型有切换不够灵活、重复刮削、无效刮削、识别错误等问题

这个应该是用户自己完成, 毕竟已经提供了多配置功能. 很多刮削网站我自己也没用过, 没法设计一套通用的预设

我以为作者既然能够解耦代码应该全局调试过,网站确实很多除非资深骨灰级爱好者和原始创建者,否则确实很多地方的逻辑不清楚为什么要这么设置,并且很多站点的特性不清楚,所以才想作者出面解决一下,预设的配置文件可以解决一些无需代码的功能性问题,既可以提高刮削成功率降低重复刮削又能减少学习使用成本,方便快速上手

@sqzw-x
Copy link
Owner

sqzw-x commented Feb 2, 2024

  • 建议作者初始化多个配置文件,按照类型选择配置文件,国产、无码有码、fc2等,目前在程序内混在一起通过程序识别影片类型有切换不够灵活、重复刮削、无效刮削、识别错误等问题

这个应该是用户自己完成, 毕竟已经提供了多配置功能. 很多刮削网站我自己也没用过, 没法设计一套通用的预设

我以为作者既然能够解耦代码应该全局调试过,网站确实很多除非资深骨灰级爱好者和原始创建者,否则确实很多地方的逻辑不清楚为什么要这么设置,并且很多站点的特性不清楚,所以才想作者出面解决一下,预设的配置文件可以解决一些无需代码的功能性问题,既可以提高刮削成功率降低重复刮削又能减少学习使用成本,方便快速上手

其实这个项目最大的问题是没有写测试,即使网站变化也发现不了。
很多问题用户是感觉不出来的,因为同时有多个刮削源,一个挂了还能靠其他的补全字段,而且也无法排除网络问题。
说实话如果不是为了处理 #70 我单独调试了一下,甚至没发现 airavcc 的 xpath 全失效了。

@kikiyou18 kikiyou18 requested a review from sqzw-x February 7, 2024 01:31
@sqzw-x sqzw-x changed the base branch from master to guochan February 7, 2024 01:40
@sqzw-x sqzw-x merged commit 51dd142 into sqzw-x:guochan Feb 7, 2024
sqzw-x added a commit that referenced this pull request Feb 7, 2024
* Fix: write custom actor names to nfo file

* Fix: nfo文件写入错误空格;手动设置演员写入nfo文件

* Fix: mmtv custom website;try more actor matching rules

* Fix: not match unknown actor

* Fix: madouqu custom website;more actor matching attempts

* Fix: non-javdb site writes irrelevant searchid field

* Chore: guochan data collation

* Fix: 7mmtv get more extrafanart pics

* Fix: madouqu subtle parameter adjustment

* Fix: guochan crawlers remove useless characters; number recognition a…

* Feat: add hscangku and cableav crawlers

* Merge branch 'sqzw-x:master' into master

* Fix: PR compliance revisions

* Merge pull request #73 from kikiyou18/master

* Opt: javdbid 输出逻辑
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants