Skip to content

Latest commit

 

History

History
295 lines (237 loc) · 10.7 KB

CHANGELOG.md

File metadata and controls

295 lines (237 loc) · 10.7 KB

Changelog

本项目的所有变更都将记录在此文件中。 格式基于 Keep a Changelog、 本项目遵循 Semantic Versioning

[Unreleased]

  • 0.0.1.6版本中添加对weibox的支持

[0.0.1.5] - 2024-04-04

Added

  • 添加安全政策汇报
  • 添加run_app时输出版本号
  • 添加douyin用户收藏夹下载
  • 添加douyinfilter对非法收藏夹名字符的处理
  • 添加douyin用户音乐收藏下载
  • 添加douyin音乐歌词json转lrc方法
  • 添加douyin用户收藏音乐下载任务
  • 添加douyin配置--lyric
  • 添加f2 utilsget_cookie_from_browser方法
  • 添加f2 utilscheck_invalid_naming方法
  • 添加f2 utilsmerge_config方法
  • 添加douyin粉丝用户接口方法
  • 添加douyin关注用户接口方法
  • 添加douyintiktok数据过滤器的原始字段
  • 添加对30位时间戳进行格式化
  • 添加测试抖音原声歌词转换
  • 添加获取抖音用户粉丝代码片段
  • 添加获取抖音用户关注代码片段
  • 添加fetch方法的timeout参数,避免请求过于频繁
  • 添加douyin用户收藏夹代码片段
  • 添加对丢失链接的重试逻辑
  • 添加自定义UA生成XBogus参数
  • 添加douyintiktokUserProfile请求内容为空的报错

Changed

  • 修改douyin主页收藏模式为collection
  • 更正douyin文档user-mix方法
  • 修改F2版本号输出
  • 修改douyintiktok帮助信息
  • 优化douyintiktokutilsmsTokenttwidsec_user_idaweme_idwebcast_id,具体请求错误的输出
  • 明确douyintiktok所有fetch函数返回为过滤器类型
  • 更新了F2版本号的导入
  • 优化tiktokhandler处理播放列表的逻辑
  • 优化douyintiktok中对具体请求错误的输出
  • 更正douyintiktokcollects_id类型导致的多次转换
  • 更正tiktokhandler多种获取用户信息方法的参数
  • 添加base_downloader对重命名文件时的异常处理
  • 更新_dlhead请求Content-Length失效时调用get方法
  • 更新douyintiktok接口文档代码片段
  • 更新douyintiktokcli中的handler_auto_cookie方法
  • 更新douyintiktokcli中的handler_naming方法
  • 更新douyintiktok--mode统一choice管理
  • 更新F2帮助说明格式
  • 统一了douyin关注粉丝用户的total字段
  • 修改下载逻辑以提高性能
  • 更新douyintiktok数据库字段(需要删除旧数据库或迁移)
  • 优化douyintiktokhandler模块注释表达与方法参数格式
  • 重构了所有handle方法的调用
  • 重构了所有fetch方法的返回类型
  • 调整douyin mix作品在没有更多数据时提前break
  • 调整tiktok获取用户数据去除地区参数
  • 优化在适当的位置yield作品数据
  • 修改日志输出级别
  • 重构数据库异常类
  • 重构文件异常类
  • 重构接口异常类
  • 完善i18n消息

Deprecated

  • 弃用douyin UserLiveFilter的无用方法
  • 弃用douyin PostDetailFilter的无用方法

Removed

  • 删除文档旧版本-d指令
  • 移除tiktokpost\detail接口示例
  • 删除无用的__init__.py文件
  • 删除douyintiktokcli下的get_cookie_from_browser方法
  • 删除example示例
  • 删除无用导入
  • 删除apps中db模块的aiosqlite导入与错误处理

Fixed

  • 修复本地化服务
  • 修复douyin关注用户数据过滤器_to_list方法的排除字段
  • 修复douyin数据过滤器时间戳类型

Security

  • 更新rich版本到13.7.1
  • 更新douyin接口版本到19.5.0

[0.0.1.4] - 2024-02-16

Added

  • 添加black格式化白名单
  • 添加douyintiktok命令行对--proxies命令的支持
  • 添加tiktok数据库忽略字段
  • 添加文档QA页面
  • 添加douyinmsToken值验证
  • 添加写入配置文件时处理文件权限问题
  • 添加提取有效URL的错误类型
  • 添加split_filename方法处理不同系统下文件名长度
  • 添加douyintiktokcli模块的merge_config方法
  • 添加了低频配置文件默认路径
  • 添加split_filename函数单元测试
  • 添加base_downloader模块日志堆栈错误输出
  • 添加tiktokget_secuid方法对不支持地区的错误消息
  • 添加douyintiktokutils模块对空urls列表的错误处理
  • 添加douyintiktokutils模块对AwemeIdFetcher的连接失败处理
  • 添加douyin图集aweme_id测试链接
  • 添加文档algolia配置参数
  • 添加douyintiktok{aweme_id}{uid}的文件名模板

Changed

  • 重写douyintiktok handler对crawlerdl的配置,提升性能
  • dict类型的--proxies添加默认值None
  • 将配置文件中url设置为空,防止因为缺省出错
  • 对高低频配置合并时只合并非空值
  • 更新翻译模板
  • 调整timestamp_2_str方法的默认时间字符串格式
  • 将低频参数配置移入F2conf.yaml
  • 修改tiktokmsToken值验证
  • 修改douyintiktokTokenManager里固定配置的读取方式
  • 改进 douyintiktok handler类的结构和清晰度
  • 更新方法签名,使用 self 替代 cls
  • 在适当的情况下,用异步实例方法替代类方法
  • 更新douyintiktok handler类下的fetch用法
  • 修改main入口函数,实例化每个app的handler并传递给相应的方法
  • 更新douyintiktokget_or_add_user_data方法,以处理Filter类型的数据
  • 更新F2 -d参数,现在需要指定debug模式
  • 更新conf_manager模块,添加了日志输出
  • 更新douyin接口文档format-file-name代码片段
  • 更新douyintiktokcrawler模块重新添加异步上下文管理器
  • 更新douyintiktokutils模块捕获错误时显示具体类名
  • 更新了配置文件加载逻辑
  • 更新了日志输出
  • 更新split_filename方法适配双语种环境
  • 更新douyintiktokcrawler模块获取response的多种http请求方法
  • 修改file_exceptions模块,使输出更简洁
  • 修改db_exceptions模块,使输出更简洁
  • 修改api_exceptions模块,使输出更简洁
  • 更改base_crawler模块里的方法名称
  • 完善所有APIConnectionError的错误处理
  • 更新在无代理时配置默认值
  • 改进douyin的cli模块的handler_sso_login方法
  • 更新douyintiktok单元测试用例
  • 更新接口文档开发者代码片段
  • 修改cli_console进度条默认宽度

Deprecated

  • 弃用douyinextract_desc_from_share_desc方法
  • 弃用douyinget_request_sizes方法

Removed

  • 移除文档reference页面
  • 删除douyinVerifyFpManager注释代码
  • 删除douyincli模块的英文注释
  • 移除split_filename方法的desc_length_limit参数
  • 删除conf.yaml中的代理值
  • 删除base_crawler模块选择随机代理的注释代码
  • 删除base_downloader模块中_download_chunks方法的finally
  • 删除F2 conf.yaml中的代理值与无效值
  • 删除弃用接口测试

Fixed

  • 修复部分自定义配置失效的问题
  • 修复接口缺失时间戳值导致的问题
  • 修复get_or_add_user_data中的AttributeError问题
  • 修复了非windows系统下创建长中文名文件出错的问题
  • 修复了tiktok文件名出错的问题
  • 修复了在更新配置时缺少自定义配置文件路径的问题
  • 修复douyin直播嵌套ts文件无法获取字节大小的问题
  • 修复base_downloader下载文件区块时未能正确捕获超时错误
  • 修复cli退出时base_downloader出现UnboundLocalError错误的问题
  • 修复douyin收藏作品下载错误的问题
  • 修复douyintiktokcli的默认参数影响kwargs合并
  • 修正douyinutils模块对aweme_id的处理

Security

  • 依赖更新pyyaml6.0 -> pyyaml6.0.1

[0.0.1.3] - 2024-01-07

Added

  • 添加douyintiktok--interval命令的支持

Changed

  • 取消bool参数的默认值,防止配置文件与cli命令冲突
  • 调整日志控制台输出与级别
  • 修改默认与自定义配置读取与合并
  • 恢复tiktok接口模型的msToken
  • 修改自定义文件名模板中作品创建时间的键名
  • 更新主配置文件格式

[0.0.1.2] - 2024-01-05

Added

  • 添加依赖缺失时输出错误到日志
  • 使用black统一代码风格
  • 添加douyin单个作品(one)与--sso-login命令帮助

Changed

  • --auto-cookie命令去掉none参数
  • 所有app的--interval命令参数改为all
  • 完善douyincli帮助说明
  • 更新F2帮助说明
  • 完善tiktokcli帮助说明
  • 修改代码片段高亮
  • 更新项目文档
  • 更新翻译文件

Fixed

  • 修复--init-config命令初始化的问题
  • 修复douyin文档user-live代码片段错误方法名
  • 修复douyin文档user-mix代码片段aweme_id不明的问题
  • 修复douyintiktok未提供参数也自动获取ck
  • 修复显示语言中en_US缺失
  • 修复接口文档的代码片段格式与错误
  • 使用缺省none来避免触发callback干预程序运行

[0.0.1.1] - 2024-01-01

Added

  • 添加依赖缺失时输出错误到日志

Fixed

  • 修复pyproject.toml依赖部分遗漏造成的Error: No such command

[0.0.1-pw.1] - 2024-01-01

Added

  • 创建文档
  • 添加douyintiktok应用
  • 添加douyintiktok测试
  • 添加代码示例
  • 添加i18n翻译模板文件
  • 添加show_qrcode方法,用于显示二维码
  • 添加s_v_web_id方法
  • douyin:添加room_id查询直播间信息接口
  • douyin:添加--sso-login命令,使用扫码获取cookie
  • douyin:添加sso登录测试
  • 添加douyintiktok开发接口文档
  • 添加douyintiktok接口地址生成XB的方法
  • 添加douyintiktok接口文档代码片段
  • 创建目录时支持绝对与相对路径
  • 添加douyintiktok获取列表secuidunique_idaweme_id的方法

Changed

  • 细化Basecrwalerresponse处理方法
  • 自定义将日志输出到控制台
  • 将guide文档调整为统一文件夹下
  • 修改文档代码片段高亮行号
  • 重命名接口模型生成XB的方法
  • 修改douyin提取列表用户id返回值变量名
  • 修改douyin提取列表用户直播rid返回值变量名
  • 完善配置文件site-config部分
  • 修改默认配置参数置空

Fixed

  • 修复douyin用户数据库名称
  • 修复douyin直播结束后无法下载
  • 修复douyinhandler_user_mix方法中AsyncUserDB只初始化一次
  • 修复user-nickname代码片段导入
  • 修复douyin文档user-get-add代码片段导入
  • 修复tiktok文档user-mix代码导入与缩进
  • 修复tiktok文档one-video代码缩进