Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

perf: 第三方文件源任务支持无损更新 #3017

Closed
jsonwan opened this issue May 31, 2024 · 0 comments
Closed

perf: 第三方文件源任务支持无损更新 #3017

jsonwan opened this issue May 31, 2024 · 0 comments
Assignees
@jsonwan
Labels
done 已上线到正式环境并验收通过 for test 可以在测试环境进行验收 kind/enhancement 功能改进特性

Comments

@jsonwan
Copy link
Collaborator

jsonwan commented May 31, 2024

image
当前处于销毁过程的File-Worker依然会被调度到，导致任务失败，需要有一定的重试策略。
@jsonwan jsonwan added kind/enhancement 功能改进特性 backlog 需求初始状态，等待产品进行评估 labels May 31, 2024
@jsonwan jsonwan self-assigned this May 31, 2024
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 4, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
8c61307 
1.清理实际上并不使用的冗余代码；
2.优化部分代码格式。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 4, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
48c7fcd 
1.启动任务过程添加事务保证；
2.针对UnknownHostException导致的任务启动失败进行重试。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 4, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
5757763 
下线时等待最后一次心跳结束再下线
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 5, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
afcedce 
应用重试策略
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 6, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
c5fac00 
应用重试策略
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 6, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
6eefe9a 
1.重调度过程开启事务；
2.添加重调度相关度量指标。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 7, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
def84d6 
1.优化日志。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 7, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
35565c6 
1.增加File-Worker状态管理机制，解除心跳逻辑与状态管理的耦合；
2.确保心跳在File-Worker可被外界访问后再开始，避免UnknownHost问题。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 7, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
bf11224 
1.解决循环依赖问题。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 7, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
6af19c4 
1.解决循环依赖问题。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 7, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
47d7719 
1.配置下线事件处理器。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 11, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
f5a743e 
1.增加下线后等待File-Gateway内存中存量已调度请求完成。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 11, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
0e6ad1a 
1.支持对连接超时进行重试。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 11, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
66dab8c 
1.修改on duplicate update实现，避免可能产生的死锁；
2.针对insert可能产生的死锁进行重试。
wangyu096 added a commit that referenced this issue Jun 11, 2024
@wangyu096
Merge pull request #3048 from jsonwan/github_perf/third_file
84df71c 
perf: 第三方文件源任务支持无损更新 #3017
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 12, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
ef0bb10 
1.去除启动任务过程的事务，避免任务启动日志上报时启动事务未完成导致任务找不到的问题。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 12, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
2796f71 
1.去除启动任务过程的事务，避免任务启动日志上报时启动事务未完成导致任务找不到的问题。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 12, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
5c01a73 
1.去除启动任务过程的事务，避免任务启动日志上报时启动事务未完成导致任务找不到的问题。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 12, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
44cc28b 
1.添加分发源机器相关日志。
jsonwan added a commit to jsonwan/bk-job that referenced this issue Jun 12, 2024
@jsonwan
perf: 第三方文件源任务支持无损更新 TencentBlueKing#3017
aa723c4 
1.完善日志便于排查问题。
wangyu096 added a commit that referenced this issue Jun 12, 2024
@wangyu096
Merge pull request #3054 from jsonwan/github_perf/third_file
5559789 
perf: 第三方文件源任务支持无损更新 #3017
@jsonwan jsonwan added the todo 进入开发排期的状态，纳入了最近的迭代 label Jun 12, 2024
@bkjob-bot bkjob-bot added done 已上线到正式环境并验收通过 and removed backlog 需求初始状态，等待产品进行评估 todo 进入开发排期的状态，纳入了最近的迭代 labels Jun 18, 2024
@bkjob-bot bkjob-bot added the for test 可以在测试环境进行验收 label Jun 20, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@jsonwan jsonwan

Labels
done 已上线到正式环境并验收通过 for test 可以在测试环境进行验收 kind/enhancement 功能改进特性
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@jsonwan @bkjob-bot