Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

feat: 后台 Job 任务支持在非全业务集下执行 #2158

Closed
ZhuoZhuoCrayon opened this issue Apr 3, 2024 · 1 comment
Closed

feat: 后台 Job 任务支持在非全业务集下执行 #2158

ZhuoZhuoCrayon opened this issue Apr 3, 2024 · 1 comment
Assignees
Labels
for test 可以在测试环境进行验收 kind/feature 功能

Comments

@ZhuoZhuoCrayon
Copy link
Member

ZhuoZhuoCrayon commented Apr 3, 2024

背景

为什么需要

节点管理使用 Job 全业务集(9991001)作为执行业务
业务集依赖单一版本 Agent,复杂场景下可能需要根据业务,把 Job 任务下放到业务下执行

功能

你想要什么功能

功能实现

建议的方案

  1. 可行性分析:验证开启「设为公共存储」后,可以用「节点管理文件源」,用现有节点管理调用 Job 进行文件分发的参数(除了目标业务),可以以非业务集「9991001」的方式,分发文件到主机(用 PostMan 去测)

企业微信截图_8f4708de-b8d4-4e20-bb96-e0a261a54c3f

节点管理使用的文件分发参数(也可以从日志平台捞):apps.core.files.base.BkJobMixin.fast_transfer_file

  1. 调整任务编排模块,根据 GlobalSettings 的配置,根据 Job 执行策略拆分 Pipeline,隔离不同 Job 业务

全局搜下图里的两个函数

image

  1. 梳理 /backend/components/collections/job.pycomponents 里其他依赖 settings.BLUEKING_BIZ_ID 的地方,使用注入的 SCOPE_ID & SCOPE_TYPE,替换 job 调用参数 bk_scope_type / bk_scope_id / bk_biz_id

image

实现方案

功能自测

代码变更覆盖功能点需要自测并截图

功能点 1

描述代码变更涉及功能点及自测截图

功能点 2

描述代码变更涉及功能点及自测截图

...

@ZhuoZhuoCrayon ZhuoZhuoCrayon added kind/feature 功能 backlog 需求初始状态,等待产品进行评估 labels Apr 3, 2024
@ZhuoZhuoCrayon ZhuoZhuoCrayon self-assigned this Apr 3, 2024
@ZhuoZhuoCrayon
Copy link
Member Author

metadata 计算改用 count_md5,避免 dict 插入顺序不一样,导致相同的 metadata 计算成不同的 key

{"a": 1, "b": 2} / {"b": 2, "a": 1} -> 视为同一个 meta

@Huayeaaa Huayeaaa assigned Huayeaaa and unassigned ZhuoZhuoCrayon Apr 15, 2024
@Huayeaaa Huayeaaa added doing 已经接受处理,正在开发实验 and removed backlog 需求初始状态,等待产品进行评估 labels Apr 17, 2024
@Huayeaaa Huayeaaa added for test 可以在测试环境进行验收 and removed doing 已经接受处理,正在开发实验 labels Apr 29, 2024
@wyyalt wyyalt closed this as completed in 88ada11 Jun 13, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
for test 可以在测试环境进行验收 kind/feature 功能
Projects
None yet
Development

No branches or pull requests

2 participants