New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

zh_trans:/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md #11687

Closed

congfairy wants to merge 1 commit into kubernetes:release-1.12 from congfairy:zh_trans/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

Contributor

congfairy commented Dec 11, 2018

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Please delete this note before submitting the pull request.

For 1.14 Features: set Milestone to 1.14 and Base Branch to dev-1.14

For Chinese localization, base branch to release-1.12

Help editing and submitting pull requests:
https://kubernetes.io/docs/contribute/start/#improve-existing-content.

Help choosing which branch to use:
https://kubernetes.io/docs/contribute/start#choose-which-git-branch-to-use.
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^


          zh_trans:/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

c335487

k8s-ci-robot added the cncf-cla: yes label

netlify bot commented Dec 11, 2018

Deploy preview for k8s-v1-12 processing.

Built with commit c335487

https://app.netlify.com/sites/k8s-v1-12/deploys/5c0f7a6740e2a43cad3c93de

k8s-ci-robot added the size/L label

Contributor

k8s-ci-robot commented Dec 11, 2018

[APPROVALNOTIFIER] This PR is NOT APPROVED

This pull-request has been approved by:
To fully approve this pull request, please assign additional approvers.
We suggest the following additional approver: chenopis

If they are not already assigned, you can assign the PR to them by writing /assign @chenopis in a comment when ready.

The full list of commands accepted by this bot can be found here.

The pull request process is described here

Needs approval from an approver in each of these files:

OWNERS

Approvers can indicate their approval by writing /approve in a comment
Approvers can cancel approval by writing /approve cancel in a comment

k8s-ci-robot requested review from Rajakavitha1 and stewart-yu

December 11, 2018 08:51

xichengliudui reviewed

View reviewed changes

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

		@@ -0,0 +1,351 @@
		---
		title: 'Airflow在Kubernetes中的使用（第一部分）：一种不同的Operator'

Contributor

xichengliudui Dec 11, 2018

'Airflow在Kubernetes中的使用（第一部分）：一种不同的Operator'
'Airflow 在 Kubernetes中的使用（第一部分）：一种不同的 Operator'

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md


		## 介绍

		作为Bloomberg [继续致力于开发Kubernetes生态系统]的一部分（https://www.techatbloomberg.com/blog/bloomberg-awarded-first-cncf-end-user-award-contributions-kubernetes/),我们很高兴能够宣布Kubernetes Airflow Operator的发布; [Apache Airflow]（https://airflow.apache.org/),的机制，一种流行的工作流程编排框架，使用Kubernetes API可以在本机启动任意的Kubernetes Pod。

Contributor

xichengliudui Dec 11, 2018

Modify：
作为 Bloomberg 继续致力开发的 Kubernetes 生态系统的一部分，我们很高兴能够宣布 Kubernetes Airflow Operator 的发布；Apache Airflow 的机制，是一种流行的工作流程编排框架，使用 Kubernetes API 可以在本机启动任意的 Kubernetes Pod。

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

+              <img src="/images/blog/2018-05-25-Airflow-Kubernetes-Operator/2018-05-25-airflow.png" width="85%" alt="Airflow UI" />
+              -->
+              ## 什么是Airflow?

Contributor

xichengliudui Dec 11, 2018

什么是Airflow?
什么是 Airflow?

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md


		## 什么是Airflow?

		Apache Airflow是DevOps“Configuration As Code”理念的一种实现。 Airflow允许用户使用简单的Python对象DAG（定向非循环图）启动多步骤流水线。您可以在易于阅读的UI中定义依赖项，以编程方式构建复杂的工作流，并监视调度的作业。

Contributor

xichengliudui Dec 11, 2018

Modify：
Apache Airflow 是 DevOps "Configuration As Code" 理念的一种实现。 Airflow 允许用户使用简单的 Python 对象DAG（定向非循环图）启动多步骤流水线。您可以在易于阅读的 UI 中定义依赖项，以编程方式构建复杂的工作流，并监视调度的作业。

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

+              To address this issue, we've utilized Kubernetes to allow users to launch arbitrary Kubernetes pods and configurations. Airflow users can now have full power over their run-time environments, resources, and secrets, basically turning Airflow into an "any job you want" workflow orchestrator.
+              -->
+              ## 为什么在Kubernetes上使用Airflow?

Contributor

xichengliudui Dec 11, 2018

为什么在Kubernetes上使用Airflow?
为什么在 Kubernetes 上使用 Airflow？

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md


		自成立以来，Airflow的最大优势在于其灵活性。 Airflow提供广泛的服务集成，包括Spark和HBase，以及各种云提供商的服务。 Airflow还通过其插件框架提供轻松的可扩展性。但是，该项目的一个限制是Airflow用户仅限于执行时Airflow站点上存在的框架和客户端。单个组织可以拥有各种Airflow工作流程，范围从数据科学流到应用程序部署。用例中的这种差异会在依赖关系管理中产生问题，因为两个团队可能会在其工作流程使用截然不同的库。

		为了解决这个问题，我们使Kubernetes允许用户启动任意Kubernetes pod和配置。 Airflow用户现在可以在其运行时环境，资源和机密上拥有全部权限，基本上将Airflow转变为“您想要的任何工作”工作流程协调器。

Contributor

xichengliudui Dec 11, 2018

Modify：
为了解决这个问题，我们使 Kubernetes 允许用户启动任意 Kubernetes pod 和配置。 Airflow 用户现在可以在其运行时环境，资源和机密上拥有全部权限，基本上将 Airflow 转变为 "您想要的任何工作"工作流程协调器。

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md


		## Kubernetes运营商

		在我们进一步发展之前，我们应该澄清Airflow中的[Operator]（https://airflow.apache.org/concepts.html#operators）是一个任务定义。当用户创建DAG时，他们将使用像“SparkSubmitOperator”或“PythonOperator”这样的operator分别提交/监视Spark作业或Python函数。 Airflow附带了Apache Spark，BigQuery，Hive和EMR等框架的内置运算符。它还提供了一个插件入口点，允许DevOps工程师开发自己的连接器。

Contributor

xichengliudui Dec 11, 2018

Modify：
在我们进一步发展之前，我们应该澄清 Airflow 中的 Operator 是一个任务定义。当用户创建 DAG 时，他们将使用像 "SparkSubmitOperator" 或 "PythonOperator" 这样的 operator 分别提交/监视 Spark 作业或 Python 函数。 Airflow 附带了 Apache Spark，BigQuery，Hive 和 EMR 等框架的内置运算符。它还提供了一个插件入口点，允许 DevOps 工程师开发自己的连接器。

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md


		在我们进一步发展之前，我们应该澄清Airflow中的[Operator]（https://airflow.apache.org/concepts.html#operators）是一个任务定义。当用户创建DAG时，他们将使用像“SparkSubmitOperator”或“PythonOperator”这样的operator分别提交/监视Spark作业或Python函数。 Airflow附带了Apache Spark，BigQuery，Hive和EMR等框架的内置运算符。它还提供了一个插件入口点，允许DevOps工程师开发自己的连接器。

		Airflow用户一直在寻找更易于管理部署和ETL流的方法。在增加监控的同时，任何解耦流程的机会都可以减少未来的停机等问题。以下是Airflow Kubernetes Operator提供的性能：

Contributor

xichengliudui Dec 11, 2018

Modify：
Airflow 用户一直在寻找更易于管理部署和 ETL 流的方法。在增加监控的同时，任何解耦流程的机会都可以减少未来的停机等问题。以下是 Airflow Kubernetes Operator 提供的性能：

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

+              -->
+              * **提高部署灵活性：**
+              Airflow的插件API一直为希望在其DAG中测试新功能的工程师提供了重要的福利。 不利的一面是，每当开发人员想要创建一个新的operator时，他们就必须开发一个全新的插件。 现在，任何可以在Docker容器中运行的任务都可以通过完全相同的运算符访问，而无需维护额外的Airflow代码。

Contributor

xichengliudui Dec 11, 2018

Modify：
Airflow 的插件 API 一直为希望在其 DAG 中测试新功能的工程师提供了重要的福利。不利的一面是，每当开发人员想要创建一个新的 operator 时，他们就必须开发一个全新的插件。现在，任何可以在 Docker 容器中运行的任务都可以通过完全相同的运算符访问，而无需维护额外的 Airflow 代码。

content/cn/blog/_posts/2018-06-28-Airflow-Kubernetes-Operator.md

+              -->
+              * **配置和依赖的灵活性：**
+              对于在静态Airflow工作程序中运行的operator，依赖关系管理可能变得非常困难。 如果开发人员想要运行一个需要[SciPy]（https://www.scipy.org） 的任务和另一个需要[NumPy]（http://www.numpy.org） 的任务，开发人员必须维护所有Airflow节点中的依赖关系或将任务卸载到其他计算机（如果外部计算机以未跟踪的方式更改，则可能导致错误）。 自定义Docker镜像允许用户确保任务环境，配置和依赖关系完全是幂等的。

Contributor

xichengliudui Dec 11, 2018

Modify：
对于在静态 Airflow 工作程序中运行的 operator，依赖关系管理可能变得非常困难。如果开发人员想要运行一个需要 SciPy 的任务和另一个需要 NumPy 的任务，开发人员必须维护所有 Airflow 节点中的依赖关系或将任务卸载到其他计算机（如果外部计算机以未跟踪的方式更改，则可能导致错误）。自定义 Docker 镜像允许用户确保任务环境，配置和依赖关系完全是幂等的。

Contributor

xichengliudui commented Dec 11, 2018 •

edited

Loading

@congfairy , 除了格式问题需要注意，还有超链接需要注意，有很多需要修改。
Thank you for submitting PR to website！

xichengliudui mentioned this pull request

zh_trans:/blog/_posts/2018-05-30-say-hello-to-discuss-kubernetes.md #11692

Closed

congfairy closed this

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

cncf-cla: yes size/L