[ci] 添加监测中文 apilabel 的 ci #6226

ooooo-create · 2023-10-13T10:48:24Z

link #6170

make a try
感觉像是一坨，先提一下

api 文档本身 api_label 监测

check_api_label （判断是否正确）
test_ornot（是否是api文档）

引用的 api_label 正确性

traverse_api_label（遍历doc/api，寻找所有 api_label ）
get_api_label_list （寻找一个文档中的 api_label）

共同

pipline
en_label_creater

@sunzhongkai588 @SigureMo

SigureMo · 2023-10-13T19:18:28Z

ci_scripts/check_api_label_cn.py

感觉像是一坨，先提一下

没关系，咱代码风格可以慢慢锻炼，这个多写写就好了，而且还有我来把控～而且比某些写了一坨还不自知的人强太多了（这个 repo 能成这样，所有代码 reviewer 都有责任）

ci_scripts/check_api_label_cn.py

SigureMo · 2023-10-13T19:26:25Z

ci_scripts/check_api_label_cn.py

+    result = re.sub("api/", "", file)
+    result = re.sub("_cn.rst", "", result)
+    result = re.sub('/', "_", result)


不是很建议使用 re.sub，更建议直接分别使用 removeprefix、removesuffix、replace 这三个，因为 sub 的话无法确定删除的是什么位置的，前两个函数好像 3.10 才有，需要确认 CI 是 3.10 环境（我记得之前改成 3.10 了）

SigureMo · 2023-10-13T19:27:06Z

ci_scripts/check_api_label_cn.py

+    result = re.sub("api/", "", file)
+    result = re.sub("_cn.rst", "", result)
+    result = re.sub('/', "_", result)
+    result = '.. _cn_' + result + ':'


Suggested change

result = '.. _cn_' + result + ':'

result = f'.. _cn_{result}:'

字符串操作使用 f-string 可读性会非常好～

SigureMo · 2023-10-13T19:39:53Z

ci_scripts/check_api_label_cn.py

+    if (
+        file.endswith("_cn.rst")
+        and (file not in ["Overview_cn.rst", "index_cn.rst"])
+        and file.startswith("api")


代码里若干处硬编码了 "api" 这个字符串，其实可以考虑怎么优化下，是否传递参数时不要 api，或者整个常量什么的

传递这两个参数到文件，然后就定义一个常量 API 表示APIROOT相对DOCROOT目录的位置，可以嘛

SigureMo · 2023-10-13T19:41:26Z

ci_scripts/check_api_label_cn.py

+        and file.startswith("api")
+    ):
+        return True
+    return False


-def fooooo(): - if xxx: - return True - return False + return xxx

直接 return 就好呀

SigureMo · 2023-10-13T19:43:01Z

ci_scripts/check_api_label_cn.py

+        with open(rootdir + file, 'r', encoding='utf-8') as f:
+            pattern = f.read()
+        matches = re.findall(r":ref:`([^`]+)`", pattern)
+        if matches:


这个判断是没必要的，因为没有结果的话 matches 是 []，对空 list 遍历就直接跳过了，可以减少一个缩进

SigureMo · 2023-10-13T19:56:19Z

ci_scripts/check_api_label_cn.py

+                if match.startswith('cn'):
+                    if match not in list:
+                        print(rootdir + file, 'ref' + match, 'error')
+                else:
+                    out = re.search("<(.*?)>", match)
+                    if out and out.group(1).startswith("cn"):
+                        if out.group(1) not in list:
+                            print(rootdir + file, 'ref' + match, 'error')


这两个分支是可以合并的，其实主要就是从

:ref:`xxx` :ref:`aaa <xxx>`

两种情况提取 xxx 嘛

可以

api_label = # 前面的 match if api_label_match := re.match(r".+<(?P<api_label>.+?)>", api_label): api_label = api_label_match.group("api_label") if api_label.startswith("cn_") and api_label not in valid_api_labels: logger.error(f"Found api label {api_label} in {rootdir}/{file}, but it is not a valid api label, please re-check it!") sys.exit(1)

整体缩进层级会少很多～

SigureMo · 2023-10-13T19:56:53Z

ci_scripts/check_api_label_cn.py

+
+
+if __name__ == "__main__":
+    pipline(sys.argv[1], sys.argv[2:])


虽然整体很简单，但还是建议使用 argparse，参数语义会更清晰，可读性会更强

ci_scripts/check_api_label_cn.py

SigureMo · 2023-10-15T17:01:21Z

ci_scripts/check_api_label_cn.py

+        if should_test(file):
+            if check_api_label(rootdir, file):
+                pass
+            else:
+                print("error:", file)


Suggested change

if should_test(file):

if check_api_label(rootdir, file):

pass

else:

print("error:", file)

if should_test(file) and not check_api_label(rootdir, file):

sys.exit(1) # 这里是不是应该报错？而不是仅仅 print？

新commit加上了logger.error

SigureMo · 2023-10-15T17:02:07Z

ci_scripts/check_api_label_cn.py

+    if len(sys.argv) == 2:
+        parser.print_help()
+        sys.exit(1)
+


用了 argparse，这块是不是就可以不用了？

我觉得这块是不用，当时是按照那个改的，现在看来两种情况不一样，要删掉

paddle-bot · 2023-10-16T12:23:32Z

感谢你贡献飞桨文档，文档预览构建中，Docs-New 跑完后即可预览，预览链接：http://preview-pr-6226.paddle-docs-preview.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html
预览工具的更多说明，请参考：飞桨文档预览工具

SigureMo · 2023-10-17T07:37:29Z

@ooooo-create 可以触发一下测试一下，现在 CI 好像没有跑？测试如果没啥问题（包括正确 case 正确通过和错误 case 正常报错），我觉得就没问题了

ooooo-create · 2023-10-17T07:42:12Z

@ooooo-create 可以触发一下测试一下，现在 CI 好像没有跑？测试如果没啥问题（包括正确 case 正确通过和错误 case 正常报错），我觉得就没问题了

好的，是在这个 pr 里，通过修改文件来测试吗

SigureMo · 2023-10-17T07:47:02Z

好的，是在这个 pr 里，通过修改文件来测试吗

对的

ooooo-create · 2023-10-17T09:43:34Z

发现几个问题

（已提）这个函数判定有问题，要判断是否以 ["Overview_cn.rst", "index_cn.rst"] 结尾
（已提）api_label存在数字，所以正则要进行修改
need_check_cn_doc_files 传入的文件都是 api目录下的，其他目录文件引用的 api_labl 就没有进行引用正确性检查
是由这个函数获得的

SigureMo · 2023-10-17T15:50:32Z

ci_scripts/check_api_label_cn.py

@@ -67,7 +67,8 @@ def find_api_labels_in_one_file(file_path):
 def should_test(file):
    return (
        file.endswith("_cn.rst")
-        and (file not in ["Overview_cn.rst", "index_cn.rst"])
+        and not file.endswith("Overview_cn.rst")
+        and not file.endswith("index_cn.rs")


为啥是 .rs？rust 代码么 [doge]

[doge] t 走丢了，过会就回来

ooooo-create · 2023-10-18T12:02:59Z

@SigureMo 一师傅，t 回来了😎，然后我又改了一下别的~主要是引用 api_lael 正确性包含了所有修改的文件

SigureMo · 2023-10-18T12:05:21Z

主要是引用 api_lael 正确性包含了所有修改的文件

然后这句话的 b 丢了 [doge]

你先测试着，如果测试都没问题了叫我

ooooo-create · 2023-10-20T06:06:14Z

@SigureMo 测试没有问题啦

api 文件本身 api_label 错误会报错
api 文件和其他目录的 .rst 文件引用的 api_label 错误会报错
如果都没问题会提示 All api_label check success in PR !
主要commit修改下面两个

[doge] 这次应该没有字母丢😎😎

SigureMo · 2023-10-21T20:21:52Z

ci_scripts/check_api_label_cn.py

+    print(first_line)
+    print(generate_en_label_by_path(file))


这两行是用来 debug 的么？

SigureMo · 2023-10-21T20:22:18Z

ci_scripts/check_api_label_cn.py

+    )
+
+
+def pipline(rootdir, files):


pipeline？

SigureMo · 2023-10-21T20:27:06Z

docs/guides/06_distributed_training/data_parallel/amp_cn.rst

@@ -46,7 +46,7 @@
 二、动态图操作实践
 ---------------------------

-使用飞桨框架提供的 API：\ ``paddle.amp.auto_cast``\ 和\ ``paddle.amp.GradScaler``\ 能够实现动态图的自动混合精度训练，即在相关 OP 的计算中，自动选择 FP16 或 FP32 格式计算。开启 AMP 模式后，使用 FP16 与 FP32 进行计算的 OP 列表可以参见 :ref:`cn_overview_amp` 。
+使用飞桨框架提供的 API：\ ``paddle.amp.auto_cast``\ 和\ ``paddle.amp.GradScaler``\ 能够实现动态图的自动混合精度训练，即在相关 OP 的计算中，自动选择 FP16 或 FP32 格式计算。开启 AMP 模式后，使用 FP16 与 FP32 进行计算的 OP 列表可以参见 :ref:`cn_api_paddle_geometric_reindex_grap` 。


这个文件是用来测试还是？

测试，没改回去~

SigureMo · 2023-10-22T05:58:50Z

ci_scripts/check_api_label_cn.py

@@ -74,7 +72,7 @@ def should_test(file):
    )


-def pipline(rootdir, files):
+def run_cn_api_lable_checking(rootdir, files):


label？:joy:

SigureMo

LGTMeow 🐾

make a try

a9e4c0c

SigureMo reviewed Oct 13, 2023

View reviewed changes

ooooo-create added 2 commits October 14, 2023 11:29

first fix

5d5bf27

unify path with pathlib

214eb63

paddle-bot bot added the contributor label Oct 14, 2023

SigureMo reviewed Oct 15, 2023

View reviewed changes

fix

7a23c00

test ci

8e3fe34

fix bugs

fb359a0

SigureMo reviewed Oct 17, 2023

View reviewed changes

ooooo-create added 2 commits October 18, 2023 07:42

fix

2a741cc

fix

aaf2827

ooooo-create added 11 commits October 18, 2023 22:07

fix

d5dd8a5

fix args

e8d4806

try

936a71a

fix

19bd302

fix

9cb0ef7

test_00

b455ebc

fix

d9aedac

fix

bd74f6a

fix

b9419fa

test1

62e02a9

fix

8f150ef

ooooo-create added 8 commits October 19, 2023 21:18

fix

6d0567d

update

a3217f0

fix

ad8ead8

fix

f1f23d6

test

8ba9ab0

test2

06b04a3

change checking location and test

e81b9a6

finally test

b52661f

SigureMo reviewed Oct 21, 2023

View reviewed changes

fix

f433b52

SigureMo reviewed Oct 22, 2023

View reviewed changes

label

cfb90f3

SigureMo approved these changes Oct 22, 2023

View reviewed changes

SigureMo merged commit f6a8d37 into PaddlePaddle:develop Oct 22, 2023
3 checks passed

ooooo-create mentioned this pull request Oct 22, 2023

[ci]修复中文 api_label 检查的若干问题 #6237

Merged

SigureMo added the HappyOpenSource 快乐开源活动issue与PR label Oct 22, 2023

ooooo-create deleted the ooooo/cn_api_ci branch October 25, 2023 09:38

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[ci] 添加监测中文 apilabel 的 ci #6226

[ci] 添加监测中文 apilabel 的 ci #6226

ooooo-create commented Oct 13, 2023

SigureMo Oct 13, 2023

SigureMo Oct 13, 2023

SigureMo Oct 13, 2023

SigureMo Oct 13, 2023

ooooo-create Oct 14, 2023

SigureMo Oct 13, 2023

SigureMo Oct 13, 2023

SigureMo Oct 13, 2023

SigureMo Oct 13, 2023

SigureMo Oct 15, 2023

ooooo-create Oct 16, 2023

SigureMo Oct 15, 2023

ooooo-create Oct 16, 2023

paddle-bot bot commented Oct 16, 2023

SigureMo commented Oct 17, 2023

ooooo-create commented Oct 17, 2023

SigureMo commented Oct 17, 2023

ooooo-create commented Oct 17, 2023 •

edited

Loading

SigureMo Oct 17, 2023

ooooo-create Oct 17, 2023

ooooo-create commented Oct 18, 2023

SigureMo commented Oct 18, 2023

ooooo-create commented Oct 20, 2023

SigureMo Oct 21, 2023

ooooo-create Oct 22, 2023

SigureMo Oct 21, 2023

SigureMo Oct 21, 2023

ooooo-create Oct 22, 2023

SigureMo Oct 22, 2023

SigureMo left a comment

	result = '.. _cn_' + result + ':'
	result = f'.. _cn_{result}:'



		if __name__ == "__main__":
		pipline(sys.argv[1], sys.argv[2:])

[ci] 添加监测中文 apilabel 的 ci #6226

[ci] 添加监测中文 apilabel 的 ci #6226

Conversation

ooooo-create commented Oct 13, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

paddle-bot bot commented Oct 16, 2023

SigureMo commented Oct 17, 2023

ooooo-create commented Oct 17, 2023

SigureMo commented Oct 17, 2023

ooooo-create commented Oct 17, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ooooo-create commented Oct 18, 2023

SigureMo commented Oct 18, 2023

ooooo-create commented Oct 20, 2023

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

SigureMo left a comment

Choose a reason for hiding this comment

ooooo-create commented Oct 17, 2023 •

edited

Loading