添加单测调用多样性检测工具 Validate Unittest #328

RedContritio · 2023-11-06T07:20:47Z

PR Docs

无对应映射文档

添加单测调用多样性检测工具 Validate Unittest
修复大约 50 个不符合规范的单测
完善了部分 api 的 api_mapping.json 映射数据

PR APIs

torch.Tensor.absolute
torch.Tensor.add
torch.Tensor.add_
torch.Tensor.addbmm
torch.Tensor.addcdiv
torch.Tensor.addcmul
torch.Tensor.addmm
torch.Tensor.addmm_
torch.Tensor.addmv
torch.Tensor.addr
torch.Tensor.all
torch.Tensor.allclose
torch.Tensor.amax
torch.Tensor.amin
torch.Tensor.aminmax
torch.Tensor.any
torch.Tensor.arccos
torch.Tensor.argmax
torch.Tensor.argmin
torch.Tensor.argsort
torch.Tensor.as_strided
torch.Tensor.atan2
torch.Tensor.baddbmm
torch.Tensor.bitwise_and
torch.Tensor.bitwise_or
torch.Tensor.bitwise_xor
torch.Tensor.cholesky_inverse
torch.Tensor.clamp
torch.Tensor.clamp_
torch.Tensor.clip_
torch.Tensor.clone
torch.Tensor.count_nonzero
torch.Tensor.cov
torch.Tensor.cross
torch.Tensor.cumprod
torch.Tensor.cumsum
torch.Tensor.diag
torch.Tensor.diag_embed
torch.Tensor.diagonal
torch.Tensor.dist
torch.Tensor.div
torch.Tensor.divide
torch.Tensor.eq
torch.Tensor.unfold
torch.count.nonzero

torch.fft.ifftshift
torch.is.nonzero
torch.nn.NLLLoss
torch.nn.NLLLoss2d
torch.nn.Softmax2d
torch.normal
torch.trapezoid
torch.trapz

......

现存不符合规范的 api

注1：当前规则仅检查以下四种情况：

所有关键字不指定
所有关键字都指定
关键字乱序
存在 min_input_args 且不指定所有默认参数

注2：当 api_mapping.json 不含对应信息或找不到 'args_list' 时，暂时跳过对应 api，不做检查

当前大约有 800 unittests 不符合规范

api	all args	all kwargs	kwargs out of order	all default
torch.Tensor.fill_diagonal_	❌	✅	❌	✅
torch.Tensor.flatten	✅	✅	❌	✅
torch.Tensor.float	❌	✅	✅	✅
torch.Tensor.fmax	✅	❌	✅	✅
torch.Tensor.fmin	✅	❌	✅	✅
torch.Tensor.gather	✅	✅	❌	✅
torch.Tensor.greater_equal	✅	❌	✅	✅
torch.Tensor.half	❌	✅	✅	✅
torch.Tensor.histc	✅	✅	❌	❌
torch.Tensor.index_add	✅	✅	❌	✅
torch.Tensor.index_copy_	✅	❌	❌	✅
torch.Tensor.index_select	✅	✅	❌	✅
torch.Tensor.int	❌	✅	✅	✅
torch.Tensor.isclose	❌	❌	❌	✅
torch.Tensor.istft	❌	❌	❌	❌
torch.Tensor.kthvalue	✅	✅	❌	✅
torch.Tensor.le	✅	❌	✅	✅
torch.Tensor.lerp	✅	✅	❌	✅
torch.Tensor.lerp_	✅	✅	❌	✅
torch.Tensor.less	✅	❌	✅	✅
torch.Tensor.less_equal	✅	❌	✅	✅
torch.Tensor.logit	✅	✅	✅	❌
torch.Tensor.logsumexp	❌	✅	❌	✅
torch.Tensor.long	❌	✅	✅	✅
torch.Tensor.lt	✅	❌	✅	✅
torch.Tensor.lu	❌	✅	❌	✅
……

zhwesky2010 · 2023-11-06T11:34:19Z

'min_input_args' 和默认参数的数量有关，如果不进行 默认参数全部不指定 的检查，就不影响其他三项的检查。

'min_input_args' 应该就可以用来做 默认参数全部不指定 的检查吧，所有API也需要补上'min_input_args' ，测试用例须包含有 'min_input_args' 个参数且不指定关键字，你看这个方案能否可行

zhwesky2010 · 2023-11-06T11:37:19Z

tools/callvariety/.gitignore

@@ -0,0 +1,2 @@
+callvariety_report.md


validate_unittest
validation

改成这样命名吧

RedContritio · 2023-11-06T14:46:24Z

'min_input_args' 和默认参数的数量有关，如果不进行 默认参数全部不指定 的检查，就不影响其他三项的检查。

'min_input_args' 应该就可以用来做 默认参数全部不指定 的检查吧，所有API也需要补上'min_input_args' ，测试用例须包含有 'min_input_args' 个参数且不指定关键字，你看这个方案能否可行

好的我试试

已更新，现在有大约 800 个不符合规范的单测

zhwesky2010 · 2023-11-08T03:40:05Z

tests/test_normal.py

@@ -69,14 +69,3 @@ def test_case_5():
        """
    )
    obj.run(pytorch_code, ["result", "out"], check_value=False)
-
-
-def test_case_6():


这个case为什么删除，尽量新增case不减少case

因为这个 case 测试的是 torch.randint，我倾向于和 torch.normal 毫不相关

zhwesky2010 · 2023-11-08T03:41:47Z