Fix l2_normalize & add nn.functional.normalize

[mosout]

l2_normalize 截图

normalize 截图

[BBuf]

这个可以用autotest吗

[mosout]

应该用不了 pytorch里面没有l2_nornalize

[BBuf]

顺便把文档的截图传上来一下

[BBuf]

Suggested change

	y = m(x, oneof(2, 3, 4), dim, 1e-12)
	y = torch.nn.functional.normalize(x, oneof(2, 3, 4), dim, 1e-12)

[mosout]

好的

[BBuf]

Suggested change

	oneflow._C.normalize,
	oneflow.normalize,

[mosout]

那这个需要函数导出到oneflow目录下么

[BBuf]

可以导出一下。

[mosout]

我查了一下pytorch的接口 l2_normalize和normalize都没有导出到torch下都是在torch.nn.functional下的 我们还要导出么

[olojuwin]

这个接口改了之后，以前的写法会报错了。

        weight = flow.nn.functional.l2_normalize(
            input=weight, dim=1, epsilon=1e-10)

报错信息：

    input=weight, dim=1, epsilon=1e-10)
oneflow._oneflow_internal.exception.TypeException: 
  File "/home/ci-user/runners/release/_work/oneflow/oneflow/oneflow/api/python/functional/py_function.cpp", line 40, in ReportKwargsError
    TypeError: l2_normalize(): got multiple values for argument 'input'

[hjchen2]

这个接口改了之后，以前的写法会报错了。

        weight = flow.nn.functional.l2_normalize(
            input=weight, dim=1, epsilon=1e-10)

报错信息：

    input=weight, dim=1, epsilon=1e-10)
oneflow._oneflow_internal.exception.TypeException: 
  File "/home/ci-user/runners/release/_work/oneflow/oneflow/oneflow/api/python/functional/py_function.cpp", line 40, in ReportKwargsError
    TypeError: l2_normalize(): got multiple values for argument 'input'

看起来是需要把dim改成axis，你试试这个，

weight = flow.nn.functional.l2_normalize(
            input=weight, axis=1, epsilon=1e-10)

可以考虑在yaml里面把axis改成dim

[mosout]

这个接口改了之后，以前的写法会报错了。

        weight = flow.nn.functional.l2_normalize(
            input=weight, dim=1, epsilon=1e-10)

报错信息：

    input=weight, dim=1, epsilon=1e-10)
oneflow._oneflow_internal.exception.TypeException: 
  File "/home/ci-user/runners/release/_work/oneflow/oneflow/oneflow/api/python/functional/py_function.cpp", line 40, in ReportKwargsError
    TypeError: l2_normalize(): got multiple values for argument 'input'

看起来是需要把dim改成axis，你试试这个，

weight = flow.nn.functional.l2_normalize(
            input=weight, axis=1, epsilon=1e-10)

可以考虑在yaml里面把axis改成dim

确实 这个忘了把functor里面的参数名字对齐了 我改一下

[BBuf]

修改的时候可以让zhuwang用你的分支测试下是否还可以正常收敛以及是否还有报错，安全一点。

[mosout]

啊不对 这个接口对齐时tf的 tf的接口这个地方确实是axis 我建议直接废弃这个接口 统一用functional.normalize @olojuwin @hjchen2 @BBuf

[olojuwin]

这样改了挺好的，既统一了接口，也和torch/tf对上了