【Hackathon 4 No.23】为 paddle 新增 vander API

[Li-fAngyU]

Add vander rfc file

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请检查PR提交格式和内容是否完备，具体请参考示例和模版。
Your PR has been submitted. Thanks for your contribution!
Please check its format and content. For this, you can refer to Template and Demo.

[luotao1]

如果有反向的话，测试部分需要完善，要包括C++ 算子单元测试

测试代码使用numpy计算结果后对比，与numpy对齐。

这个只是代表前向：在 Python 脚本中实现与前向算子相同的计算逻辑，得到输出值，与算子前向计算的输出进行对比。

反向计算已经自动集成进测试框架，直接调用相应接口即可。

测试还需要包括：静态图/动态图，也需要写上

[Li-fAngyU]

好的

[luotao1]

但可以利用已有的API组合进行实现。

从下文看，没有提到如何使用paddle的cumprod API来组合实现。如果需要用到cumprod相关函数，请详细描述下

[Li-fAngyU]

好的，我后面添加上。

这里有个额外的问题，vander 是可以直接通过python API组合实现的，还要为它写C++算子吗？

code example:

import paddle
import numpy as np

def vander(x, N=None, increasing=False):
    if x.dim() != 1:
        raise ValueError(
                "The input of x is expected to be a 1-D Tensor."
                "But now the dims of Input(X) is %d."
                % x.dim())
    
    if N < 0:
        raise ValueError("N must be non-negative.")

    if N is None:
        N = len(x)
    
    tmp = paddle.empty([len(x), N], dtype=x.dtype)

    if N > 0:
        tmp[:, 0] = 1
    if N > 1:
        tmp[:, 1:] = x[:, None]
        tmp[:, 1:] = paddle.cumprod(tmp[:, 1:], dim=-1)
    tmp = tmp[:, ::-1] if not increasing else tmp
    return tmp

def test():
    x = np.array([1., 2., 3.])
    a = paddle.to_tensor(x)
    N = [0,1,2,3,4,5]
    for n in N:
        np.isclose(vander(a, n).numpy(), np.vander(x, n))
        np.isclose(vander(a, n, increasing=True).numpy(), np.vander(x, n, increasing=True))
    print('test success!')

test()
# test success!

[luotao1]

vander 是可以直接通过python API组合实现的，还要为它写C++算子吗？

如果可以用python API组合实现，就不需要写C++算子，且单测部分不需要反向测试。后面的底层Op设计部分也要改一下。

[luotao1]

• 是否要用到cumprod相关函数？
• 这里的文件列全了么？没有看到反向相关的文件。（这个算子有反向么？）

[Li-fAngyU]

第一个问题：利用cumprod累乘API可以方便构建vander矩阵。

第二个问题：vander API，在torch上是不支持反向的，所以我就没有添加反向相关的kernel文件。后续会在rfc上补充说明。

example code：

import torch
a = torch.Tensor([1.,2.,3.])
a.requires_grad = True
b = torch.vander(a,3)
b.sum().backward()
# 报错信息：
# RuntimeError                              Traceback (most recent call last)
# /tmp/ipykernel_3602051/2253650649.py in 
#      3 a.requires_grad = True
#      4 b = torch.vander(a,3)
# ----> 5 b.sum().backward()
# RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [3, 2]], which is output 0 of SliceBackward, is at version 3; expected version 2 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True)。

[Li-fAngyU]

已修改！

[Li-fAngyU]

我发现tensor.math 文件下的函数，对于输入x都仅支持Tensor，那么是否需要与其保持一致，还是扩展输入x使其支持list|tuple|np.ndarray|Tensor ?

[luotao1]

这段代码在下面API实现方案里有，因此这里不用再贴一遍了。可以文字说明下参考下面的API实现方案

[Li-fAngyU]

好的

[luotao1]

这里还需要明确说一下，没有反向（保持和torch一致）

[Li-fAngyU]

好的

[luotao1]

我发现tensor.math 文件下的函数，对于输入x都仅支持Tensor，那么是否需要与其保持一致，还是扩展输入x使其支持list|tuple|np.ndarray|Tensor ?

保持一致即可

[Li-fAngyU]

收到，已修改