20章多智能体入门程序疑问

[lz200202]

old_log_probs 和 log_probs 是一直相等的吗？同样的actor参数，同样的输入.....

[ZisongXu]

我觉得应该是相等的。在这里我也有相同的疑惑。
你可以看看“蘑菇书EasyRL”里面介绍的ppo算法，那个算法中得到old_log_probs之后紧接着是一个关于echo的for循环，在for循环里面会计算log_probs然后更新self.actor神经网络。