이번 section에서는 정확한 gradient나 hessian을 모를 때에 approximation을 통해 update하는 방법에 대해 설명합니다.
time step T까지의 trajectory $$ \tau = (s_0,u^1_0,u^2_0,r^1_0,r^2_0,\cdots,u^1_T,u^2_T,r^1_T,r^2_T)$$에 대해, 한 agent의 discounted return $$ R^a_t(\tau) = \sum^T_{t'=t}{\gamma^{t'-t}r^a_{t'}}$$을 다음과 같이 정의할 수 있습니다. 그렇다면, agent의 policy$$(\pi^1,\pi^2)$$에 대해 discounted average reward 는 다음과 같습니다.
$$ \nabla_{\theta^1}\mathbb{E}R^1_0(\tau) = \int\nabla_{\theta^1} \pi^1(\tau)R^1_0(\tau)d\tau$$
$$= \int \pi^1(\tau)\frac{\nabla_{\theta^1} \pi^1(\tau)}{\pi^1(\tau)}R^1_0(\tau)d\tau$$
$$= \int \pi^1(\tau) \nabla_{\theta^1} \log\pi^1(\tau)R^1_0(\tau)d\tau$$
$$= \mathbb{E}[\nabla_{\theta^1}\log \pi^1(\tau)R^1_0(\tau)]$$
그러므로 gradient-based naive learner(NL-PG)는 다음과 같이 update가능합니다.
$$\bm{f}^1_{\mathrm{nl,\ pg}} = \nabla_{\theta^1}\mathbb{E}R^1_0({\tau})\delta$$
그렇다면, LOLA의 $$ \mathbb{E}R^a_0(\tau)$$는 agent 모두에 의한 gradient를 구해야하고 이는 위와 같이 전개하면 다음과 같이 표현 가능합니다.
$$ \nabla_{\theta^1} \nabla_{\theta^2}\mathbb{R}^2_0(\tau) = \mathbb{E}[R^2_0(\tau)\nabla_{\theta^1}\log{\pi^1}(\tau)(\nabla_{\theta^2}\log{\pi^2}(\tau))^T]$$
$$= \mathbb{E}[\sum^T_{t=0}\gamma^tr^2_t\cdot(\sum^t_{l=0}{\nabla_{\theta_1}\log{\pi^1(u^1_l|s_l}}))(\sum^t_{l=0}\nabla_{\theta^2}\log{\pi^2(u^2_l|s_l))^T}$$
LOLA의 update는 결과적으로 다음과 같이 update하게 됩니다.
$$\bm{f}^1_{\mathrm{lola, \ pg}} = \nabla_{\theta^1}\mathbb{E}R^1_0(\tau)\delta+ (\nabla_{\theta^2}\mathbb{E}R^1_0(\tau))^T\nabla_{\theta^1}\nabla_{\theta^2}\mathbb{E}R^2_0(\tau)\delta\eta$$