A3C

A3C（Asynchronous Advantage Actor-Critic）是由Google DeepMind團隊於2016年提出的一種基於異步梯度的深度強化學習框架（Asynchronous Methods for Deep Reinforcement Learning），利用了多線程同時並行運行的特點，讓多個Actor(演員)並行訓練而定期與全局參數同步。該方法在Atari遊戲和3D迷宮等方面都有不錯的效果。

符號

符號	含義
$s\in S$	狀態。
$a\in A$	動作。
$r\in R$	回報。
$S_{t},A_{t},R_{t}$	一個軌跡中第個時間步對應的狀態、動作以及回報。偶爾使用$s_{t},a_{t},r_{t}$代替。
$\gamma$	折扣因子；用於懲罰未來回報中的不確定性。
$G_{t}$	累積回報；或者說累積折扣回報。
$P(s',r|s,a)$	在當前狀態下採取動作後轉移到下一個狀態並得到回報的概率。
$\pi (a|s)$	隨機策略（智能體行為邏輯）；$\pi _{\theta }(.)$代表由參數化的策略。
$\mu (s)$	確定性策略；雖然也可以把確定性策略記為$\pi (s)$，但是採用一個不同的字母可以讓我們更容易分辨一個策略到底是確定性的還是隨機的。$\pi$或者$\mu$都是強化學習算法要學習的目標。
$V(s)$	狀態-值函數衡量狀態的期望累積回報；$V_{\omega }(.)$代表由ω參數化的狀態-值函數。
$V^{\pi }(s)$	當智能體遵循策略時狀態的期望累積回報；。$V(\pi )(s)=\mathbb {E} _{a\sim \pi }[G_{t}|S_{t}=s]$
$Q(s,a)$	動作-值函數，與狀態-值函數類似，但是它衡量在狀態下採取動作後的期望累積回報；代表由參數化的動作-值函數。
$Q^{\pi }(s,a)$	與$V^{\pi }(s)$類似，當智能體遵循策略$\pi$時，在狀態$s$下採取動作$a$後的期望累積回報； $Q^{\pi }(s,a)=\mathbb {E} _{a\sim \pi }[G_{t}|S_{t}=s,A_{t}=a]$。
$A(s,a)$	優勢函數，；$A(s,a)=Q(s,a)-V(s)$可以認為優勢函數是加強版本的動作-值函數，但是由於它採用狀態-值函數作為基準使得它具有更小的方差。

優勢函數

由$A(s,a)=Q(s,a)-V(s)=r(s,a)+\gamma \mathbb {E} _{s'\sim p(s'|s,a)}[V^{(}s')-V^{(}s)]\simeq r(s,a)+\gamma (V(s')-V(s))$。

當選取k步TD後，在A3C中由於有參數$\theta ,\theta _{v}$,優勢函數可改寫為：

$A(s_{t},a_{t};\theta ,\theta _{v})=\sum _{i=0}^{k-1}\gamma ^{i}r_{t+i}+\gamma ^{k}V(s_{t+k};\theta _{v})-V(s_{t};\theta _{v})$

算法流程

異步優勢Actor-Critic - 每個Actor-Learner線程的偽代碼如下：

1. 定義全局參數向量$\theta$和$\theta _{v}$以及全局計數器$T=0$
2. 定義線程自身參數向量$\theta '$和$\theta '_{v}$,初始化線程步數計數器$t\leftarrow 1$
3. 當$T\leqq T_{max}$:
   1. 重置梯度:$d\theta \leftarrow 0$ 和$d\theta '_{v}\leftarrow 0$
   2. 將線程自身的參數向量與全局參數向量同步:$\theta '=\theta$，$\theta '_{v}=\theta _{v}$
   3. 令線程計數器$t_{start}=t$並隨機採樣一個初始狀態$s_{t}$
   4. 當($s_{t}!=$終止狀態)且$t-t_{start}\leqq t_{max}$:
      1. 根據當前線程的策略選擇當前執行的動作$a_{t}\sim \pi _{\theta '}(a_{t}|s_{t})$執行動作後接受回報$r_{t}$並轉移到下一個狀態$s_{t+1}$。
      2. 更新t以及$T:t=t+1$並且$T=T+1$
   5. 初始化保存累積回報估計值的變量:$R={\begin{cases}0,&{\text{if }}s=s_{terminal}\\V(s_{t},\theta '_{v}),&{\text{non-terminal }}s_{t}\end{cases}}$
   6. 對於$i\in \{t-1,...,t_{start}\}$，執行：
      1. $R\leftarrow r_{i}+\gamma R$
      2. 累積關於參數$\theta '$的梯度:$d\theta \leftarrow d\theta +\nabla _{\theta '}\log \pi (a_{i}|s_{i};\theta ')(R-V(s_{i};\theta _{v}'))$
      3. 累積關於參數$\theta '_{v}$的梯度:$d\theta _{v}\leftarrow d\theta _{v}+{\partial (R-V(s_{i};\theta _{v}'))^{2} \over \partial \theta _{v}'}$
   7. 分別使用$d\theta$和$d\theta _{v}$異步更新$\theta$和$\theta _{v}$

改進

在Asynchronous Methods for Deep Reinforcement Learning （頁面存檔備份，存於網際網路檔案館）中作者還將熵($H(\pi (s_{t},\theta '))$)加到目標函數中以避免收斂到次優確定性解，這是由於在最大化熵的過程中會避免分布過於集中，包含熵在內的完整目標函數梯度如下

$\nabla _{\theta '}\log \pi (a_{t}|s_{t};\theta ')(R_{t}-V(s_{t};\theta _{v}))+\beta \nabla _{\theta }'H(\pi (s_{t};\theta '))$

其中H為熵函數，$\beta$是用於控制熵正則化項的超參數。

論文

[1] （頁面存檔備份，存於網際網路檔案館）

代碼實現

[2] （頁面存檔備份，存於網際網路檔案館）