ベルマン方程式

確率的な振る舞いを考慮した状態価値関数を求める

$G_t = R_t + γR_{t+1} + γ^2R_{t+2} +....$

$G_{t+1} = R_{t+1} + γR_{t+2} + γ^2R_{t+3} +....$

$G_t = R_t + γR_{t+1} + γ^2R_{t+2} +....$

$=R_t + γ(R_{t+1} + γR_{t+2} + ...)$

$=R_t + γG_{t+1}$

$ν_π(s) = E_π[G_t | S_t=s]$

$ν_π(s) = E_π[G_t | S_t=s]$

$=E_π[R_t + γG_t+1|S_t=s]$

$= E_π[R_t|S_t=s] + γE_π[G_{t+1}|S_t=s]$

※補足：$E[X+Y] = E[X] + E[Y]$

状態がsであり、確率による方策π(a|s) に従って行動し、確率 p(s’|s, a)で、報酬r(s, a, s’)を得る

期待値を求めるには報酬 * 確率をすべての候補に対して実行し和を求める

$E_π[R_t|S_t=s] = \sum_{a,s'}π(a|s)p(s'|s, a)r(s, a, s')$

時刻tから１つ先に進めるのは、状態がsであり、確率による方策π(a|s)に従って行動し、確率p(s’|s, a)で、以下に遷移することになる

$E_π[G_{t+1}|S_{t+1}=s'] = ν_π(s')$

期待値を求めるには、上記の計算をすべての候補に対して実行し和を求める

$E_π[G_{t+1}|S_t=s] = \sum_{a,s'}π(a|s)p(s'|s, a)E_π[G_{t+1}|S_{t+1}=s']$

$=\sum_{a,s'}π(a|s)p(s'|s, a)ν_π(s')$

$ν_π(s) = E_π[R_t|S_t=s] + γE_π[G_{t+1}|S_t=s]$

$=\sum_{a,s'}π(a|s)p(s'|s, a)r(s, a, s') + γ\sum_{a,s'}π(a|s)p(s'|s, a)ν_π(s')$

$=\sum_{a,s'}π(a|s)p(s'|s, a)\{r(s, a, s') + γν_π(s')\}$

ベルマン方程式は、「状態sの価値関数」と「その次に取り得る状態s’の価値関数」の関係性を表した式になる。

状態価値観数は以下であり、「状態がs」であること、「方策がπ」であることが条件

$ν_π(s) = E_π[G_t | S_t=s]$

行動価値関数（Q関数）はさらに「行動a」も条件が追加される

$q_π(s, a) = E_π[G_t|S_t = s, A_t=a]$

時刻tのときに、状態sで行動aを取り、時刻t+1以降では方策πに従った行動をとる。

そのときに得られる収益の期待値が$q_π(s, a)$となる

$q_π(s, a) = E_π[G_t|S_t = s, A_t=a]$

$=E_π[R_t + γG_{t+1}|S_t=s, A_t=a]$

$=E_π[R_t|S_t=s, A_t=a] + γE_π[G_{t+1}|S_t=s, A_t=a]$

$=\sum_{s'}p(s'|s,a)r(s, a, s') + γ\sum_{s'}p(s'|s,a)E_π[G_{t+1}|S_{t+1}=s']$

$=\sum_{s'}p(s'|s,a)\{r(s, a, s') + γE_π[G_{t+1}|S_{t+1}=s']\}$

$=\sum_{s'}p(s'|s,a)\{r(s, a, s') + γν_π(s')\}$

$=\sum_{s'}p(s'|s,a)\{r(s, a, s') + γ\sum_{a'}π(a'|s')q_π(s',a')\}$