Sarsa による行動価値関数の学習 ー ベルマン方程式から TD 誤差まで
2025/11/30
行動価値関数のベルマン方程式を期待値の形で捉え直し、TD誤差の導入から Sarsa による on-policy な価値学習までを丁寧に解説します。
kabupen
機械学習・iOS 開発など、日々の試行錯誤をメモとして残しています。
自分の備忘録が中心ですが、どこかで誰かの実装のヒントになれば、と。
最新の記事
すべての記事条件つき期待値と期待値の繰り返しの公式をちゃんと理解する
2025/11/29
条件つき期待値 E[Y|X] の定義から始めて、連続分布を前提に全期待値の法則 E[E[Y|X]]=E[Y] を積分計算で丁寧に導出し、その直感的な意味や強化学習・ベイズ統計での使い所にも触れます。
ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering
2025/11/26
今回は ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering を読んでみました。
価値反復に基づくアルゴリズム①
2025/11/25
強化学習における基本知識、価値関数について成り立つ再帰的なベルマン方程式についてをまとめています。