最適制御問題: 動的計画法と最小原理

0. はじめに

先日は，5章の内容をまとめた (最適制御問題: 連続時間システムの最適制御)．少し間が空いてしまったが，今回は6章の内容をまとめる．

1. 6章の概要

6章では，最適制御問題に動的計画法を適用して，HJB方程式という偏微分方程式を導出している．変分法で導かれた常微分方程式の2点境界値問題であるオイラー・ラグランジュ方程式と，動的計画法から導かれた偏微分方程式であるHJB方程式は何らかのつながりがある．動的計画法から最小原理と呼ばれる条件を経由してオイラー・ラグランジュ方程式が導かれる．

以下に，各節の内容をまとめた手書きのメモを掲載する．

• 6.1節
• 6.2節
• 6.3節

2. まとめ

ここまで読んで，オイラー・ラグランジュ方程式とHJB方程式の関係が何となく分かってきた．実際の数値計算をどうするか，ということで少し詰まってしまって時間がかかっている．