準ニュートン法#

読み: じゅんにゅーとんほう
英名: Quasi-Newton Method

主に無制約最小化問題を解くための手法の一つである．手法の概要はニュートン法と同様である．ただし，目的関数 \(f(x)\) の点 \(x_k\) でのヘッセ行列 \(\nabla^2 f(x_k)\) を用いるのではなく，ヘッセ行列の近似行列 \(B_k\) を用い，\(B_k d = - \nabla f(x_k)\) という方程式を解くことにより探索方向を求めるという点が異なる．なお，方程式を解くかわりに，\(d = -H_k \nabla f(x_k)\) とし点 \(x_k\) でのヘッセ行列の逆行列の近似行列 \(H_k \approx \nabla^2 f(x_k)^{-1}\) を用いて探索方向を直接求めることもある．

近似行列 \(B_k\)，\(H_k\) の更新方法に関しては，セカント条件を満たす更新公式である BFGS 公式や DFP 公式が良く知られている．