近似架构与优化方法详解
1. 近似架构基础
在控制问题中，充分统计量起着关键作用。对于最优函数 $\mu_{k}^{}(I_{k})$，存在一个函数 $\hat{\mu}{k}$，使得 $\mu{k}^{}(I_{k}) = \hat{\mu}{k}(S{k}(I_{k}))$。充分统计量的选择通常依赖于具体问题，常见的选择有：
- 将 $I_{k}$ 本身视为充分统计量，这是一种较为简单直接的方式。
- 将信念状态 $p_{k}(I_{k})$ 作为充分统计量，它是给定 $I_{k}$ 时 $x_{k}$ 的条件概率分布。
基于充分统计量，我们可以引入其特征并训练相应的近似架构。例如，部分历史信息（如 $I_{k}$ 中的最后 $m$ 个测量值和控制值），或者 $I_{k}$ 的特殊特征（如是否观察到类似警报的“特殊”事件）都可能是很好的特征。当使用信念状态 $p_{k}(I_{k})$ 作为充分统计量时，基于它的点估计、估计的方差等也可作为特征。
然而，在很多情况下，我们并不知道合适的特征集合，因此自动构建特征的方法就显得尤为重要。神经网络就是一种不依赖于已知良好特征的架构，它在训练过程中可以同时构建特征向量 $\varphi_{k}(x_{k})$ 和权重参数向量 $r_{k}$。
2. 线性与非线性架构的训练
选择参数化架构 $\tilde{J}(x, r)$ 的参数向量 $r$ 的过程通常称为训练。最常见的训练方法是基于最小二乘优化，即最小二乘回归。具体步骤如下：
1. 收集一组状态 - 成本训练对 $(x_{s}, \beta_{
