论文标题
平均奖励马尔可夫决策过程中的学习和计划
Learning and Planning in Average-Reward Markov Decision Processes
论文作者
论文摘要
我们介绍了平均奖励MDP的学习和计划算法，包括1）第一个普通验证的无电模型控制算法，没有参考状态，2）第一个经过证实的无限制的无模型模型的预测算法，以及3）第一个非政策学习算法，该算法是第一个离职算法，该算法与实际价值相比，与实际价值相比，相比是偏离实际价值的功能。我们所有的算法都是基于使用时间差异错误，而不是在更新平均奖励的估计值时使用的常规错误。我们的证明技术是对Abounadi，Bertsekas和Borkar（2001）的略微概括。在使用访问控制队列任务的实验中，我们显示了使用依赖参考状态的方法时可能出现的一些困难，并认为我们的新算法可以非常易于使用。
We introduce learning and planning algorithms for average-reward MDPs, including 1) the first general proven-convergent off-policy model-free control algorithm without reference states, 2) the first proven-convergent off-policy model-free prediction algorithm, and 3) the first off-policy learning algorithm that converges to the actual value function rather than to the value function plus an offset. All of our algorithms are based on using the temporal-difference error rather than the conventional error when updating the estimate of the average reward. Our proof techniques are a slight generalization of those by Abounadi, Bertsekas, and Borkar (2001). In experiments with an Access-Control Queuing Task, we show some of the difficulties that can arise when using methods that rely on reference states and argue that our new algorithms can be significantly easier to use.
