对前两章基础部分内容的读后反馈

[hydt]

读过之后感觉这部分内容跟标题不够契合，不管是概率论还是深度学习都是涵盖内容比较广的主题。哪怕仅仅是综述，内容也是比较单薄的（对标deep learning）。如果这部分内容的目的是为无基础读者罗列知识点的话，内容不够全面，起不到指引的作用；如果目的是为有一定基础的读者进行知识点的总结与升华的话，内容又过于简单，不够深刻。仅供参考。
另，中文强化学习书籍真的很匮乏，您愿意付出时间精力来做这件事情，很令人敬佩。祝您的书稿早日面世。

[wangshusen]

多谢！可否给些具体的建议呢？比如增加哪些内容？

[kli-casia]

我觉得恰恰相反，我觉得作者前两章写的很好，看得出来是经过静心思考的，特别是作者一直强调什么是随机变量，什么是观测值，而且文中所有公式都将两者进行显式区分，还有期望那部分，到底是对谁求期望，到底哪些东西是随机的，哪些是确定的，我觉得写的很好，这些其实在RL paper里都没有特别区分，好多公式直接就是一个期望的符号，新手根本不知道对谁求期望，容易产生疑惑。

[hydt]

多谢！可否给些具体的建议呢？比如增加哪些内容？

例如：对于最大似然、最大后验、条件对数、均方误差、kl散度、交叉熵还有信息熵等知识点都可以统一在观测行为如何影响估计结果这样一个框架下进行讨论。等于是站在一个更高的高度来分析这些知识点之间的联系与区别，一些概念和观点的引入也会很自然。这就是我想表达的总结与升华的意思。蒙特卡洛方法是否也存在类似的高屋建瓴视角呢？
第二章的内容我又仔细看了一下，可能是个人好恶问题，我只是觉得太常识，也许有人需要这种风格。
很抱歉我的水平不足以提出具体有针对性的建议，以上也只是一些感性的认识。

[hydt]

我觉得恰恰相反，我觉得作者前两章写的很好，看得出来是经过静心思考的，特别是作者一直强调什么是随机变量，什么是观测值，而且文中所有公式都将两者进行显式区分，还有期望那部分，到底是对谁求期望，到底哪些东西是随机的，哪些是确定的，我觉得写的很好，这些其实在RL paper里都没有特别区分，好多公式直接就是一个期望的符号，新手根本不知道对谁求期望，容易产生疑惑。

您说的对，作者的行文是没有什么好说的。但是不够过瘾啊，我是觉得内容嫌浅，搔不到痒处

[wangshusen]

多谢！可否给些具体的建议呢？比如增加哪些内容？

例如：对于最大似然、最大后验、条件对数、均方误差、kl散度、交叉熵还有信息熵等知识点都可以统一在观测行为如何影响估计结果这样一个框架下进行讨论。等于是站在一个更高的高度来分析这些知识点之间的联系与区别，一些概念和观点的引入也会很自然。这就是我想表达的总结与升华的意思。蒙特卡洛方法是否也存在类似的高屋建瓴视角呢？
第二章的内容我又仔细看了一下，可能是个人好恶问题，我只是觉得太常识，也许有人需要这种风格。
很抱歉我的水平不足以提出具体有针对性的建议，以上也只是一些感性的认识。

非常感谢你的建议！我自己也不确定应该写多少数学。你的功底应该很强，喜欢数学。但是很多人会排斥数学。读者的背景都不一样，我只能尽量降低难度，让多数的人能看懂。

[StuLiu]

我觉得写得很好，如果连概率论和机器学习的基本知识都没有入门，不建议学习强化学习。