Welcome-球速体育UMI——斯坦福刷盘机器人：从手持夹持器到动作预测Diffusion Policy(含代码解读)-下

　　如我组建的mobile aloha复现团队里的邓老师所说，mobile aloha也用了 diffusion，不过是作为对比实验的打击对象来用的

　　进一步，为了充分释放扩散模型在物理机器人上进行视觉运动策略学习的潜力，作者团队提出了一套关键的技术贡献，包括将后退视界控制、视觉调节和时间序列扩散transformer结合起来

　　虽然DDPM通常用于图像生成，但该团队使用DDPM来学习机器人的视觉运动策略。这需要针对DPPM的公式进行两大修改

　　具体来说，在时间步骤编辑，策略将最新的个观察数据作为输入，并预测个动作，其中个动作在不重新规划的情况下在机器人上执行(在此定义中，编辑表示观测视野，编辑表示动作预测视野，而编辑则代表了动作执行视野)。这样做既促进了时间动作的一致性，又保持了响应速度

　　1. 众所周知，从从高斯噪声中采样的编辑开始，DDPM执行编辑次去噪迭代，以产生一系列降低噪声水平的中间动作，编辑，直到形成所需的无噪声输出编辑 (说白了，就是去噪) 该过程遵循下述所示的公式1

　　其中 编辑为通过学习优化参数的噪声估计网络， 为每次迭代时加入的高斯噪声 且上面的公式1也可以理解为一个单一的噪声梯度下降步长，定义为如下公式2

　　此外，公式1中的 、 和 作为与迭代步长 相关的函数选择被称为噪声调度，可以理解为梯度下降过程中学习速率的调整策略。经证明，将 编辑设定略小于1能够改善稳定性

　　再之后，训练过程首先从数据集中随机抽取未修改的样本 。对于每个样本，我们随机选择一个去噪迭代 ，然后为迭代 编辑采样一个具有适当方差的随机噪声 然后要求噪声估计网络从添加噪声的数据样本中预测噪声，如下公式3

　　最小化公式3所示的损失函数也同时最小化了数据分布p(x0)和从DDPM q(x0)中提取的样本分布之间KL-散度的变分下界

　　基于CNN的扩散策略中，采用Janner等人[21]的1D temporal CNN，并做了一些修改，如下图所示

　　首先，我们仅通过特征线性调制(FiLM)，和对观测特征编辑的动作生成过程进行调节，并进行去噪迭代编辑，以建模条件分布编辑

　　在实践中发现，基于CNN的骨干网络在大多数任务上表现良好且无需过多超参数调优。然而，当期望的动作序列随着时间快速而急剧变化时(如velocity命令动作空间)，它的表现很差，可能是由于时间卷积的归纳偏差[temporal convolutions to prefer lowfrequency signals]，以偏好低频信号所致

　　为减少CNN模型中过度平滑效应[49]，我们提出了一种基于Transformer架构、借鉴minGPT[42]思想的DDPM来进行动作预测，如下图所示

　　在我们的基于状态的实验中，大多数性能最佳的策略都是通过Transformer骨干实现的，特别是当任务复杂度和动作变化率较高时。然而，我们发现Transformer对超参数更敏感

　　不同的相机视图使用不同的编码器，以对每个时间步内的图像独立编码，然后连接形成，且使用标准的ResNet-18(未进行预训练)作为编码器，并进行以下修改:

　　由于高维输出空间采样困难，在大多数策略学习方法中一般不做序列预测。例如，IBC将难以有效地采样具有非光滑能量景观的高维动作空间。类似地，BC-RNN和BET难以确定动作分布中存在的模式数量(需要GMM或k-means步骤)

　　相比之下，DDPM在不降低模型表现力的前提下，在输出维度增加时仍然保持良好扩展性，在许多图像生成应用中已得到证明。利用这种能力，扩散策略以高维动作序列的形式表示动作，它自然地解决了以下问题：

　　时间动作一致性，如下图所示，为了将T块从底部推入目标，策略可以从左或右绕T块走

　　为了训练用于隐式策略的EBM，使用了infonce风格的损失函数，它相当于公式6的负对数似然

　　而扩散策略和DDPM通过建模公式6中相同动作分布的得分函数[46]，回避了编辑的估计问题：

　　因此，扩散策略的推理过程(公式4)和训练过程(公式5)都不涉及对编辑的评估，从而使扩散策略的训练更加稳定

　　“1 截止到24年5月初，我们总算把斯坦福的UMI、DexCap成功复现了(国内最早复现这两模型的团队或之一，至于Mobile Aloha则大同小异)，且已把这两者的所有硬件全部换成国产平替，欢迎加入本线 通过本线下营共同实现一系列主流机器人的复现部署、二次开发之后，如合适，欢迎和我司的大模型机器人项目组合作，一方面，共同为高校/公司服务，二方面，共同打造世界级通用机器人