让神经网络训练速度加快4倍！谷歌大脑团队提出“数据回送”算法

批处理前或批处理后的回送： 批处理前的回送是指数据在样本级别而不是批级别进行重复。这样增加了相邻批次不同的可能性，但代价是不能复制一批内的样本。批处理前回送的算法称为 样本回送（example echoing），批处理后回送的算法称为 批回送（batch echoing）。

数据增强前或数据增强后的回送： 数据增强前的回送允许重复数据进行不同的转换，能使重复数据更接近新数据。

数据回送的表现也受回送阶段后 shuffle 程度的影响。在适用的情况下，作者将 shuffle 作为缓冲区。缓冲区越大，shuffle 程度越高，训练算法能够近似于将整个训练集加载到内存中。

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!