自回归模型通过施加因果约束,在序列依赖关系建模方面表现出色,但其单向特性导致难以捕捉复杂的双向模式。相比之下,基于掩码的模型能利用双向上下文实现更丰富的依赖关系建模,但其预测过程常假设标记相互独立,这削弱了对序列依赖关系的刻画能力。此外,通过掩码或吸收操作对序列进行的破坏可能引入不自然的失真,增加学习难度。为应对这些挑战,我们提出双向自回归扩散模型(BAD),这一创新方法融合了自回归与基于掩码的生成模型优势。BAD采用基于排列的序列破坏技术,在通过随机排序保持因果依赖的同时维护自然序列结构,从而有效捕捉序列与双向关系。综合实验表明,BAD在文本到动作生成任务中优于自回归和基于掩码的模型,为序列建模提供了创新的预训练策略。BAD代码库已发布于https://github.com/RohollahHS/BAD。