我觉得是一件非常好的事情，在如今Transformer的autoregressive范式盛行的大背景下，能够有一些non-autoregressive的alternatives来作为竞品，应该是大家喜闻乐见的事。 我们知道现在主流的LLM都是autoregressively地生成token——也就是说只能根据上文信息预测下文。这样的 ...

异质性自回归模型（Heterogeneous Autoregression model）是由Corsi（2009）提出的，用来对经济金融时间序列，特别是波动率时间序列中的长记忆性进行建模。该模型可以更好地刻画时间序列随着时间范围而改变的尖峰厚尾性质。同时，该模型的估计方法非常简便，运用 ...

在视觉领域，扩散模型（diffusion model）已然成为图像生成的新范式。我们熟知的 Stable Diffusion、DALL-E 和 Imagen 等文生图工具都以扩散模型为基础。 而在语言模型领域，自回归模型（autoregressive model）则占据主导位置，大名鼎鼎的 ChatGPT 就使用了此类模型来生成回复。