基于 transformer 的双向编码器表示(BERT)和微软的图灵自然语言生成(T-NLG)等模型已经在机器学习世界中广泛的用于自然语言处理(NLP)任务，如机器翻译、文本摘要、问题回答、蛋白质折叠预测，甚至图像处理任务。 在本文中，对基于transformer 的工作成果做了一个 ...

导语：面对长文本，我们需要效率更高的 Transformer！ 众所周知，多头注意力机制 (Multi-Head Self-Attention) 的计算开销很大。在处理长度为 n 的序列时，其 O(n²) 的时间复杂度会使得原始的 Transformer 模型难以处理长文本序列。在过去的两年里，已经出现了多种有效的 ...

导语：如何从头开始训练自己的语言模型？ 在过去的几周里，我们对 transformers 和 tokenizers 库进行了一些改进，目的是让从头开始训练新的语言模型变得更加容易。 在本文中，我们将演示如何用世界语训练一个「小」模型（84 M，6 个层，768 个隐藏层，12 个注意 ...

Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。 Transformer，八岁了！ 开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。 Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。 更重要的是，它让人类 ...