LSTM 已死，Transformer 万岁

Name: LSTM 已死，Transformer 万岁
Uploaded: 2021-09-25T06:18:35Z
Duration: 28 min 48 s
Description: Leo Dirac 解释了 Transformer 模型如何在 NLP 中取代 LSTM。他通过 RNN 和 LSTM 介绍了词袋的背景知识，然后通过示例代码对多头自注意力和位置编码进行了技术深入探讨。

原名：LSTM is dead. Long Live Transformers!

我一天要休息20小时·YouTube 54 万次观看·B站 371 播放·5 年前·28:48

在 B 站打开原 YouTube 版本

关于这个视频

Leo Dirac 解释了 Transformer 模型如何在 NLP 中取代 LSTM。他通过 RNN 和 LSTM 介绍了词袋的背景知识，然后通过示例代码对多头自注意力和位置编码进行了技术深入探讨。

HN 为什么推荐它：推荐作为 RNN 不足的原因以及 Transformer 如何解决它的清晰解释。

“获得了大量的赞美并让人们年复一年地观看”— HN 评论 · 2023 · 原文

查看英文原文

Leo Dirac explains how transformer models have replaced LSTMs in NLP. He gives background from bag of words through RNNs and LSTMs, then a technical deep dive into multi-headed self-attention and positional encoding, with sample code.

Why HN likes it: Recommended as a clear explanation of why RNNs fall short and how transformers solve it.

“has gotten tons of compliments and keeps people watching year after year”

HN 提及 5 次推荐者 4 人首次 2020最近 2023质量分 4.5

原视频频道：Seattle Applied Deep Learning · YouTube 54 万次观看

讲座进阶常青Transformer 模型lstm自我关注位置编码自然语言处理

法学硕士和生成人工智能机器学习和深度学习计算机视觉、语音和 NLP