从零手写 GPT:逐行代码讲透
原名:Let's build GPT: from scratch, in code, spelled out.
关于这个视频
Andrej Karpathy 遵循 Attention Is All You Need 和 GPT-2/3,使用 PyTorch 在大约两个小时内从头开始构建了 GPT。他将其连接到 ChatGPT 并假设熟悉他之前的 makemore 视频。
HN 为什么推荐它:这是学习 Transformer 和 LLM 实际工作原理的首选推荐,因其清晰性和 Karpathy 的教学而受到好评。
“我见过的关于该主题的最佳视频”— HN 评论 · 2023 · 原文
查看英文原文
Andrej Karpathy builds a GPT from scratch in code, following Attention Is All You Need and GPT-2/3, in about two hours using PyTorch. He connects it to ChatGPT and assumes familiarity with his earlier makemore videos.
Why HN likes it: It is the go-to recommendation for learning how transformers and LLMs actually work, praised for its clarity and Karpathy's teaching.
“the best video I have seen on the topic”
HN 提及 20 次推荐者 14 人首次 2023最近 2025质量分 10.0
原视频频道:Andrej Karpathy · YouTube 816.7 万次观看
教程进阶常青gpttransformerpytorch纳米石墨烯注意力从头开始













