淘沙TV
法学硕士和生成人工智能

从零手写 GPT:逐行代码讲透

原名:Let's build GPT: from scratch, in code, spelled out.
Alex_pro·YouTube 816.7 万次观看·B站 57 播放·5 个月前·1:56:20
在 B 站打开 原 YouTube 版本

关于这个视频

Andrej Karpathy 遵循 Attention Is All You Need 和 GPT-2/3,使用 PyTorch 在大约两个小时内从头开始构建了 GPT。他将其连接到 ChatGPT 并假设熟悉他之前的 makemore 视频。

HN 为什么推荐它:这是学习 Transformer 和 LLM 实际工作原理的首选推荐,因其清晰性和 Karpathy 的教学而受到好评。

“我见过的关于该主题的最佳视频”— HN 评论 · 2023 · 原文

查看英文原文

Andrej Karpathy builds a GPT from scratch in code, following Attention Is All You Need and GPT-2/3, in about two hours using PyTorch. He connects it to ChatGPT and assumes familiarity with his earlier makemore videos.

Why HN likes it: It is the go-to recommendation for learning how transformers and LLMs actually work, praised for its clarity and Karpathy's teaching.

“the best video I have seen on the topic”

HN 提及 20 次推荐者 14 人首次 2023最近 2025质量分 10.0

原视频频道:Andrej Karpathy · YouTube 816.7 万次观看

教程进阶常青gpttransformerpytorch纳米石墨烯注意力从头开始