nanoGPT中文Tutorial

对新手更友好的中文nanoGPT教程

该仓库在持续更新中.

📺 BiliBili 🌐:youtube

🗂️ 目录

• 📌 关于本教程

• 🍄 中文版nanoGPT项目readme

• 🤖 中文预训练数据集搜集
• 💡 超级详细的nanoGPT视频教程

• 💪 对话能力实现

• 📖 目前已有的nanoGPT资料收集

  • 📺 视频
  • 💻 博客

• 📌 其它
  • 🎉 致谢
  • 🤔 问题反馈

📌 关于本教程

🔥 为什么还要去做nanoGPT的中文版教程

作为karpathy大神开源的目前已经获得三万多⭐的项目，nanoGPT是每个NLP爱好者入门必修项目。我必须承认karpathy在其Youtube视频课程中已经讲述的十分清楚，但是国内目前公开的视频网站或者博客，大多是将原版教学视频进行机翻，亦或者将直接对成型项目的代码进行逐行解读；鲜有对于下游任务的扩展以及整体项目的讲解。

🎯 我会去做什么

我会对目前已有的资料进行整理，同时发布一个相对全面的教学视频

🍄 中文版nanoGPT项目readme

我对nanoGPT项目进行了精细的中文翻译，也许会对初学者有所帮助 中文版

🤖 中文预训练数据集

这里会搜集一些小型的，适合于nanoGPT进行训练的中文数据集的仓库 其大多是常用的NLP训练语料，但我给出整理数据以适应nanoGPT的要求

目前已有：

chinese-poetry/chinese-poetry: The most comprehensive database of Chinese poetry 🧶最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。 (github.com)

garychowcmu/daizhigev20: 殆知阁古代文献 (github.com)

《西游记》全集,txt全集下载,电子书-奇书网 (qishuta.org)

💡 超级详细的nanoGPT视频教程

• 讲解文档

Lecture1 : 教程初衷

Lecture2 : 基础GPT框架构造与初步效果 ，BiliBili [Youtube][https://www.youtube.com/watch?v=sBqyBSb7K6U]

Lecture3 : 均值自注意力的几种方式数学推导 ，[视频在制作中 ]

Lecture4 : 搭建自注意力的准备工作 ，[视频在制作中 ]

Lecture5 : Q,K,V的引入以及多头自注意力的实现 ，[视频在制作中 ]

Lecture6 : 对话能力实现 ，[视频在制作中 ]

Lecture+ : 对于编码解码方式的讨论

💪 对话能力实现

主要参考VatsaDev/nanoChatGPT: nanogpt turned into a chat model (github.com)

📖 目前已有的nanoGPT资料收集

视频资料

(30) Let's build GPT: from scratch, in code, spelled out. - YouTube

从零开始手搓一个LLM（一）把参数缩减到足够单卡训练的NanoGPT_哔哩哔哩_bilibili

【自制中英字幕】【Andrej Karpathy】让我们从头开始，在代码中构建GPT_哔哩哔哩_bilibili

博客资料

NanoGPT Tutorial - WHY42 (riguz.com)

Andrej Karpathy 的 nanoGPT lecture demo 详解 - 知乎 (zhihu.com)

Andrej Karpathy 的 nanoGPT lecture demo 详解 - 知乎 (zhihu.com)

迷你版ChatGPT开源，教你怎么用nanoGPT训练一个写小说的AI机器人！ - 知乎 (zhihu.com)

NanoGPT的Pytorch2.0版本实现及分析 - 知乎 (zhihu.com)

开源仓库

karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs. (github.com)

HuZixia/nanoGPT-lecture: This nanoGPT-lecture code git, including Andrej Karpathy's nanoGPT, ng-vedio-lecture, gpt_dev.ipynb and my learning notes. Welcome to like and follow (github.com)

VatsaDev/nanoChatGPT: nanogpt turned into a chat model (github.com)

Andrei-Aksionov/nanoGPTplus (github.com)

https://github.com/sanjeevanahilan/nanoChatGPT

📌 其它

🎉 致谢

暂无

🤔 问题反馈

如有问题，请在GitHub Issue中提交，在提交问题之前，请先查阅以往的issue是否能解决你的问题,目前项目还处于更新阶段，请耐心等待。