CS336 学习总结：把语言模型的整条链路串起来
这里整理一下 CS336 的学习记录。仓库按照五次 Assignment 保存代码、实验脚本和笔记，也有 Lecture 的记录。
从 tokenizer 到模型
A1 从 byte-level BPE 和 tokenizer 开始，接着实现 Linear、Embedding、RMSNorm、SwiGLU、RoPE 和注意力，再把损失函数、AdamW、训练循环和生成脚本接起来。
看单个模块的时候容易觉得自己知道它在做什么，真正串起来之后还要考虑 token 怎么变成张量、维度怎么变化，以及梯度如何传递。
系统、数据和对齐
A2 进入系统部分，包括 profiler、混合精度、GPU 内存、Triton、DDP 和分片训练。除了能不能训练，还要看计算、通信和显存分别花在了哪里。
A3 讨论模型规模、数据量和计算预算；A4 涉及文本提取、过滤和去重；A5 则进入 RLVR、策略梯度、GRPO 和重要性重加权。
仓库 README 将 Spring 2026 主线标记为完成。不过部分需要大规模 GPU 或 B200 的实验没有完整复现，具体实现和笔记可以看下面的仓库。
相关链接
相关推荐
2026-10-27
From Surface To Deep—— An overview of DeepInfer Part1
DeepInfer 相信的心就是你的力量。 1.总览 DeepInfer主要支持DeepSeek - V4.1 - Flash 高性能 Attention / MoE Kernels Attention DP\ MoE EP and Expert Load Balancing Dspark Speculative Decoding and mobile verification Sliding- Window Attention State recovery Batch- invariant Inference and Deterministic Sampling 局限性: Deepinfer 并不是完全开放的Online Inference Serving. ReadMe says that the complete serbing needs KV Cache ... etc. 本Markdown将以一个请求为例，自顶向下来分析。 注意：本blog分析去掉了大量的多模态代码和多模态的分析 2.STAGE1. 一条请求怎么穿过DeepInfer 2.1 llm.py f...
2026-10-11
AI Infrastructure Seminars：从写 kernel 到解释性能
这篇整理一下 LCPU / PKU AI Infrastructure Seminars 的学习记录。内容包括 CUDA、Triton、TileLang、GPU 内存层次、Tensor Core、流水线和推理。 Kernel 和正确性 assignment01/kernels/ 里有向量加法、softmax、矩阵乘法和 TileLang 相关文件。写 kernel 的时候，先要确认计算结果正确，再去考虑线程如何分配、数据怎样访问以及哪里值得优化。 合并访问、共享内存复用、寄存器占用和同步位置都会影响执行。一个优化到底有没有用，还是得结合瓶颈和测量结果来看。 性能测量 GPU 执行是异步的，计时之前需要考虑预热、同步和重复运行。JIT 编译时间也要和稳定执行时间区分开，不然测到的可能不是想比较的部分。 Tile size、warp 数量和共享内存用量也与硬件有关。Notes/ 里另外记录了内存抽象、GEMM、Tensor Core 和流水线，代码和笔记可以一起对照着看。 相关链接 课程仓库与测量边界 · kernel 文件 · 学习笔记
2026-10-27
DeepInfer Part2 —— The adaptive verification of Dspark
DeepInfer Part2—— DSpark的动态验证调度 简单来说，DeepInfer的设计算法是 一个以GPU有效吞吐为目标的全局预算分配算法 核心的思考来说，就是可以参考这篇文章的一个观察： Speculative Decoding: Performance or Illusion?](https://arxiv.org/abs/2601.11580) 想必看到这里的读者，其实都明白一个道理 所谓投机解码，就是一种利用GPU的多余算力，做一些额外的计算和工作，从而让核心的路径达到更高的计算速度的一种方式。Drafter做了很多额外的proposal tokens，其中只有相当一部分最终能被接受。 想必敏锐的读者到现在已经发现问题所在了。 投机解码的技术能够在单卡单请求上面得到不错的加速比例(一般是2~5x), 其根本原因是因为一般来说我们说Decode阶段是 Memory-bound的。而投机解码 激进的计算能够提高计算强度。从而达到加速。而现在我们的目光到了serving阶段，多个请求一般来说能够直接给我们的Compute打满。到了这种时候，我们再用投机解码，被拒绝掉...
2026-10-11
SJTU HPC 2026 学习记录：先把工具链和运行过程弄清楚
这里记录一下 SJTU HPC 2026 的学习和准备资料。仓库里有 Shell、C/C++、Makefile、CMake、CUDA 和 Python 构建测试脚本，笔记还涉及工具、网络、编译和语言。 编译过程 编译笔记把预处理、生成汇编、汇编成目标文件和链接分开记录。这样遇到问题时，可以先判断错误出现在哪一步：头文件和宏、语言本身的错误，以及链接时找不到符号，需要从不同地方排查。 练习既有单文件程序，也有多文件组织。项目大一点之后，编译选项、依赖关系和链接目标都需要构建文件帮忙管理。 GPU 代码 class06 目录包含 C++、CUDA 和 Python 文件，可以对照着看主机端调用、设备端计算以及构建和测试脚本如何连接。 这些资料主要是学习和练习记录；要比较性能，还需要具体的硬件、输入和测量方式。 相关链接 学习仓库 · 编译笔记 · class06 练习
2026-10-11
CS189/289A 资料整理：给机器学习补上理论阅读入口
这里整理一下 Berkeley CS189/289A Spring 2024 的机器学习课程资料。仓库是从 cy-Yin 的课程资料仓库 fork 的，里面有 Discussion、考试材料和作业解答。 上游 README 中提到的作业解答属于原作者。这份 fork 主要作为资料入口，不能当作我自己的作业完成记录。 这门课的资料可以配合机器学习实现一起看：模型有哪些假设，目标函数为什么这样写，推导又依赖什么条件。做题时可以先自己推一遍，再对照解答检查。 上游也提到部分数据较大，数据和空白作业包需要从其他来源获取。下载之前记得对照课程版本和原仓库说明。 相关链接 我的公开 fork · 资料原作者 · 课程网站
2026-10-11
CUDA 中文文档：除了翻译，还得让人找得到
这里记录一下 CUDA Programming Guide 的简体中文整理项目。项目围绕 Release 13.3 组织内容，包含介绍、编程、进阶、特性、附录和参考部分。 站点使用 VuePress，提供章节导航和全文搜索。线程层级、执行方式和内存关系等内容也保留了相关图示，方便对照文字阅读。 翻译时需要注意术语的一致性，代码和 API 名称也要保持准确。尤其是涉及“仅当”“可能”“必须”的地方，少一个限定词就可能改变原意。 这是一份非官方中文整理，涉及行为保证、平台限制和版本差异时，建议对照对应版本的 NVIDIA 官方文档。站点、仓库和官方文档的链接放在下面。 相关链接 中文站点 · 项目与版本说明 · NVIDIA 官方文档
