AI Infrastructure Seminars：从写 kernel 到解释性能
这篇整理一下 LCPU / PKU AI Infrastructure Seminars 的学习记录。内容包括 CUDA、Triton、TileLang、GPU 内存层次、Tensor Core、流水线和推理。
Kernel 和正确性
assignment01/kernels/ 里有向量加法、softmax、矩阵乘法和 TileLang 相关文件。写 kernel 的时候，先要确认计算结果正确，再去考虑线程如何分配、数据怎样访问以及哪里值得优化。
合并访问、共享内存复用、寄存器占用和同步位置都会影响执行。一个优化到底有没有用，还是得结合瓶颈和测量结果来看。
性能测量
GPU 执行是异步的，计时之前需要考虑预热、同步和重复运行。JIT 编译时间也要和稳定执行时间区分开，不然测到的可能不是想比较的部分。
Tile size、warp 数量和共享内存用量也与硬件有关。Notes/ 里另外记录了内存抽象、GEMM、Tensor Core 和流水线，代码和笔记可以一起对照着看。
相关链接
相关推荐
2026-10-27
DeepInfer Part2 —— The adaptive verification of Dspark
DeepInfer Part2—— DSpark的动态验证调度 简单来说，DeepInfer的设计算法是 一个以GPU有效吞吐为目标的全局预算分配算法 核心的思考来说，就是可以参考这篇文章的一个观察： Speculative Decoding: Performance or Illusion?](https://arxiv.org/abs/2601.11580) 想必看到这里的读者，其实都明白一个道理 所谓投机解码，就是一种利用GPU的多余算力，做一些额外的计算和工作，从而让核心的路径达到更高的计算速度的一种方式。Drafter做了很多额外的proposal tokens，其中只有相当一部分最终能被接受。 想必敏锐的读者到现在已经发现问题所在了。 投机解码的技术能够在单卡单请求上面得到不错的加速比例(一般是2~5x), 其根本原因是因为一般来说我们说Decode阶段是 Memory-bound的。而投机解码 激进的计算能够提高计算强度。从而达到加速。而现在我们的目光到了serving阶段，多个请求一般来说能够直接给我们的Compute打满。到了这种时候，我们再用投机解码，被拒绝掉...
2026-10-27
From Surface To Deep—— An overview of DeepInfer Part1
DeepInfer 相信的心就是你的力量。 1.总览 DeepInfer主要支持DeepSeek - V4.1 - Flash 高性能 Attention / MoE Kernels Attention DP\ MoE EP and Expert Load Balancing Dspark Speculative Decoding and mobile verification Sliding- Window Attention State recovery Batch- invariant Inference and Deterministic Sampling 局限性: Deepinfer 并不是完全开放的Online Inference Serving. ReadMe says that the complete serbing needs KV Cache ... etc. 本Markdown将以一个请求为例，自顶向下来分析。 注意：本blog分析去掉了大量的多模态代码和多模态的分析 2.STAGE1. 一条请求怎么穿过DeepInfer 2.1 llm.py f...
2026-10-11
CS336 学习总结：把语言模型的整条链路串起来
这里整理一下 CS336 的学习记录。仓库按照五次 Assignment 保存代码、实验脚本和笔记，也有 Lecture 的记录。 从 tokenizer 到模型 A1 从 byte-level BPE 和 tokenizer 开始，接着实现 Linear、Embedding、RMSNorm、SwiGLU、RoPE 和注意力，再把损失函数、AdamW、训练循环和生成脚本接起来。 看单个模块的时候容易觉得自己知道它在做什么，真正串起来之后还要考虑 token 怎么变成张量、维度怎么变化，以及梯度如何传递。 系统、数据和对齐 A2 进入系统部分，包括 profiler、混合精度、GPU 内存、Triton、DDP 和分片训练。除了能不能训练，还要看计算、通信和显存分别花在了哪里。 A3 讨论模型规模、数据量和计算预算；A4 涉及文本提取、过滤和去重；A5 则进入 RLVR、策略梯度、GRPO 和重要性重加权。 仓库 README 将 Spring 2026 主线标记为完成。不过部分需要大规模 GPU 或 B200 的实验没有完整复现，具体实现和笔记可以看下面的仓库。 相关链接 学习仓...
2026-10-11
别点那个链接！把反诈题目变成一次对话
《别点那个链接！》是人工智能导论的课程大作业。项目把校园反诈做成互动网页，让用户在模拟场景里选择怎么处理，再回看其中的风险线索。 三个场景 场景包括奖学金诈骗短信、陌生人催促付款和可疑自行车二维码。用户通过对话和操作推进，而不是一开始就看到所有提示。 前端使用 HTML、CSS 和 JavaScript。离线模拟模式可以直接演示交互；实时模式通过 Flask 后端连接兼容 OpenAI 格式的 API，凭据通过环境配置提供。 复盘和报告 项目会保存交互轨迹，围绕信息来源核验、资金边界、未知入口和紧迫感等方面生成复盘，也提供行动清单和 Markdown 报告导出。 这些反馈是教学项目中的设计，方便回看当时的选择，并不能作为经过验证的防骗能力测评。课程整体内容可以看人工智能导论学习记录。 相关链接 课程项目说明
2026-10-11
SJTU HPC 2026 学习记录：先把工具链和运行过程弄清楚
这里记录一下 SJTU HPC 2026 的学习和准备资料。仓库里有 Shell、C/C++、Makefile、CMake、CUDA 和 Python 构建测试脚本，笔记还涉及工具、网络、编译和语言。 编译过程 编译笔记把预处理、生成汇编、汇编成目标文件和链接分开记录。这样遇到问题时，可以先判断错误出现在哪一步：头文件和宏、语言本身的错误，以及链接时找不到符号，需要从不同地方排查。 练习既有单文件程序，也有多文件组织。项目大一点之后，编译选项、依赖关系和链接目标都需要构建文件帮忙管理。 GPU 代码 class06 目录包含 C++、CUDA 和 Python 文件，可以对照着看主机端调用、设备端计算以及构建和测试脚本如何连接。 这些资料主要是学习和练习记录；要比较性能，还需要具体的硬件、输入和测量方式。 相关链接 学习仓库 · 编译笔记 · class06 练习
2026-10-11
人工智能基础与实践：从 Python 练习到可演示的作品
这里整理一下交大人工智能入门课程的内容。仓库保存了按周组织的实践、期末复习、自测页面和期末项目，从 Python 基础一直涉及神经网络、CNN、目标检测、大语言模型、生成式 AI、Agent 和 AI 伦理。 练习与复习 实践部分有回归、MNIST 和 CNN 相关 Notebook。看实验的时候，除了模型结构，还可以顺着输入、标签、损失函数、训练循环和结果分析，把整个过程走一遍。 Final_term_review/ 按章节整理了概念，Final_exercises/ 里有复习笔记和 HTML 自测页面。复习完一个章节之后可以用问题检查一下自己是否真的记住了。 期末项目 期末项目《别点那个链接！》是一个校园反诈互动网页，包括三关剧情、风险线索复盘、AI 问答和报告导出。项目有静态演示模式，也可以通过本地 Flask 后端连接模型接口。 项目的具体介绍放在另一篇文章，课程代码和复习资料见下面的仓库。 相关链接 课程仓库 · 期末复习笔记 · 期末项目
