李宏毅机器学习 2023：把模型、训练和实验放在一起
这里记录一下李宏毅 Machine Learning 2023 Spring 的笔记和作业。仓库把讲义笔记和 Notebook 分开保存，也记录了从机器学习基础继续到 CS336、按需要补充数学与概率的学习路线。
课程内容
前面的笔记包括 PyTorch、机器学习基础和网络训练问题的排查。作业目录则涉及 CNN、Self-Attention、Transformer、BERT、Autoencoder、可解释模型、对抗攻击、领域适应、强化学习和网络压缩。
内容比较多，回看的时候可以先从每份作业的输入和目标入手，再看模型结构和评估方式。例如领域适应会遇到训练分布与目标分布不同的问题，而网络压缩需要考虑资源限制。
具体 Notebook 和笔记放在下面的仓库里。目录中包含预测或提交文件，这里就不列未经重新核对的成绩了。
相关链接
相关推荐
2026-10-11
人工智能基础与实践：从 Python 练习到可演示的作品
这里整理一下交大人工智能入门课程的内容。仓库保存了按周组织的实践、期末复习、自测页面和期末项目，从 Python 基础一直涉及神经网络、CNN、目标检测、大语言模型、生成式 AI、Agent 和 AI 伦理。 练习与复习 实践部分有回归、MNIST 和 CNN 相关 Notebook。看实验的时候，除了模型结构，还可以顺着输入、标签、损失函数、训练循环和结果分析，把整个过程走一遍。 Final_term_review/ 按章节整理了概念，Final_exercises/ 里有复习笔记和 HTML 自测页面。复习完一个章节之后可以用问题检查一下自己是否真的记住了。 期末项目 期末项目《别点那个链接！》是一个校园反诈互动网页，包括三关剧情、风险线索复盘、AI 问答和报告导出。项目有静态演示模式，也可以通过本地 Flask 后端连接模型接口。 项目的具体介绍放在另一篇文章，课程代码和复习资料见下面的仓库。 相关链接 课程仓库 · 期末复习笔记 · 期末项目
2026-10-27
From Surface To Deep—— An overview of DeepInfer Part1
DeepInfer 相信的心就是你的力量。 1.总览 DeepInfer主要支持DeepSeek - V4.1 - Flash 高性能 Attention / MoE Kernels Attention DP\ MoE EP and Expert Load Balancing Dspark Speculative Decoding and mobile verification Sliding- Window Attention State recovery Batch- invariant Inference and Deterministic Sampling 局限性: Deepinfer 并不是完全开放的Online Inference Serving. ReadMe says that the complete serbing needs KV Cache ... etc. 本Markdown将以一个请求为例，自顶向下来分析。 注意：本blog分析去掉了大量的多模态代码和多模态的分析 2.STAGE1. 一条请求怎么穿过DeepInfer 2.1 llm.py f...
2026-10-11
CS336 学习总结：把语言模型的整条链路串起来
这里整理一下 CS336 的学习记录。仓库按照五次 Assignment 保存代码、实验脚本和笔记，也有 Lecture 的记录。 从 tokenizer 到模型 A1 从 byte-level BPE 和 tokenizer 开始，接着实现 Linear、Embedding、RMSNorm、SwiGLU、RoPE 和注意力，再把损失函数、AdamW、训练循环和生成脚本接起来。 看单个模块的时候容易觉得自己知道它在做什么，真正串起来之后还要考虑 token 怎么变成张量、维度怎么变化，以及梯度如何传递。 系统、数据和对齐 A2 进入系统部分，包括 profiler、混合精度、GPU 内存、Triton、DDP 和分片训练。除了能不能训练，还要看计算、通信和显存分别花在了哪里。 A3 讨论模型规模、数据量和计算预算；A4 涉及文本提取、过滤和去重；A5 则进入 RLVR、策略梯度、GRPO 和重要性重加权。 仓库 README 将 Spring 2026 主线标记为完成。不过部分需要大规模 GPU 或 B200 的实验没有完整复现，具体实现和笔记可以看下面的仓库。 相关链接 学习仓...
2026-10-11
CS189/289A 资料整理：给机器学习补上理论阅读入口
这里整理一下 Berkeley CS189/289A Spring 2024 的机器学习课程资料。仓库是从 cy-Yin 的课程资料仓库 fork 的，里面有 Discussion、考试材料和作业解答。 上游 README 中提到的作业解答属于原作者。这份 fork 主要作为资料入口，不能当作我自己的作业完成记录。 这门课的资料可以配合机器学习实现一起看：模型有哪些假设，目标函数为什么这样写，推导又依赖什么条件。做题时可以先自己推一遍，再对照解答检查。 上游也提到部分数据较大，数据和空白作业包需要从其他来源获取。下载之前记得对照课程版本和原仓库说明。 相关链接 我的公开 fork · 资料原作者 · 课程网站
2026-10-11
别点那个链接！把反诈题目变成一次对话
《别点那个链接！》是人工智能导论的课程大作业。项目把校园反诈做成互动网页，让用户在模拟场景里选择怎么处理，再回看其中的风险线索。 三个场景 场景包括奖学金诈骗短信、陌生人催促付款和可疑自行车二维码。用户通过对话和操作推进，而不是一开始就看到所有提示。 前端使用 HTML、CSS 和 JavaScript。离线模拟模式可以直接演示交互；实时模式通过 Flask 后端连接兼容 OpenAI 格式的 API，凭据通过环境配置提供。 复盘和报告 项目会保存交互轨迹，围绕信息来源核验、资金边界、未知入口和紧迫感等方面生成复盘，也提供行动清单和 Markdown 报告导出。 这些反馈是教学项目中的设计，方便回看当时的选择，并不能作为经过验证的防骗能力测评。课程整体内容可以看人工智能导论学习记录。 相关链接 课程项目说明
2026-10-11
AI Infrastructure Seminars：从写 kernel 到解释性能
这篇整理一下 LCPU / PKU AI Infrastructure Seminars 的学习记录。内容包括 CUDA、Triton、TileLang、GPU 内存层次、Tensor Core、流水线和推理。 Kernel 和正确性 assignment01/kernels/ 里有向量加法、softmax、矩阵乘法和 TileLang 相关文件。写 kernel 的时候，先要确认计算结果正确，再去考虑线程如何分配、数据怎样访问以及哪里值得优化。 合并访问、共享内存复用、寄存器占用和同步位置都会影响执行。一个优化到底有没有用，还是得结合瓶颈和测量结果来看。 性能测量 GPU 执行是异步的，计时之前需要考虑预热、同步和重复运行。JIT 编译时间也要和稳定执行时间区分开，不然测到的可能不是想比较的部分。 Tile size、warp 数量和共享内存用量也与硬件有关。Notes/ 里另外记录了内存抽象、GEMM、Tensor Core 和流水线，代码和笔记可以一起对照着看。 相关链接 课程仓库与测量边界 · kernel 文件 · 学习笔记
