RustDiary Day1: 变量绑定与解耦
变量绑定与解耦 命名规范 Crates 包 无 Modules snake_case Types UpperCamelCase 特征Traits UpperCamelCase 枚举 Enumerations UpperCamelCase 结构体 Structs UpperCamelCase 函数 Functions snake_case 方法 Methods snake_case 通用构造器 General constructors new or with_more_details 转换构造器 from_some_other_type 宏 Macros snake_case! 局部变量 Local variables snake_case 静态类型 Statics SCREAMING_SNAKE_CASE 常量Constants SCREAMING_SNAKE_CASE 类型参数Type parameters UpperCamelCase 生命周期 Lifetimes 小写字母 'a 'de 'src 变量绑定 1let a = "hello wor...
Bit-Accurate Modeling of GPU Matrix Multiply-Accumulate Units: Demystifying Numerical Discrepancy and Accuracy
Bit-Accurate Modeling of GPU Matrix Multiply-Accumulate Units: Demystifying Numerical Discrepancy and Accuracy Abstract 现代的AI 高度依赖 MMAU。 MMAU是什么呢？ Matrix Multiply -Accumulate Units 所以本质上就是一种进行矩阵乘法，然后加回去的计算单元。而硬件厂商通常只公开MMA的指令集和接口，不公开完整的内部浮点算数行为。 数学上，我们知道 D = AB + C 但是硬件是一个黑盒，我们知道这个黑盒函数的数学定义，但不知道它内部的运算序列。 然后所以由于这种黑盒性质，就导致了一个问题—— 同样的输入，硬件却可能给出不同的结果。 因此，这种不同的结果带来的不稳定性一是降低了数值精度，二是影响了神经网络的训练的稳定性。 因此，我们现在面临着两个问题 Numerical Discrepancy —— 为什么两个GPU的结果不一样? Numerical Accuracy —— 哪个结果更接近真实值？ 所以authors提出...
DeepInfer Part2 —— The adaptive verification of Dspark
DeepInfer Part2—— DSpark的动态验证调度 简单来说，DeepInfer的设计算法是 一个以GPU有效吞吐为目标的全局预算分配算法 核心的思考来说，就是可以参考这篇文章的一个观察： Speculative Decoding: Performance or Illusion?](https://arxiv.org/abs/2601.11580) 想必看到这里的读者，其实都明白一个道理 所谓投机解码，就是一种利用GPU的多余算力，做一些额外的计算和工作，从而让核心的路径达到更高的计算速度的一种方式。Drafter做了很多额外的proposal tokens，其中只有相当一部分最终能被接受。 想必敏锐的读者到现在已经发现问题所在了。 投机解码的技术能够在单卡单请求上面得到不错的加速比例(一般是2~5x), 其根本原因是因为一般来说我们说Decode阶段是 Memory-bound的。而投机解码 激进的计算能够提高计算强度。从而达到加速。而现在我们的目光到了serving阶段，多个请求一般来说能够直接给我们的Compute打满。到了这种时候，我们再用投机解码，被拒绝掉...
From Surface To Deep—— An overview of DeepInfer Part1
DeepInfer 相信的心就是你的力量。 1.总览 DeepInfer主要支持DeepSeek - V4.1 - Flash 高性能 Attention / MoE Kernels Attention DP\ MoE EP and Expert Load Balancing Dspark Speculative Decoding and mobile verification Sliding- Window Attention State recovery Batch- invariant Inference and Deterministic Sampling 局限性: Deepinfer 并不是完全开放的Online Inference Serving. ReadMe says that the complete serbing needs KV Cache ... etc. 本Markdown将以一个请求为例，自顶向下来分析。 注意：本blog分析去掉了大量的多模态代码和多模态的分析 2.STAGE1. 一条请求怎么穿过DeepInfer 2.1 llm.py f...
YMarkdownG项目说明
YMarkdownG项目说明 类neovide markdown笔记编辑器。 起因 起因其实很简单，就是因为我想写一个博客，用来专门来记录拆分Deepseek Inference Engine记录。 我倒是之前有写一个给博客增加在线写文章的功能，但是显然如果要在一个随时可能会被手关闭的东西里面写进去十多个小时的文档，那我估计到时候哭爹喊娘也不够了。 但是我真的真的不想在vscode里面写，很难看。而且vscode太辣眼睛了。 所以我尝试了一下使用Typora。但是呢发现Typora居然要收费，而且也没那么好用。 说到这里，又想起来之前倒是看到过一个neovide的代码编辑器，里面的光标很灵动，在写字的时候也有不错的光效反馈。所以我就想要不干脆给他做到这里面来算了。 所以就有了YMarkdownG. 一个100MB左右无需安装的markdown编辑器。兼容MacOS,Linux和Windows 后续更新计划。 可能会考虑把文件管理做到更类似Zotero的方式，可以更好的管理markdown文档。 增加一个一键导出PDF功能。 左侧笔记右键菜单还没做。只做了文件夹的。所以有些不方便...
周末杂记
总而言之，一切算是慢慢的好起来了 我再一次依靠着涵泽湖的晚风，湖上流动的碎金和浮影，以及天上闪烁着的群星，让我的心情恢复到不至于影响工作的状况。 半期考试还有三周，怎么的也得开始复习了。不过总是感觉自己被困在这最基础的学积分里面，没有办法进行爱好和学习的拓展。 理想中的我现在应该学习的是Operating system和算法导论，或许加上一门计算机网络和，而不是还得每天抓着竞赛书刷题，有够无聊的。 不过今天和学科营里面讨论，也算看出来了一点点数学的魅力吧，起码比之前有意思不少。 本来听说今天要来台风，结果后面没来，可惜了，我还没见过那种十级以上的大风呢。如果不危险的话，其实有点想要体验背靠着大风，躺在风中的感觉。 啊，唉。有些东西一临到了笔头，又说不出来什么东西。不过我第一篇文章弄出来之后，可能会想一个什么办法随便找个地方实习一下。。？ 毕竟现在也算对学术稍微祛魅了一些了。第一篇论文应该这周末能投了。也算投入了不少心血吧。 今天晚上突然想到了一个meme 12345 / CS \ / 计院 \ / 电院 \ / 工科 \/ 医学院 \ 过去一年我在...
病隙杂笔
平时一般聊天的时候，我感觉我会常常避免去触及别人的痛处。尽管那些人不会说我也想可能我会去推测他们的痛处，从而尽量避免伤害到他人。 但是呢，最近天天在跟别人聊天的时候。尽管我感觉我已经多次暗示了我讨厌某些东西，我不想听某些东西。这些内容还是会反复出现在我跟别人聊天中。 有句话怎么讲叫做热闹是他们的，孤单是自己的。近期学业论文课内的压力多方面围绕着我，没有任何心情展开闲聊，同样的也没有任何人来关心。 尝试寻找一两个人聊一聊相关的内容，结果最后还是来回归到给我派活。 手上两篇论文，5个科目，两门课程，4个开发项目，若干考试，若干社团，我已经尽量做到面面俱到，确还是有些人不满意。一打开那些群聊，没有承担任何责任的人在里面开心的畅聊，没有丝毫注意到繁忙的人的缺席。或者说本来我就对他们不重要吧。 毕竟一个在幕后慢慢做事的人，怎么能够比得过在台前唱戏的人呢？ 现在看我曾以为我最温暖的东方群，进去之后甚至没有任何的想要聊天的欲望。我甚至不想见到这些人。完全不想。 这些群里面有人自诩心思缜密，时常反思，然而我感觉也就是自己给自己自洽的解释罢了。 嗨，我现在怎么变得这么多愁善感了。 不过我相信这也只...
快餐化的交往，玩笑话的安慰
我之前一直挺自豪自己的一个算是技能一样的东西的 就是说，我挺擅长开导人，帮忙分析别人内心的弱点在哪个地方，或者说在对方失落的时候能够主动避开一些很明显的对方不想听到不想看到的话题。 我也一直以为，这个能力是大家都有的，例如发现某人说话会突然开始带上句号，那肯定是对方被你的话语触怒了之类的。 其实心情这个东西，一直就是一个死循环。我在东方社群认识的一个能力很强的老前辈，前两天也才发现他也十分的孤独，希望别人的认可。当你能力越强，你表现出来的自然就是越坚强，你就会得到越少的情绪价值和反馈。别人也会把你想法当成玩笑之类的。 讲真，我之前一直在很正向的利用这个能力，用发现别人内心所缺的地方针对性的提供思考的路径，帮助别人走出困顿，不过现在一天天的感觉自己也没那么想去帮助别人了。 我正在考虑把这个能力转换成攻击力。最近感觉个人的攻击性也很强，所以如果可以的话避免找我聊天吧。除非你觉得我不会攻击你之类的。 想写的不少，不过懒得写。毕竟我现在命运还不在自己的手上。我或许应该都做好再一次心死的准备了。 那件事如果真的发生，我大概就会把东方这边事情做完然后退群。新生群感觉也可以退了，反正没啥屁用。...
日黄昏而望绝兮 怅独托于空堂
10月16日。 现在回顾我从转专业结束之后，我学习完了CSAPP，CS336，李宏毅机器学习，PKU AI infra summer camp，一半的计算机网络，以及看了几十篇论文。 我加入了NIMO，加入了Xflops。 在那之后呢。？ 当然，我并不是说我成功进入了这些组织之后要有一种莫名其妙的卖弱感的作秀。 "哎呀哎呀我根本就不想进这些不想学这些。"，那纯粹是欠揍。 但是我始终对自己不满意。我思来想去，可能也找到了原因。 我对我人生中的失败难以忘怀，因此难以接受我人生中的成功 2025年6月23日，四川省高考出分，我看着屏幕上的665陷入了沉默。考完之后我记得我的估分是690，再怎么也会有个680，一切一切的迹象无不表明我可能会有一个意气风发的高三结束，然而事实确是爆炸咯。那天我原本和家里人说好的，查完分就去吃庆功宴，去那家烧烤摊，去留下一段金色的，我或许十年之后还会想起的回忆。然而天公不作美，我记得我那会本来在玩MC落幕曲整合包。看完分之后，我就在我的存档里面跳来跳去，干着一些毫无意义的事情。我对着假人疯狂的砍，可能砍烂了七八把 拔刀剑吧？再之后就是和爹...
博客在线写作入口实现
给博客加一个在线编辑入口 之前写博客，总得先打开本机的项目，写 Markdown，构建，再 commit、push。 流程并不复杂，但每次只是想写两句话，却得先把自己切换到“维护网站”的状态。电脑不在身边的时候，就更懒得动了。 所以这次干脆给博客加了一个网页写作入口。 GitHub Pages 负责展示，Cloudflare 负责处理请求 博客原来的架构没有换，仍然是 Hexo + Butterfly + GitHub Pages。 问题在于，GitHub Pages 是静态托管，不能替我保管登录密钥，也不能直接承担安全的授权和发布逻辑。 于是中间加了一个 Cloudflare Worker。 整条路径大概是这样： 12345678910111213141516浏览器里的 Markdown 编辑器 | vCloudflare Worker登录验证、权限检查、发布请求 | vGitHub 博客仓库Markdown、封面、图片白名单 | vGitHub Actions测试、He...
