Blog 📝
挑战 2024 年考研数学（一）
2024 年考研已落下帷幕。据报道，今年考研的人数比去年减少了 36 万（共 438 万人报考），引发社会广泛关注。在刚刚结束的数学科目考试中，不少考生哀叹今年的数学试题难如登天，特别是 301 数学（一）。 本篇博客将持续更新今年数学（一）每道题目的详细作答过程，体会莘莘学子们在考场上的不易。
December 24, 2023 Last modified on December 30, 2023
大模型的参数量及其计算访存开销的理论分析
推理服务系统的根本目标在于降低时延和提高吞吐量，LLM 推理的优化也是如此。首字时延（Time To First Token, TTFT）和吐字时延（Time Per Output Token, TPOT）就是两个非常重要的指标。如何优化 LLM 推理的这两个指标成为近年来学术界热议的问题。在研究这个问题之前，有必要深入理解 LLM 架构，分析其参数量和计算访存开销。
November 1, 2023 Last modified on December 21, 2023
调和级数的前 n 项和
在推导大模型 Decoder 的自注意力的算术强度时，遇到了如下的数列求和问题： ∑i=1Sout1Sin+i= ∑i=1Sout1i−∑i=1Sin1i \begin{aligned} & \sum_{i=1}^{S_{out}} \dfrac{1}{S_{in}+i} \\ =\ & \sum_{i=1}^{S_{out}} \dfrac{1}{i} - \sum_{i=1}^{S_{in}} \dfrac{1}{i} \\ \end{aligned} = i=1∑SoutSin+i1i=1∑Souti1−i=1∑Sini1这涉及到求调和级数的前 nnn 项和。所以，本文来研究这个问题。
December 2, 2023 Last modified on December 2, 2023
Dirichlet 积分
【问题】计算广义积分 ∫0+∞sinxxdx \int_{0}^{+\infty} \dfrac{\sin{x}}{x} \mathrm{d}x ∫0+∞xsinxdx
November 26, 2023 Last modified on November 26, 2023
并行计算集合通信初步
作为并行计算的一个重要概念，集合通信经常被用来构建高性能的单程序流/多数据流（Single Program-Multiple Data, SPMD）程序，譬如分布式机器学习系统。本文将介绍集合通信中的常见算子，并分析其复杂度。
November 5, 2023 Last modified on November 5, 2023
社会学的邀请
我们为什么会按照我们想的那样去做呢？我们为什么会按照我们做的那样去做呢？社会学旨在对这两个问题提供答案。尽管其他学科也试图做出回答，但社会学提供的分析视角，既有更大的包容性，又有更大的密切性，它比我们在许多其他领域可能找到的观点要更为基本、更为明确。社会学可使我们洞悉“全景”。 我推荐的这本《社会学的邀请》，是一部很好的社会学入门读物。
October 14, 2023 Last modified on October 14, 2023
加速行业智能化 共赢智能化未来
华为全联接大会 于 2023 年 9 月 20 日在上海拉开帷幕。大会以“加速行业智能化”为主题，与全球行业精英、技术专家、合作伙伴、开发者等共同探讨如何把握战略机遇，通过行动共赢智能化未来。华为在大会上发布了全面智能化（All Intelligence）战略，将在持续深耕 AI 根技术的基础上，打造坚实算力底座，为世界构建第二选择，使能百模千态，赋能千行万业。会上，华为还发布了智能化参考架构以及相关的产品和解决方案，并推出 《加速行业智能化》白皮书 ，希望对千行万业智能化转型的实施和落地提供更具体的帮助和参考。 华为公司副董事长、轮值董事长、CFO 孟晚舟女士做了以“加速行业智能化，共赢智能化未来”为主旨的演讲。演讲内容深入浅出，紧随前沿，可谓是华为“轻舟已过万重山”后立下的雄心壮志。本文为孟晚舟的主旨演讲原文。
October 13, 2023 Last modified on October 13, 2023
“孔乙己文学”现象的背后
最近互联网平台挂起了一股“孔乙己文学”之风。广大以年轻人为主的网友将自己的通过努力、内卷取得的学历比作孔乙己脱不掉的长衫。 本文将着眼于“孔乙己文学”现象，深入分析问题产生的原因，谈谈个人的一些思考。
March 23, 2023 Last modified on March 23, 2023