Knowledge

持续更新中……

在推导大模型 Decoder 的自注意力的算术强度时，遇到了如下的数列求和问题：

这涉及到求调和级数的前 $n$ 项和。所以，本文来研究这个问题。

矩阵乘法是线性代数中最重要的运算之一。在机器学习中，矩阵乘法也是经常用到的运算，最常见于 MLP 线性层。

而在实际的模型训练和推理系统中，模型参数和中间激活的张量可能非常大，而 GPU 显存空间有限。因此，我们需要将张量切分为多个块，以在 GPU 上实现并行计算。而这和分块矩阵的乘法有着紧密的联系。

【问题】计算广义积分

作为并行计算的一个重要概念，集合通信经常被用来构建高性能的单程序流/多数据流（Single Program-Multiple Data, SPMD）程序，譬如分布式机器学习系统。本文将介绍集合通信中的常见算子，并分析其复杂度。

Transition words and phrases (also called linking words, connecting words, or transitional words) are used to link together different ideas in your text. They help the reader to follow your arguments by expressing the relationships between different sentences or parts of a sentence.

过渡的单词和短语（也称为连接词）用于将文本中的不同观点连接在一起。它们通过表达不同句子或句子部分之间的关系来帮助读者理解你的论点。

云计算是一种计算模式，其概念最早于 2006 年由 Google 公司提出，具体核心思想是将大量用网络连接的资源进行统一管理，构成一个共享资源池（包含计算设施、存储设备、应用程序等），并以按需支付、弹性扩展的方式向用户提供服务。

本文旨在生动形象地介绍云计算的体系结构，方便大家理解其中的一些抽象概念。