Posts
截至 2024 年 5 月 28 日 0 时，《熊出没·逆转时空》总票房突破 20 亿，成为中国影史继《哪吒之魔童降世》后第二部票房突破 20 亿的动画电影。《熊出没》的故事自从 2012 年问世来深受小朋友的喜爱，《熊出没》系列动画电影也已有十余载的历史。究竟是什么样的魔力，让长大后的我们在电影院里潸然泪下，久久不能忘怀？
儿时的我们嘲笑光头强，伐木被人催，砍树被熊追，光头强越是倒霉，我们越是觉得好笑。然而，长大后的我们，面对生活的不易，又何尝不以光头强自比？光头强和我们一样，都是普通人，都需要工作生活，春节也需要回家过年……
毫无疑问，金钱，正是光头强梦寐以求的。终于，光头强有了进城赚大钱的机会，从程序员做到部门主管。然而，拥有自己曾经希望拥有的一切，却又感到空虚寂寞。光头强不禁扪心自问：我真正想要的是什么？
结合复旦大学社会学系副教授沈奕斐视频中对于“做自己”的探讨，本文将通过光头强的视角，深入解读什么才是真正的做自己。
Flash Attention 是目前针对 Attention 计算最优解决方案的开山工作，旨在从底层 GPU 的 HBM（High Bandwidth Memory）和 GPU 的片内 SRAM（Static Random Access Memory）的角度尽可能降低访存开销，从而加速 Attention 的计算，在长序列的情况下展现出了优良的性能。
然而，Flash Attention 对于 LLM 初学者来说很不好理解，因为它需要我们对 Attention 的计算过程有非常深入的了解，而其中的难点在于 Softmax 的计算的可分割性的理解。本文希望通过丰富的插图乃至动画，让 Flash Attention 能够通俗易懂。
