随着 AI 的飞速发展，特别是伴随着 ChatGPT 的诞生，标志着深度学习已经进入了大语言模型（Large Language Models，LLM）的时代。然而，LLM 由于其本身的复杂性和大规模而给部署和服务带来了前所未有的挑战。
来自卡内基梅隆大学的 Catalyst 团队在他们的最新综述论文中，从机器学习系统的研究视角出发，详细分析了前沿 LLM 推理从算法到系统的产生的重大变革。