【转载】[陈天奇]构建Agent时代的机器学习编译器基础层

# 序 转载一些重要有趣的文章，侵删。 导读：[陈天奇] CS. PhD 机器学习系统，原文： 构建 Agent 时代的机器学习编译器基础层 # 正文 今年是 Agent 元年，不管对于任何的领域，大家都需要感受到这样的变化。对于机器学习编译和 kernel 可能更是如此。传统的机器学习编译尝试利用我们的领域知识从图，tile 和 SIMT 等各个粒度去进行变化和优化，使得我们可以再各个硬件上通过简洁的代码获得很高的效率。强大 agent 的出现使得只要我们有足够多的 token，基本底层的算子和软件都可以都可以蹬出来了。 一方面来看，Agent 已经可以解决从高性能算子的开发到框架优化的各种问题。我们也终于可以从阅读 nsight 报告检查汇编和手动微调 kernel 的循环中解脱出来了。近期包含 KernelAgent , CUDA Agent , Cursor’s multi-agent system , CAKE , TIRx Harness , KDAgent , and EAT 这些工作都在自动化 GPU kernel 开发中取得了令人瞩目的进展。 另一方面，我们也需要直接面临这样一个问题，我们是否在淘汰我们自己。 像 我不得不把才华埋葬在昨天 描述的一样，Agent 开发 kernel 的水平超越人类基本是必然，而 HazyResearch 最近的博客 Retire