我在华为工作,领导在考虑 AI 编译算子,说英伟达也在搞。详细了解一下现状、评估可行性、短中长三期价...

作成日: 2026年11月14日

使用モデル GPT-6 Thinking by Chat01

質問

我在华为工作,领导在考虑 AI 编译算子,说英伟达也在搞。详细了解一下现状、评估可行性、短中长三期价值及对应简历加分。是不是该主动接下来?我目前设想的仍然是模仿 Triton-Ascend (数学公式/torch 而非 triton -> tile,客户体验好,方便 AI 手动调) -> NPUIR (tile -> mem) -> ccec (mem -> instr) 做三层 AI 优化,好处是每个 AI 都可以替换成现有的工具(而且 tile/tensor 语义肯定比 triton/toStructured 要好),坏处是不怎么灵活(例如一个模型端到端(至少到 ccec 前)是可以灵活根据内存状态减少某一处的 tile,或者自动数据搬运)。但是领导可能想要端到端(或者到 AscendC)——就像前面说的,比较好高骛远,之前有想优化 ccec 里面的寄存器分配,认为几个硕士就能做的比 LLVM 好,还想优化 NPUIR 的 PlanMemory(之前说错了,我只是改DCV的输出让它能够主流 l0c,planmemroy 还是下面做的) 算法,最开始想走运行性能,失败了就想走编译性能,还是失败了(因为随机就是解决NP-hard的 SOTA)。

思考

Researching kernel compilation

I’m mapping Huawei’s Ascend stack against NVIDIA’s evolving tile-based ecosystems, separating DSLs, compilers, autotuning, and AI-generated kernels. I’ll prioritize current technical sources and distinguish established capabilities from speculative claims.

Researched kernel compilation

回答

我会把这个问题拆成三部分:先核实 NVIDIA、Triton/Ascend 和 AI kernel 优化的公开进展;再对比你提出的三层方案与端到端方案;最后从技术成功率、组织风险和简历价值判断该不该接。会特别区分“能做出漂亮 demo”和“能稳定提升真实算子性能”。

思考

Refining the comparison

I’m aligning NVIDIA’s documented compiler, autotuning, and AI-assisted optimization practices with the proposed three-layer design. I’ll separate verified implementation patterns from forward-looking ideas and emphasize measurable end-to-end outcomes.

Refined the comparison

思考

Calibrating evidence and scope

I’m treating reported speedups as benchmark-specific, not universal. I’ll account for cross-platform transfer, privacy, ownership, resources, and career value while distinguishing practical closed-loop gains from ambitious replacement claims.

Calibrated evidence and scope

Designing an evaluation plan

I’m structuring the proposal around captured graphs, semantic tile plans, explicit memory scheduling, and backend code generation. I’ll test joint optimization empirically, avoid overclaiming architecture details, and connect measurable outcomes to ownership and career value.

Designed an evaluation plan

思考

Calibrating evidence and scope

I’m treating reported speedups as benchmark-specific, not universal. I’ll account for cross-platform transfer, privacy, ownership, resources, and career value while distinguishing practical closed-loop gains from ambitious replacement claims.

Calibrated evidence and scope

思考

Balancing implementation and impact

I’m weighing technical feasibility, benchmark validity, organizational ownership, confidentiality, and career value. I’ll frame the project as an auditable optimization system—not a vague claim that AI replaces compilers—and define staged success criteria.

Balanced implementation considerations with anticipated impact

Planning project value

I’m turning the idea into staged milestones: a short pilot, a medium-term cross-layer optimizer, and a long-term platform. Career value rises sharply when I own measurable adoption rather than merely contributing concepts.

Planned project value

Searched 17 websites

Worked for 2m 20s

回答

AI 编译算子:技术可行性、三阶段价值,以及你该不该接

我的结论:建议你主动争取这个项目,但前提是争取技术路线的主导权,而不是无条件接下“AI 端到端生成高性能算子”的指标。
你提出的三层方案,我认为比一开始就做端到端更适合真实编译器团队。不过我建议做一个重要修改:
底层采用分层、可替换、可回退的编译架构;上层采用跨层、端到端性能反馈的 AI Agent。
这样既不用让一个大模型直接学会所有硬件细节,也不必放弃你担心的跨层优化空间。
我看好这个项目,主要有三个原因:
  1. 行业方向确实成立。 NVIDIA、PyTorch 社区和学术界已经有不少可复现的 AI kernel generation / optimization 工作,不再停留于概念验证。
  2. 你具备比较好的切入位置。 从你描述的 DCV、L0C、NPUIR 和编译后端经历看,你了解优化决策在编译链中如何传递,这比只会调用大模型生成算子代码更有价值。
  3. 这个方向存在较大的简历上限。 做好后可以连接 AI Infra、编译器、GPU/NPU Kernel、ML Systems 和 Agentic Optimization 几个就业方向。
但最大的危险是:领导把一个适合做成长期技术平台的问题,当成几个硕士半年就能攻克的算法问题。
下面会把公开技术现状、方案优劣、三阶段交付以及你个人承担项目的条件分开分析。

一、截至 2026 年 11 月,业界发展到了什么程度?

1. NVIDIA 不仅在做,而且已经出现与你设想非常接近的技术路线

最值得你研究的是 NVIDIA 与 PyTorch 社区在 2026 年 10 月 19 日发表的:
One Search, Two Layers: Compiler Controls Inside PyTorch Helion using NVIDIA CompileIQ
这篇文章几乎直接回答了你现在面对的架构争论。
它的核心思想是:
  • 上层 autotuner 搜索 tile shape、pipeline stages、内存访问策略等。
  • 下层编译器继续负责寄存器分配、指令调度、机器码生成。
  • NVIDIA CompileIQ 为底层编译器提供可搜索的控制参数。
  • 上下两层可以联合调优,但不需要让大模型重新实现整个编译器。
这和你说的“每层 AI 可以被原有工具替换,同时允许跨层优化”非常接近。
NVIDIA 的公开实验在已经充分调优的 kernel 上,底层编译器控制参数仍获得了约 2%–7% 的运行性能收益;对于尚未充分优化的 kernel,收益可能更大。不过这些是特定设备、特定算子的结果,不是通用性能保证。
尤其重要的是,NVIDIA 没有把“重新发明更强的寄存器分配算法”作为必要前提,而是利用现有编译器暴露的控制空间,自动搜索更适合特定 workload 的配置。
这和“几个人做一个算法,全面超过 LLVM”的技术风险完全不同。

2. 最值得对标的六条路线

项目目前公开的技术能力对你的启发
NVIDIA CompileIQ搜索编译器控制参数,优化寄存器分配、指令调度等选择优先调优现有后端,而不是替换后端
HelionPyTorch 风格输入,隐式生成 tile/search space,再降低到 Triton高层输入不一定要采用 Triton 语法
KernelAgent大模型结合 profiler、编译、正确性验证进行闭环优化AI 应当负责诊断、提出策略并迭代
CUDA Tile IR保留 tile 语义,由编译器处理部分硬件映射、资源分配tile 语义是很有价值的优化边界
CUDA Agent用强化学习训练长程 kernel 开发 Agent端到端 Agent 是长期研究方向
LLVM MLGO已提供寄存器分配 eviction heuristic 等 ML 接口AI 优化后端可行,但宜先替换局部启发式
其中有几个数据很有参考意义。
Helion + LLM Autotuning(2026 年 6 月)
B200,33 个测试场景

约 10×

减少编译与测试的候选配置数

约 6.7×

减少调优墙钟时间
在上述样本中,LLM-guided autotuning 的最终 kernel 性能与传统 LFBO 搜索基本相当(相对性能几何平均 1.009×)。这不是让算子本身加速 6.7 倍,而是显著降低了搜索成本。
PyTorch KernelAgent(2026 年 3 月)
H100,KernelBench L1

1.56×

相对于默认 torch.compile 的几何平均加速

65/100

相对于该基线更快的 L1 任务数
该工作使用真实硬件 profiling 信号指导多 Agent 优化。不过,L1 是相对基础的任务集,不能把 1.56× 直接作为复杂生产算子的预期。
这里还有一个对你尤其有利的事实:NVIDIA 的 Triton-to-TileIR 项目明确强调,保留 Triton 的 tile-level semantics,而不是过早降低成 thread-level instructions,以便让后端继续做硬件相关优化。
因此,你的方向不是与业界背道而驰。相反,它和 2026 年产业界的架构趋势高度相关。
但也要注意另一面:端到端 kernel generation 的研究确实进展很快。例如 CUDA Agent 在 KernelBench 上报告了相对 torch.compile 的 2.11× 总体几何平均加速,表明完整 Agent 工作流值得研究;只是它还不能证明一个模型能稳定替换生产级编译后端。

3. 还有一个可能更重要的竞争对手:Helion,而不只是 Triton

你提出的“数学公式 / PyTorch → tile”,已经非常接近 Helion 的产品定位。
Helion 在 2025 年发布时就采用 PyTorch-native DSL,使用 hl.tile 表达分块迭代,再自动搜索 tile size、loop order、数据访问方式等。它不是单纯地把 PyTorch 逐句翻译成 Triton。
这对你的项目意味着:
如果只做 PyTorch → tile 的 AI 翻译,并不能形成足够强的差异化。真正的价值应当是利用 Ascend 硬件知识,联合优化 Cube/Vector 划分、片上存储、流水并行和后端资源压力。
另外,2026 年 11 月 12 日,Helion 团队还发布了通过静态分析 IR 和数据流、直接推导较优配置的方案,减少对耗时 autotuning 的依赖。
因此项目至少需要对比三个基线:传统编译器启发式、传统 autotuning,以及 LLM/Agent 优化。否则即使 AI 相比默认配置有所提升,也无法说明 AI 的成本是值得的。

二、重新评估你提出的三层架构

先说一个需要精确区分的地方。
公开的 Triton-Ascend 3.6 文档把主要 SIMD 编译路径描述为:
Triton IR → Linalg IR → AscendNPU IR → kernel.o
其中 Triton-Ascend 负责上层 IR 转换,毕昇编译器负责后续硬件映射、存储分配、指令选择等。Ascend 950 的 SIMT 路线还有不同的 lowering 分支。
因此,你说的 tile → mem → instr 是一种合理的优化决策分层,但不等同于公开编译器的一套固定 IR 边界。实际项目需要确定这些决策分别能在哪些 IR、pass 或 compiler option 上表达。
你之前的工作范围也要明确区分:按照你的补充,你是调整 DCV 的输出以支持流向 L0C,而不是负责实现或优化 PlanMemory 本身。这会影响你在哪些模块上拥有直接实施能力,但不影响你对跨层问题的理解。

1. 我建议的架构:三层决策,一套闭环

输入:PyTorch / FX Graph / 形式化数学表达
计算语义、shape、dtype、layout、精度约束
AI-1:计算结构与 Tile 优化
优先做
算子融合、切分、循环顺序、Cube/Vector 分工、计算图重写
输出:结构化 Schedule / Tile Plan
约束反馈与候选重选
AI-2:存储和流水优化
UB/L1/L0C 占用、buffer lifetime、搬运、multi-buffer、同步与调度
输出:合法 Memory / Pipeline Plan
资源压力与性能反馈
AI-3:后端控制参数优化
优先搜索现有 ccec/毕昇可调参数;必要时再研究局部算法增强
输出:编译选项 / 局部优化策略
编译 → 运行 → 正确性验证 → Profiler
真实硬件耗时、资源占用、溢出、编译开销
全局 Agent 根据结果重新选择任意一层的策略
这里最重要的区别是:三个 AI 模块不必各自训练一个模型,甚至不必都使用 LLM。
第一层可以采用 LLM + 规则约束;第二层可以采用现有 PlanMemory + 搜索算法;第三层初期完全可以采用已有编译器 + 参数搜索。
真正需要共享的是统一的优化目标、候选表示、验证系统和性能反馈。

2. 三层 vs 端到端的技术取舍

维度三层独立优化单模型端到端分层 + 全局反馈
第一版落地容易很难中等
正确性验证可逐层检查很难定位错误可逐层检查
复用现有工具很好较差很好
跨层联合优化弱理论上强强
数据要求较低很高中等
编译器升级适配相对容易容易受影响相对容易
实际项目风险中极高中
长期扩展性中理论上高高
这是工程判断,不是已有公开 benchmark 的评分。
我选择第三列。
你担心三层设计不够灵活,这个担忧完全成立,但并不必然要求端到端模型。
举个很具体的例子。
假设 AI-1 为一个 fused MatMul + 后处理算子选择了较大的 tile,减少了重复搬运,但导致 AI-2 发现 L0C 或 UB 占用过高。为了维持双缓冲,AI-2 可能需要缩小某个子 tile,或者改变数据搬运和计算的重叠方式。
如果 AI-1 的决策已经固定,AI-2 就可能只能采取低效的补救策略。
但如果系统支持:
Memory Pressure → 调整 Tile Candidate → 重新生成 Memory Plan → 运行测量
那么跨层优化仍然存在。
数学上,你真正需要求解的是:
min⁡T,M,BLatency⁡(T,M,B)\min_{T,M,B}\quad \operatorname{Latency}(T,M,B)
其中 TT 是 tile/计算结构决策,MM 是存储与流水决策,BB 是后端控制决策,同时满足片上容量、依赖、同步、数值精度等约束。
难点不在于是否有三个模型,而在于能否避免三个局部优化器各自贪心。
因此,工程上最好保存多个候选方案,而不是每层只保留一个最优答案。让性能反馈触发上游重新搜索,比让模型一次性输出所有底层指令现实得多。

3. 关于“tile/tensor 语义肯定比 TritonToStructured 更好”

这一点我部分赞同,但需要修改一下论证方式。
Triton 本身就有 tile 语义,问题并非 Triton 缺少 tensor abstraction,而是 lowering 过程中哪些结构化信息被保留、什么时候被丢失,以及后续 pass 能否理解这些信息。
如果较早地把二维或高维访存转成复杂的线性地址表达式,后续再逆向恢复维度、stride、mask 和访问关系,确实可能损失优化信息,也会增加分析复杂度。
但高层 tile 语义也不是越多越好。过于抽象会隐藏硬件关键能力,例如显式异步搬运、同步、特殊布局、不同计算单元之间的数据通路。
我会建议设计一种足够轻量的 Schedule Plan,保留:
  • 计算语义:shape、dtype、broadcast、reduce 轴、数据依赖和 alias。
  • 优化决策:tile shape、fusion group、loop order、数据布局、计算单元分工。
  • 可验证约束:片上资源预算、精度要求、合法同步和数据搬运限制。
  • 后端反馈:实际资源压力、额外搬运、流水等待和最终延迟。
不要为了 AI 再从零实现一套庞大的编译器 IR。能复用现有 MLIR dialect、pass 和配置接口就尽量复用。
数学表达式也不能代替严谨的计算语义。比如 reduction 顺序变化会改变浮点结果;PyTorch 中的 view、alias、broadcast、动态 shape 和特殊精度行为,也不能靠 LLM 猜测。
所以初期我更支持 torch.export/FX → 合法计算图 → AI 优化 Schedule,而不是直接让模型从任意自然语言数学公式生成可执行内核。

三、哪些部分真正可行,哪些容易重蹈之前的覆辙?

1. AI 优化 tile:最值得先做

可行性较高
建议成为项目第一阶段的主要算法工作
因为 tile、fusion、loop order、pipeline depth 等已经提供了明确的结构化搜索空间,不要求 AI 自己发明合法的底层实现。
第一版可以只选择已有编译器支持的策略,让 AI 负责提出候选、剪枝和调整搜索顺序。这种方式即使 LLM 表现不佳,也能回退到传统搜索。
更有价值的方向是 AI 对不同算子选择不同优化策略。例如 pointwise + reduction、GEMM + epilogue、Cube/Vector 混合算子通常需要不同的优化决策。
这里的核心竞争力不是 prompt,而是你们有没有一个适合 Ascend 的搜索空间、约束模型和性能反馈系统。

2. AI 优化 NPUIR 的 Memory Plan:能做,但不应直接挑战整个 PlanMemory

可行性中等
优先做决策与约束反馈,不优先重写分配器
这一层其实比纯 tile 优化更容易出现复杂的技术问题。
公开的 AscendNPU IR PlanMemory 文档已经描述了:
  • 按 Buffer 生命周期和 alias 关系进行地址复用。
  • 通过不同复用等级,权衡片上存储利用率和跨流水线依赖。
  • 考虑 double buffering 与 pipeline stall。
  • 管理 L1、L0C、UB 以及部分 CV workspace。
也就是说,PlanMemory 并不是一个单纯的区间装箱算法。
如果只追求减少最大内存占用,可能破坏流水并行;如果只追求减少额外同步,又可能造成容量不足。
我会优先研究的不是“AI 如何重新分配每一个 offset”,而是:
给出 tile 和计算调度后,AI 能否提前判断内存压力,并选择更好的 buffer 策略、数据搬运路径或上游切分方式。
这也更贴近你之前接触过的 DCV 输出和 L0C 数据路径,而不需要把你没有直接负责过的 PlanMemory 实现当成已有优势。

3. AI 优化 ccec 寄存器分配:不建议作为项目的主要赌注

从零替换风险高
局部策略搜索可研究
首先,你说“NP-hard 问题上随机算法就是 SOTA”,这个判断需要限定具体问题、约束和评测指标。
NP-hard 只表示一般情况下求解困难,不意味着随机搜索必然是最优工程算法。对真实编译 workload,启发式、近似算法、局部搜索、学习策略往往有竞争力。
而且 LLVM 官方的 MLGO 已经为寄存器分配中的 greedy eviction heuristic 提供 ML 集成,说明这一方向有实践基础。
但这恰好说明了另一个问题:要真正超过经过长期工程验证的寄存器分配器,需要非常大量的样本、正确性与性能测试,以及对硬件细节的长期积累。
项目难度不能由“几个硕士能写出一个新算法”来估算。
我建议你把底层创新限定为搜索已有编译器可控的优化策略。如果后端没有稳定开放的控制接口,就先将底层作为只读的编译与 profiling oracle,而不是把修改后端作为第一期前置条件。
这与 NVIDIA CompileIQ 的实施方式更接近。

4. 领导想要的端到端或 AscendC,是否完全不值得做?

不是。
这里要区分两种“端到端”。
产品端到端: 客户提供 PyTorch 算子,系统自动生成正确且高性能的实现,客户不用理解中间的编译细节。
模型端到端: 一个模型直接从 PyTorch/数学描述生成 AscendC,甚至更低层 IR 或指令。
我很支持前者,但不建议把后者作为短期必达目标。
直接生成 AscendC 的路径有价值,尤其适合局部算子族、开发者可阅读代码、探索现有 IR 不易表达的新调度策略。但它同时把数据搬运、同步、资源约束、代码合法性和调试问题全部推给了生成模型。
它更适合成为一个并行的探索后端:
场景推荐路径
已有编译器支持的常见算子Tile/Schedule Plan → 现有编译器
需要精细存储与流水控制的算子Tile + Memory/Pipeline Plan → 现有后端
编译器表达能力不足的特殊算子受约束的 AscendC 生成
新硬件特性或极限优化研究小范围更底层代码生成实验
这样领导能获得“从 PyTorch 到可运行算子”的完整演示,你也不必为模型替换整个编译栈承担责任。

四、真正应该关注的风险:Benchmark 和实际业务价值

这里有一个容易被 AI 项目忽略的陷阱。
2026 年 9 月的一项独立研究发现,某些 KernelBench 任务的正确性检查存在漏洞,甚至可能接受几乎没有真正计算输出的 kernel。同时,单个 kernel 加速不一定能给真实模型带来显著收益。
这对项目验收非常重要。
例如,某类被优化算子只占端到端运行时间的 30%,即使把它们全部加速 20%,整个模型的理论加速也只有:
S=10.7+0.3/1.2≈1.053S=\frac{1}{0.7+0.3/1.2}\approx1.053
也就是大约 5.3%。
所以我建议最开始建立一套可靠评测系统,至少区分以下指标:
指标评估什么
Correctness pass rate多 shape、dtype、边界值、随机输入的正确率
Kernel speedup对现有 Triton-Ascend/CANN 编译产物的加速
Tuned baseline speedup对传统 autotuning 最优候选的加速
End-to-end model speedup对真实模型的收益
Tuning cost每个算子消耗的编译次数、NPU 时间、Agent 费用
Compile latency不包含或包含离线搜索时的编译耗时
Regression rate在不同输入规格、设备和软件版本上的性能回退
我特别建议把“运行性能提升”和“调优成本下降”从项目开始就设成两个独立验收目标。
你描述的此前经历,是先想优化运行性能,失败后转向编译性能,最后也没有实现目标。这种临时换指标的做法很容易让研发投入变成无法证伪的长期项目。
但编译性能或调优成本本身完全可以具有很高价值。Helion 在 2026 年用 LLM 指导搜索、显著减少 benchmark 次数,就提供了具体例子。
真正的问题不是优化哪个指标,而是这个指标是否提前定义、能否稳定测量、是否有明确业务需求。

五、短、中、长期分别能创造什么价值?对简历有多大帮助?

我建议把项目拆成三个有独立交付物的阶段。即使后续阶段被取消,前期工作也应该可以单独使用,而不是整个项目彻底归零。

0–3

个月
短期:AI Kernel Autotuning MVP
成功概率:相对高 | 简历价值:中高
重点不在新模型,而在建立自动生成、编译、验证、profiling、搜索和回退的闭环。

3–12

个月
中期:跨层 Tile + Memory/Pipeline Co-optimization
成功概率:中等 | 简历价值:很高
打通上层切分与片上资源反馈,证明跨层优化相比逐层优化有稳定、可测量的增益。

12–24+

个月
长期:自主 AI Kernel Optimization Platform
成功概率:不确定 | 简历价值:上限很高
形成从模型计算图到多种 NPU 后端的可持续优化平台,支持自学习、跨设备迁移和生产部署。
这里的成功概率是定性工程判断,假设你能获得真实 NPU、profiling 数据和现有编译器的接口权限,不代表统计预测。

第一阶段:0–3 个月

我建议你对第一期非常克制。
首先只选一个硬件型号、一套固定的编译器版本,再选 20–30 个代表性算子及多个实际使用的 shape。最好由生产模型的 profiling 来决定优先级,而不是选最容易做出漂亮成绩的测试用例。
技术上可以先不用训练模型。用现有 LLM 产生合法的 schedule/config 候选,结合随机搜索、传统 autotuning 和静态启发式作为基线。
最理想的第一个成果,不是“AI 生成了一百个算子”,而是:
在相同正确性和性能要求下,AI 辅助搜索能否比传统搜索用更少的编译与运行次数找到同等级别的实现?
这项交付具有明确的价值:缩短算子调优周期、减少对资深专家的依赖,同时保留现有编译器的质量保证。
第一期的验收目标可以设置成:基准集正确率达到 100%;对于指定算子族,争取减少 30%–50% 的搜索成本,同时最终性能不低于传统 autotuning 的约 98%。这些是建议谈判的研发目标,不是业界已经保证能实现的收益。
如果你做出这样的成果,简历可以体现真实的 ML Systems 能力,而不仅仅是“开发了一个 AI 工具”。

第二阶段:3–12 个月

这是我认为最值得你投入,也是最可能产生技术壁垒的阶段。
重点是让 AI 不仅知道 tile 参数,还能根据 NPUIR 和编译结果决定是不是该调整上游计算结构。
例如针对 Cube/Vector 混合算子,建立一个与现有 memory planning、pipeline scheduling 相连接的候选搜索过程;对于资源不足或者流水等待严重的实现,将下层诊断反馈给上层。
这阶段应该回答一个有研究价值的问题:
相比独立优化 tile、memory 和 backend,跨层协调优化是否能在同样调优预算下持续获得更高的运行性能?
如果答案是肯定的,你就有机会做出真正意义上的系统研究成果。
我会建议你同时做 ablation:关闭内存反馈、关闭编译器反馈、关闭 LLM,只保留传统搜索。这样才能证明每个模块的边际价值。
简历价值也会从“AI 开发工具”升级到“面向专用硬件的 Compiler Co-optimization System”。

第三阶段:12–24 个月以上

长期目标可以更大胆,但应该以第二阶段的真实数据为基础。
届时才值得讨论训练专用的优化模型、基于历史优化轨迹学习搜索策略,或者支持多个 Ascend 架构和多种代码生成后端。
例如逐渐形成一个系统,能够根据 tensor 计算语义、硬件资源和历史 profiling,自动选择传统编译、搜索优化或者特定算子代码生成路径。
这里真正有商业价值的是 hardware-software co-design knowledge 的积累和复用。
但要注意:达到这一阶段后,项目的重点将从个人算法变成平台工程、部署、维护和跨团队协作。如果你只想做核心算法、不想长期负责复杂平台,第三阶段未必是最适合你个人的路线。

六、从跳槽和职业成长角度,这三个阶段到底值多少?

我会把你未来可能竞争的方向分为 AI Infra、Compiler/ML Systems、GPU/NPU Kernel Performance、AI Agent Infrastructure。
你目前描述的经验,更接近底层 Compiler/Kernel Engineer。这个新项目最大的机会,是把你的能力扩展成 “懂 AI 驱动优化的编译器系统工程师”。
做出来的成果外部简历价值原因
LLM 生成 AscendC demo较低至中等容易被视为代码生成集成
AI + 编译器自动调优系统高有性能评测、系统设计和优化算法
跨层优化,真实模型提速很高兼具硬件、编译器和 ML Systems
自研更好的 PlanMemory 小算法中等,取决于指标技术有深度,但影响范围可能较窄
重新实现寄存器分配器,性能无稳定收益低研发难度不能替代可证明成果
主导被真实业务采用的 AI Kernel 平台极高具备技术深度、架构设计和项目 ownership
我认为,对你最有价值的不一定是把第三阶段全部完成,而是亲自主导第二阶段,做到真实生产环境的性能提升。
一个非常有说服力的简历描述会是:
示例:未来成功后可以采用的英文简历描述
Led the development of a profile-guided AI kernel optimization system for Huawei Ascend NPUs, enabling cross-layer optimization across tensor tiling, on-chip memory scheduling, and compiler configuration.
Achieved XX% geometric-mean kernel speedup over tuned compiler baselines across N production workloads, while reducing autotuning cost by YY%.
XX、N、YY 必须由真实实验填入;还需要明确对比基线、设备及个人职责,并遵守公司保密要求。
这样的履历比“使用大语言模型开发算子生成平台”有竞争力得多。
不过还有一个现实问题:你在大公司内部做出的成果,如果没有公开论文、开源贡献、可披露的量化结果或真实业务落地案例,外部招聘方可能很难评估你的贡献。
因此,在争取项目负责权时,你还应该争取技术成果的署名、可以合规公开的展示机会,以及最终性能数据的可归属记录。

七、要不要主动接?关键看领导是否允许你管理风险

从你说的两次尝试来看,我不认为最大的风险是技术本身,而是项目目标与资源、技术成熟度不匹配。
比如把“优化运行性能”作为目标,却没有指定要优化哪些算子;把“超越 LLVM”作为目标,却没有限定场景;最后又因为效果不明显而临时改变指标。
在这种环境里,主动接项目可能有两种完全不同的结果。
第一种,你成为项目技术负责人,制定阶段性目标、组织实验、协调编译器团队,把一个有长期潜力的方向做成可靠工具。这对你的晋升和外部简历都很好。
第二种,你只是名义上的算法负责人,技术路线、进度和目标都由上级决定,而性能没有提升时需要你负责。这种项目可能大量消耗你的时间,却缺少可沉淀的成果。
我建议在正式接之前确认以下条件:
必要条件我建议争取的内容
项目定义权由你提出技术路线和阶段验收,而不是必须从第一天就实现单模型端到端
技术控制权可以使用现有编译器、传统搜索,并保留 fallback
硬件与数据固定 NPU 测试资源、真实 workload、编译器日志和 profiler
跨团队支持NPUIR、毕昇/ccec 相关 owner 至少愿意提供接口与协作
成败标准运行性能、搜索成本、编译耗时单独验收,提前约定停止条件
成果归属明确你承担的模块、负责范围、技术评审与成果署名
如果这些条件中最重要的几项可以争取到,我认为应该主动接。
如果领导明确要求“半年内通过一个端到端模型全面超过现有编译链”,却又不给足够的数据、硬件和跨团队资源,那么我建议只接限期 PoC,不接无限责任的整体项目 owner。

你可以怎么跟领导谈

我不建议你直接否定端到端方案,也不建议用“之前的方向已经失败了”来反驳。
更好的办法是把领导的端到端愿景与工程实施路线统一起来:
我建议把端到端作为最终用户体验目标,而不是一开始就限定必须由单个模型完成所有编译决策。
NVIDIA 现在也在采用上层 tile autotuning 与下层编译器控制参数联合搜索的方案。我们可以先复用成熟编译器,做出从 PyTorch 输入到最终算子性能验证的完整闭环。
第一阶段先比较 AI、传统 autotuning 和现有编译器默认策略。如果能够证明稳定收益,再逐步引入 NPUIR memory/pipeline 的反馈,实现跨层联合优化。
直接生成 AscendC 可以作为并行研究路线,但不让它阻塞主线项目。这样既能保留长期端到端创新空间,也能保证每个阶段都有可交付的价值。
这个提法有三个好处:既尊重领导的目标,又用 NVIDIA 的实际工作支持你的方案,还能把项目成功与否变成客观实验问题。

八、如果由我来确定第一版技术方向

我会按下面这个顺序投入资源:
优先级 1:Benchmark、Profiler、Correctness Verifier
没有这些,就无法可靠评价 AI 是否真的有价值。这部分最好独立成基础设施。

优先级 2:受约束的 PyTorch → Tile/Schedule 优化
AI 产生优化决策而非任意机器代码,同时支持人工调整 tile、查看资源约束和复现选中的方案。

优先级 3:从 NPUIR 获取 Memory/Pipeline Cost Feedback
不急着替换 PlanMemory,而是用它的结果反馈上游,决定是否需要调整 tile 或计算调度。

优先级 4:联合优化后端参数
前提是 ccec/毕昇有适合开放的配置接口,并且已有足够的 benchmarking 证据说明底层有可利用的性能空间。

优先级 5:端到端 AscendC 生成与专用模型训练
作为研究探索,只有在明确发现现有 IR 表达能力不足,或者积累了足够多的高质量优化轨迹之后,再扩大投入。
有一点需要特别强调:在第一期,你甚至不需要真正的“三个 AI”。
完全可以只做一个负责决策的 Agent,通过三个传统编译层获得合法性与性能反馈。等数据证明某层的决策确实值得学习,再把那层换成专门模型。
这比先定义三个模型、然后想办法让它们协同,成本小得多。
而且你提到的“方便 AI 手动调”是很值得保留的产品优势:最好让模型输出可编辑的结构化优化方案,开发者既能锁定某些 tile 决策,又能只让 AI 重搜 memory 或 compiler 参数。这会比纯黑盒代码生成更有利于调试、信任和实际采用。
还要单独考虑公司代码与模型调用的安全边界:任何内部 IR、算子实现、profiling 数据用于模型训练或外部服务前,都应先确认公司批准的使用方式。

九、最后给你的职业决策

我把建议进一步明确成三个情境:
建议主动接
领导支持分阶段验证;你能主导架构;有真实硬件和数据;允许传统算法作为基线与 fallback;目标可以根据证据收缩。

建议有条件接
领导更喜欢端到端,但愿意先做 2–3 个月 PoC,并接受不达标时收缩目标。这种情况下先争取技术验证负责人,不急于承诺完整平台。

不建议接完整责任
领导要求短期全面超过成熟后端,不接受阶段性交付,也没有足够测试资源;项目失败时责任却归你。
我个人最看好的项目名称和定位是:
Profile-Guided AI Kernel Co-optimization for Ascend NPU
而不是简单的 End-to-End AI Operator Compiler。
前一个名字背后的方向更明确:你用 AI、传统搜索和编译器技术解决真实的性能优化问题,并且把你的领域知识变成一个长期可演进的系统。
后一个名字看似更宏大,但很容易沦为生成代码、不断修 bug、反复调 prompt,却说不清到底比现有编译器强在哪里。
从你的职业背景来看,你的优势不在于比普通 LLM 工程师更懂 prompt,而是已经接触了 Cube/Vector、L0C 数据路径、NPUIR 与编译后端之间的真实约束。应该利用这些经验,让 AI 帮助搜索和选择,而不是绕开这些经验重新造编译器。
所以我的最终建议是:主动争取,但目标是拿下“AI 驱动的跨层算子优化系统”这个方向的技术 ownership;不要主动承担“一个模型重写编译器”这个目标。
最值得你追求的成果是:12 个月左右拿出一个在真实业务算子上、对成熟基线有可复现性能收益的跨层优化系统。哪怕最后没有发论文,只要有业务采用、严格实验和可归属的技术贡献,它也足以成为一段很有分量的简历经历。
Text version

AI 编译算子:技术可行性、三阶段价值,以及你该不该接

我的结论:建议你主动争取这个项目,但前提是争取技术路线的主导权,而不是无条件接下“AI 端到端生成高性能算子”的指标。

你提出的三层方案,我认为比一开始就做端到端更适合真实编译器团队。不过我建议做一个重要修改:

底层采用分层、可替换、可回退的编译架构;上层采用跨层、端到端性能反馈的 AI Agent。

这样既不用让一个大模型直接学会所有硬件细节,也不必放弃你担心的跨层优化空间。

我看好这个项目,主要有三个原因:

  1. 行业方向确实成立。 NVIDIA、PyTorch 社区和学术界已经有不少可复现的 AI kernel generation / optimization 工作,不再停留于概念验证。
  2. 你具备比较好的切入位置。 从你描述的 DCV、L0C、NPUIR 和编译后端经历看,你了解优化决策在编译链中如何传递,这比只会调用大模型生成算子代码更有价值。
  3. 这个方向存在较大的简历上限。 做好后可以连接 AI Infra、编译器、GPU/NPU Kernel、ML Systems 和 Agentic Optimization 几个就业方向。

但最大的危险是:领导把一个适合做成长期技术平台的问题,当成几个硕士半年就能攻克的算法问题。

下面会把公开技术现状、方案优劣、三阶段交付以及你个人承担项目的条件分开分析。


一、截至 2026 年 11 月,业界发展到了什么程度?

1. NVIDIA 不仅在做,而且已经出现与你设想非常接近的技术路线

最值得你研究的是 NVIDIA 与 PyTorch 社区在 2026 年 10 月 19 日发表的:

One Search, Two Layers: Compiler Controls Inside PyTorch Helion using NVIDIA CompileIQ

这篇文章几乎直接回答了你现在面对的架构争论。

它的核心思想是:

  • 上层 autotuner 搜索 tile shape、pipeline stages、内存访问策略等。
  • 下层编译器继续负责寄存器分配、指令调度、机器码生成。
  • NVIDIA CompileIQ 为底层编译器提供可搜索的控制参数。
  • 上下两层可以联合调优,但不需要让大模型重新实现整个编译器。

这和你说的“每层 AI 可以被原有工具替换,同时允许跨层优化”非常接近。

NVIDIA 的公开实验在已经充分调优的 kernel 上,底层编译器控制参数仍获得了约 2%–7% 的运行性能收益;对于尚未充分优化的 kernel,收益可能更大。不过这些是特定设备、特定算子的结果,不是通用性能保证。(pytorch.org developer.nvidia.com)

尤其重要的是,NVIDIA 没有把“重新发明更强的寄存器分配算法”作为必要前提,而是利用现有编译器暴露的控制空间,自动搜索更适合特定 workload 的配置。

这和“几个人做一个算法,全面超过 LLVM”的技术风险完全不同。

2. 最值得对标的六条路线

项目目前公开的技术能力对你的启发
NVIDIA CompileIQ搜索编译器控制参数,优化寄存器分配、指令调度等选择优先调优现有后端,而不是替换后端
HelionPyTorch 风格输入,隐式生成 tile/search space,再降低到 Triton高层输入不一定要采用 Triton 语法
KernelAgent大模型结合 profiler、编译、正确性验证进行闭环优化AI 应当负责诊断、提出策略并迭代
CUDA Tile IR保留 tile 语义,由编译器处理部分硬件映射、资源分配tile 语义是很有价值的优化边界
CUDA Agent用强化学习训练长程 kernel 开发 Agent端到端 Agent 是长期研究方向
LLVM MLGO已提供寄存器分配 eviction heuristic 等 ML 接口AI 优化后端可行,但宜先替换局部启发式

其中有几个数据很有参考意义。

Helion + LLM Autotuning(2026 年 6 月) B200,33 个测试场景

约 10×

减少编译与测试的候选配置数

约 6.7×

减少调优墙钟时间

在上述样本中,LLM-guided autotuning 的最终 kernel 性能与传统 LFBO 搜索基本相当(相对性能几何平均 1.009×)。这不是让算子本身加速 6.7 倍,而是显著降低了搜索成本。(pytorch.org pytorch.org)

PyTorch KernelAgent(2026 年 3 月) H100,KernelBench L1

1.56×

相对于默认 torch.compile 的几何平均加速

65/100

相对于该基线更快的 L1 任务数

该工作使用真实硬件 profiling 信号指导多 Agent 优化。不过,L1 是相对基础的任务集,不能把 1.56× 直接作为复杂生产算子的预期。(pytorch.org)

这里还有一个对你尤其有利的事实:NVIDIA 的 Triton-to-TileIR 项目明确强调,保留 Triton 的 tile-level semantics,而不是过早降低成 thread-level instructions,以便让后端继续做硬件相关优化。(developer.nvidia.com)

因此,你的方向不是与业界背道而驰。相反,它和 2026 年产业界的架构趋势高度相关。

但也要注意另一面:端到端 kernel generation 的研究确实进展很快。例如 CUDA Agent 在 KernelBench 上报告了相对 torch.compile 的 2.11× 总体几何平均加速,表明完整 Agent 工作流值得研究;只是它还不能证明一个模型能稳定替换生产级编译后端。(cuda-agent.github.io)

3. 还有一个可能更重要的竞争对手:Helion,而不只是 Triton

你提出的“数学公式 / PyTorch → tile”,已经非常接近 Helion 的产品定位。

Helion 在 2025 年发布时就采用 PyTorch-native DSL,使用 hl.tile 表达分块迭代,再自动搜索 tile size、loop order、数据访问方式等。它不是单纯地把 PyTorch 逐句翻译成 Triton。(pytorch.org)

这对你的项目意味着:

如果只做 PyTorch → tile 的 AI 翻译,并不能形成足够强的差异化。真正的价值应当是利用 Ascend 硬件知识,联合优化 Cube/Vector 划分、片上存储、流水并行和后端资源压力。

另外,2026 年 11 月 12 日,Helion 团队还发布了通过静态分析 IR 和数据流、直接推导较优配置的方案,减少对耗时 autotuning 的依赖。(pytorch.org)

因此项目至少需要对比三个基线:传统编译器启发式、传统 autotuning,以及 LLM/Agent 优化。否则即使 AI 相比默认配置有所提升,也无法说明 AI 的成本是值得的。


二、重新评估你提出的三层架构

先说一个需要精确区分的地方。

公开的 Triton-Ascend 3.6 文档把主要 SIMD 编译路径描述为:

Triton IR → Linalg IR → AscendNPU IR → kernel.o

其中 Triton-Ascend 负责上层 IR 转换,毕昇编译器负责后续硬件映射、存储分配、指令选择等。Ascend 950 的 SIMT 路线还有不同的 lowering 分支。(github.com)

因此,你说的 tile → mem → instr 是一种合理的优化决策分层,但不等同于公开编译器的一套固定 IR 边界。实际项目需要确定这些决策分别能在哪些 IR、pass 或 compiler option 上表达。

你之前的工作范围也要明确区分:按照你的补充,你是调整 DCV 的输出以支持流向 L0C,而不是负责实现或优化 PlanMemory 本身。这会影响你在哪些模块上拥有直接实施能力,但不影响你对跨层问题的理解。

1. 我建议的架构:三层决策,一套闭环

输入:PyTorch / FX Graph / 形式化数学表达

计算语义、shape、dtype、layout、精度约束

AI-1:计算结构与 Tile 优化 (优先做)

算子融合、切分、循环顺序、Cube/Vector 分工、计算图重写

输出:结构化 Schedule / Tile Plan

约束反馈与候选重选

AI-2:存储和流水优化

UB/L1/L0C 占用、buffer lifetime、搬运、multi-buffer、同步与调度

输出:合法 Memory / Pipeline Plan

资源压力与性能反馈

AI-3:后端控制参数优化

优先搜索现有 ccec/毕昇可调参数;必要时再研究局部算法增强

输出:编译选项 / 局部优化策略

编译 → 运行 → 正确性验证 → Profiler

真实硬件耗时、资源占用、溢出、编译开销

全局 Agent 根据结果重新选择任意一层的策略

这里最重要的区别是:三个 AI 模块不必各自训练一个模型,甚至不必都使用 LLM。

第一层可以采用 LLM + 规则约束;第二层可以采用现有 PlanMemory + 搜索算法;第三层初期完全可以采用已有编译器 + 参数搜索。

真正需要共享的是统一的优化目标、候选表示、验证系统和性能反馈。

2. 三层 vs 端到端的技术取舍

维度三层独立优化单模型端到端分层 + 全局反馈
第一版落地容易很难中等
正确性验证可逐层检查很难定位错误可逐层检查
复用现有工具很好较差很好
跨层联合优化弱理论上强强
数据要求较低很高中等
编译器升级适配相对容易容易受影响相对容易
实际项目风险中极高中
长期扩展性中理论上高高

这是工程判断,不是已有公开 benchmark 的评分。

我选择第三列。

你担心三层设计不够灵活,这个担忧完全成立,但并不必然要求端到端模型。

举个很具体的例子。

假设 AI-1 为一个 fused MatMul + 后处理算子选择了较大的 tile,减少了重复搬运,但导致 AI-2 发现 L0C 或 UB 占用过高。为了维持双缓冲,AI-2 可能需要缩小某个子 tile,或者改变数据搬运和计算的重叠方式。

如果 AI-1 的决策已经固定,AI-2 就可能只能采取低效的补救策略。

但如果系统支持:

Memory Pressure → 调整 Tile Candidate → 重新生成 Memory Plan → 运行测量

那么跨层优化仍然存在。

数学上,你真正需要求解的是:

min⁡T,M,BLatency⁡(T,M,B)\min_{T,M,B}\quad \operatorname{Latency}(T,M,B)

其中 TT 是 tile/计算结构决策,MM 是存储与流水决策,BB 是后端控制决策,同时满足片上容量、依赖、同步、数值精度等约束。

难点不在于是否有三个模型,而在于能否避免三个局部优化器各自贪心。

因此,工程上最好保存多个候选方案,而不是每层只保留一个最优答案。让性能反馈触发上游重新搜索,比让模型一次性输出所有底层指令现实得多。

3. 关于“tile/tensor 语义肯定比 TritonToStructured 更好”

这一点我部分赞同,但需要修改一下论证方式。

Triton 本身就有 tile 语义,问题并非 Triton 缺少 tensor abstraction,而是 lowering 过程中哪些结构化信息被保留、什么时候被丢失,以及后续 pass 能否理解这些信息。

如果较早地把二维或高维访存转成复杂的线性地址表达式,后续再逆向恢复维度、stride、mask 和访问关系,确实可能损失优化信息,也会增加分析复杂度。

但高层 tile 语义也不是越多越好。过于抽象会隐藏硬件关键能力,例如显式异步搬运、同步、特殊布局、不同计算单元之间的数据通路。

我会建议设计一种足够轻量的 Schedule Plan,保留:

  • 计算语义:shape、dtype、broadcast、reduce 轴、数据依赖和 alias。
  • 优化决策:tile shape、fusion group、loop order、数据布局、计算单元分工。
  • 可验证约束:片上资源预算、精度要求、合法同步和数据搬运限制。
  • 后端反馈:实际资源压力、额外搬运、流水等待和最终延迟。

不要为了 AI 再从零实现一套庞大的编译器 IR。能复用现有 MLIR dialect、pass 和配置接口就尽量复用。

数学表达式也不能代替严谨的计算语义。比如 reduction 顺序变化会改变浮点结果;PyTorch 中的 view、alias、broadcast、动态 shape 和特殊精度行为,也不能靠 LLM 猜测。

所以初期我更支持 torch.export/FX → 合法计算图 → AI 优化 Schedule,而不是直接让模型从任意自然语言数学公式生成可执行内核。


三、哪些部分真正可行,哪些容易重蹈之前的覆辙?

1. AI 优化 tile:最值得先做

(可行性较高) 建议成为项目第一阶段的主要算法工作

因为 tile、fusion、loop order、pipeline depth 等已经提供了明确的结构化搜索空间,不要求 AI 自己发明合法的底层实现。

第一版可以只选择已有编译器支持的策略,让 AI 负责提出候选、剪枝和调整搜索顺序。这种方式即使 LLM 表现不佳,也能回退到传统搜索。

更有价值的方向是 AI 对不同算子选择不同优化策略。例如 pointwise + reduction、GEMM + epilogue、Cube/Vector 混合算子通常需要不同的优化决策。

这里的核心竞争力不是 prompt,而是你们有没有一个适合 Ascend 的搜索空间、约束模型和性能反馈系统。

2. AI 优化 NPUIR 的 Memory Plan:能做,但不应直接挑战整个 PlanMemory

(可行性中等) 优先做决策与约束反馈,不优先重写分配器

这一层其实比纯 tile 优化更容易出现复杂的技术问题。

公开的 AscendNPU IR PlanMemory 文档已经描述了:

  • 按 Buffer 生命周期和 alias 关系进行地址复用。
  • 通过不同复用等级,权衡片上存储利用率和跨流水线依赖。
  • 考虑 double buffering 与 pipeline stall。
  • 管理 L1、L0C、UB 以及部分 CV workspace。(ascendnpu-ir.readthedocs.io)

也就是说,PlanMemory 并不是一个单纯的区间装箱算法。

如果只追求减少最大内存占用,可能破坏流水并行;如果只追求减少额外同步,又可能造成容量不足。

我会优先研究的不是“AI 如何重新分配每一个 offset”,而是:

给出 tile 和计算调度后,AI 能否提前判断内存压力,并选择更好的 buffer 策略、数据搬运路径或上游切分方式。

这也更贴近你之前接触过的 DCV 输出和 L0C 数据路径,而不需要把你没有直接负责过的 PlanMemory 实现当成已有优势。

3. AI 优化 ccec 寄存器分配:不建议作为项目的主要赌注

(从零替换风险高) 局部策略搜索可研究

首先,你说“NP-hard 问题上随机算法就是 SOTA”,这个判断需要限定具体问题、约束和评测指标。

NP-hard 只表示一般情况下求解困难,不意味着随机搜索必然是最优工程算法。对真实编译 workload,启发式、近似算法、局部搜索、学习策略往往有竞争力。

而且 LLVM 官方的 MLGO 已经为寄存器分配中的 greedy eviction heuristic 提供 ML 集成,说明这一方向有实践基础。(llvm.org)

但这恰好说明了另一个问题:要真正超过经过长期工程验证的寄存器分配器,需要非常大量的样本、正确性与性能测试,以及对硬件细节的长期积累。

项目难度不能由“几个硕士能写出一个新算法”来估算。

我建议你把底层创新限定为搜索已有编译器可控的优化策略。如果后端没有稳定开放的控制接口,就先将底层作为只读的编译与 profiling oracle,而不是把修改后端作为第一期前置条件。

这与 NVIDIA CompileIQ 的实施方式更接近。(developer.nvidia.com)

4. 领导想要的端到端或 AscendC,是否完全不值得做?

不是。

这里要区分两种“端到端”。

产品端到端: 客户提供 PyTorch 算子,系统自动生成正确且高性能的实现,客户不用理解中间的编译细节。

模型端到端: 一个模型直接从 PyTorch/数学描述生成 AscendC,甚至更低层 IR 或指令。

我很支持前者,但不建议把后者作为短期必达目标。

直接生成 AscendC 的路径有价值,尤其适合局部算子族、开发者可阅读代码、探索现有 IR 不易表达的新调度策略。但它同时把数据搬运、同步、资源约束、代码合法性和调试问题全部推给了生成模型。

它更适合成为一个并行的探索后端:

场景推荐路径
已有编译器支持的常见算子Tile/Schedule Plan → 现有编译器
需要精细存储与流水控制的算子Tile + Memory/Pipeline Plan → 现有后端
编译器表达能力不足的特殊算子受约束的 AscendC 生成
新硬件特性或极限优化研究小范围更底层代码生成实验

这样领导能获得“从 PyTorch 到可运行算子”的完整演示,你也不必为模型替换整个编译栈承担责任。

四、真正应该关注的风险:Benchmark 和实际业务价值

这里有一个容易被 AI 项目忽略的陷阱。

2026 年 9 月的一项独立研究发现,某些 KernelBench 任务的正确性检查存在漏洞,甚至可能接受几乎没有真正计算输出的 kernel。同时,单个 kernel 加速不一定能给真实模型带来显著收益。(arxiv.org)

这对项目验收非常重要。

例如,某类被优化算子只占端到端运行时间的 30%,即使把它们全部加速 20%,整个模型的理论加速也只有:

S=10.7+0.3/1.2≈1.053S=\frac{1}{0.7+0.3/1.2}\approx1.053

也就是大约 5.3%。

所以我建议最开始建立一套可靠评测系统,至少区分以下指标:

指标评估什么
Correctness pass rate多 shape、dtype、边界值、随机输入的正确率
Kernel speedup对现有 Triton-Ascend/CANN 编译产物的加速
Tuned baseline speedup对传统 autotuning 最优候选的加速
End-to-end model speedup对真实模型的收益
Tuning cost每个算子消耗的编译次数、NPU 时间、Agent 费用
Compile latency不包含或包含离线搜索时的编译耗时
Regression rate在不同输入规格、设备和软件版本上的性能回退

我特别建议把“运行性能提升”和“调优成本下降”从项目开始就设成两个独立验收目标。

你描述的此前经历,是先想优化运行性能,失败后转向编译性能,最后也没有实现目标。这种临时换指标的做法很容易让研发投入变成无法证伪的长期项目。

但编译性能或调优成本本身完全可以具有很高价值。Helion 在 2026 年用 LLM 指导搜索、显著减少 benchmark 次数,就提供了具体例子。

真正的问题不是优化哪个指标,而是这个指标是否提前定义、能否稳定测量、是否有明确业务需求。


五、短、中、长期分别能创造什么价值?对简历有多大帮助?

我建议把项目拆成三个有独立交付物的阶段。即使后续阶段被取消,前期工作也应该可以单独使用,而不是整个项目彻底归零。

0–3

个月

短期:AI Kernel Autotuning MVP

成功概率:相对高 | 简历价值:中高

重点不在新模型,而在建立自动生成、编译、验证、profiling、搜索和回退的闭环。


3–12

个月

中期:跨层 Tile + Memory/Pipeline Co-optimization

成功概率:中等 | 简历价值:很高

打通上层切分与片上资源反馈,证明跨层优化相比逐层优化有稳定、可测量的增益。


12–24+

个月

长期:自主 AI Kernel Optimization Platform

成功概率:不确定 | 简历价值:上限很高

形成从模型计算图到多种 NPU 后端的可持续优化平台,支持自学习、跨设备迁移和生产部署。

这里的成功概率是定性工程判断,假设你能获得真实 NPU、profiling 数据和现有编译器的接口权限,不代表统计预测。

第一阶段:0–3 个月

我建议你对第一期非常克制。

首先只选一个硬件型号、一套固定的编译器版本,再选 20–30 个代表性算子及多个实际使用的 shape。最好由生产模型的 profiling 来决定优先级,而不是选最容易做出漂亮成绩的测试用例。

技术上可以先不用训练模型。用现有 LLM 产生合法的 schedule/config 候选,结合随机搜索、传统 autotuning 和静态启发式作为基线。

最理想的第一个成果,不是“AI 生成了一百个算子”,而是:

在相同正确性和性能要求下,AI 辅助搜索能否比传统搜索用更少的编译与运行次数找到同等级别的实现?

这项交付具有明确的价值:缩短算子调优周期、减少对资深专家的依赖,同时保留现有编译器的质量保证。

第一期的验收目标可以设置成:基准集正确率达到 100%;对于指定算子族,争取减少 30%–50% 的搜索成本,同时最终性能不低于传统 autotuning 的约 98%。这些是建议谈判的研发目标,不是业界已经保证能实现的收益。

如果你做出这样的成果,简历可以体现真实的 ML Systems 能力,而不仅仅是“开发了一个 AI 工具”。

第二阶段:3–12 个月

这是我认为最值得你投入,也是最可能产生技术壁垒的阶段。

重点是让 AI 不仅知道 tile 参数,还能根据 NPUIR 和编译结果决定是不是该调整上游计算结构。

例如针对 Cube/Vector 混合算子,建立一个与现有 memory planning、pipeline scheduling 相连接的候选搜索过程;对于资源不足或者流水等待严重的实现,将下层诊断反馈给上层。

这阶段应该回答一个有研究价值的问题:

相比独立优化 tile、memory 和 backend,跨层协调优化是否能在同样调优预算下持续获得更高的运行性能?

如果答案是肯定的,你就有机会做出真正意义上的系统研究成果。

我会建议你同时做 ablation:关闭内存反馈、关闭编译器反馈、关闭 LLM,只保留传统搜索。这样才能证明每个模块的边际价值。

简历价值也会从“AI 开发工具”升级到“面向专用硬件的 Compiler Co-optimization System”。

第三阶段:12–24 个月以上

长期目标可以更大胆,但应该以第二阶段的真实数据为基础。

届时才值得讨论训练专用的优化模型、基于历史优化轨迹学习搜索策略,或者支持多个 Ascend 架构和多种代码生成后端。

例如逐渐形成一个系统,能够根据 tensor 计算语义、硬件资源和历史 profiling,自动选择传统编译、搜索优化或者特定算子代码生成路径。

这里真正有商业价值的是 hardware-software co-design knowledge 的积累和复用。

但要注意:达到这一阶段后,项目的重点将从个人算法变成平台工程、部署、维护和跨团队协作。如果你只想做核心算法、不想长期负责复杂平台,第三阶段未必是最适合你个人的路线。

六、从跳槽和职业成长角度,这三个阶段到底值多少?

我会把你未来可能竞争的方向分为 AI Infra、Compiler/ML Systems、GPU/NPU Kernel Performance、AI Agent Infrastructure。

你目前描述的经验,更接近底层 Compiler/Kernel Engineer。这个新项目最大的机会,是把你的能力扩展成 “懂 AI 驱动优化的编译器系统工程师”。

做出来的成果外部简历价值原因
LLM 生成 AscendC demo较低至中等容易被视为代码生成集成
AI + 编译器自动调优系统高有性能评测、系统设计和优化算法
跨层优化,真实模型提速很高兼具硬件、编译器和 ML Systems
自研更好的 PlanMemory 小算法中等,取决于指标技术有深度,但影响范围可能较窄
重新实现寄存器分配器,性能无稳定收益低研发难度不能替代可证明成果
主导被真实业务采用的 AI Kernel 平台极高具备技术深度、架构设计和项目 ownership

我认为,对你最有价值的不一定是把第三阶段全部完成,而是亲自主导第二阶段,做到真实生产环境的性能提升。

一个非常有说服力的简历描述会是:

示例:未来成功后可以采用的英文简历描述

Led the development of a profile-guided AI kernel optimization system for Huawei Ascend NPUs, enabling cross-layer optimization across tensor tiling, on-chip memory scheduling, and compiler configuration.

Achieved XX% geometric-mean kernel speedup over tuned compiler baselines across N production workloads, while reducing autotuning cost by YY%.

XX、N、YY 必须由真实实验填入;还需要明确对比基线、设备及个人职责,并遵守公司保密要求。

这样的履历比“使用大语言模型开发算子生成平台”有竞争力得多。

不过还有一个现实问题:你在大公司内部做出的成果,如果没有公开论文、开源贡献、可披露的量化结果或真实业务落地案例,外部招聘方可能很难评估你的贡献。

因此,在争取项目负责权时,你还应该争取技术成果的署名、可以合规公开的展示机会,以及最终性能数据的可归属记录。


七、要不要主动接?关键看领导是否允许你管理风险

从你说的两次尝试来看,我不认为最大的风险是技术本身,而是项目目标与资源、技术成熟度不匹配。

比如把“优化运行性能”作为目标,却没有指定要优化哪些算子;把“超越 LLVM”作为目标,却没有限定场景;最后又因为效果不明显而临时改变指标。

在这种环境里,主动接项目可能有两种完全不同的结果。

第一种,你成为项目技术负责人,制定阶段性目标、组织实验、协调编译器团队,把一个有长期潜力的方向做成可靠工具。这对你的晋升和外部简历都很好。

第二种,你只是名义上的算法负责人,技术路线、进度和目标都由上级决定,而性能没有提升时需要你负责。这种项目可能大量消耗你的时间,却缺少可沉淀的成果。

我建议在正式接之前确认以下条件:

必要条件我建议争取的内容
项目定义权由你提出技术路线和阶段验收,而不是必须从第一天就实现单模型端到端
技术控制权可以使用现有编译器、传统搜索,并保留 fallback
硬件与数据固定 NPU 测试资源、真实 workload、编译器日志和 profiler
跨团队支持NPUIR、毕昇/ccec 相关 owner 至少愿意提供接口与协作
成败标准运行性能、搜索成本、编译耗时单独验收,提前约定停止条件
成果归属明确你承担的模块、负责范围、技术评审与成果署名

如果这些条件中最重要的几项可以争取到,我认为应该主动接。

如果领导明确要求“半年内通过一个端到端模型全面超过现有编译链”,却又不给足够的数据、硬件和跨团队资源,那么我建议只接限期 PoC,不接无限责任的整体项目 owner。

你可以怎么跟领导谈

我不建议你直接否定端到端方案,也不建议用“之前的方向已经失败了”来反驳。

更好的办法是把领导的端到端愿景与工程实施路线统一起来:

我建议把端到端作为最终用户体验目标,而不是一开始就限定必须由单个模型完成所有编译决策。

NVIDIA 现在也在采用上层 tile autotuning 与下层编译器控制参数联合搜索的方案。我们可以先复用成熟编译器,做出从 PyTorch 输入到最终算子性能验证的完整闭环。

第一阶段先比较 AI、传统 autotuning 和现有编译器默认策略。如果能够证明稳定收益,再逐步引入 NPUIR memory/pipeline 的反馈,实现跨层联合优化。

直接生成 AscendC 可以作为并行研究路线,但不让它阻塞主线项目。这样既能保留长期端到端创新空间,也能保证每个阶段都有可交付的价值。

这个提法有三个好处:既尊重领导的目标,又用 NVIDIA 的实际工作支持你的方案,还能把项目成功与否变成客观实验问题。

八、如果由我来确定第一版技术方向

我会按下面这个顺序投入资源:

优先级 1:Benchmark、Profiler、Correctness Verifier

没有这些,就无法可靠评价 AI 是否真的有价值。这部分最好独立成基础设施。


优先级 2:受约束的 PyTorch → Tile/Schedule 优化

AI 产生优化决策而非任意机器代码,同时支持人工调整 tile、查看资源约束和复现选中的方案。


优先级 3:从 NPUIR 获取 Memory/Pipeline Cost Feedback

不急着替换 PlanMemory,而是用它的结果反馈上游,决定是否需要调整 tile 或计算调度。


优先级 4:联合优化后端参数

前提是 ccec/毕昇有适合开放的配置接口,并且已有足够的 benchmarking 证据说明底层有可利用的性能空间。


优先级 5:端到端 AscendC 生成与专用模型训练

作为研究探索,只有在明确发现现有 IR 表达能力不足,或者积累了足够多的高质量优化轨迹之后,再扩大投入。

有一点需要特别强调:在第一期,你甚至不需要真正的“三个 AI”。

完全可以只做一个负责决策的 Agent,通过三个传统编译层获得合法性与性能反馈。等数据证明某层的决策确实值得学习,再把那层换成专门模型。

这比先定义三个模型、然后想办法让它们协同,成本小得多。

而且你提到的“方便 AI 手动调”是很值得保留的产品优势:最好让模型输出可编辑的结构化优化方案,开发者既能锁定某些 tile 决策,又能只让 AI 重搜 memory 或 compiler 参数。这会比纯黑盒代码生成更有利于调试、信任和实际采用。

还要单独考虑公司代码与模型调用的安全边界:任何内部 IR、算子实现、profiling 数据用于模型训练或外部服务前,都应先确认公司批准的使用方式。


九、最后给你的职业决策

我把建议进一步明确成三个情境:

建议主动接

领导支持分阶段验证;你能主导架构;有真实硬件和数据;允许传统算法作为基线与 fallback;目标可以根据证据收缩。


建议有条件接

领导更喜欢端到端,但愿意先做 2–3 个月 PoC,并接受不达标时收缩目标。这种情况下先争取技术验证负责人,不急于承诺完整平台。


不建议接完整责任

领导要求短期全面超过成熟后端,不接受阶段性交付,也没有足够测试资源;项目失败时责任却归你。

我个人最看好的项目名称和定位是:

Profile-Guided AI Kernel Co-optimization for Ascend NPU

而不是简单的 End-to-End AI Operator Compiler。

前一个名字背后的方向更明确:你用 AI、传统搜索和编译器技术解决真实的性能优化问题,并且把你的领域知识变成一个长期可演进的系统。

后一个名字看似更宏大,但很容易沦为生成代码、不断修 bug、反复调 prompt,却说不清到底比现有编译器强在哪里。

从你的职业背景来看,你的优势不在于比普通 LLM 工程师更懂 prompt,而是已经接触了 Cube/Vector、L0C 数据路径、NPUIR 与编译后端之间的真实约束。应该利用这些经验,让 AI 帮助搜索和选择,而不是绕开这些经验重新造编译器。

所以我的最终建议是:主动争取,但目标是拿下“AI 驱动的跨层算子优化系统”这个方向的技术 ownership;不要主动承担“一个模型重写编译器”这个目标。

最值得你追求的成果是:12 个月左右拿出一个在真实业务算子上、对成熟基线有可复现性能收益的跨层优化系统。哪怕最后没有发论文,只要有业务采用、严格实验和可归属的技术贡献,它也足以成为一段很有分量的简历经历。

このQ&Aを共有