調研視窗:過去 3 天(2026-09-25 07:00 ~ 2026-09-28 07:00,北京時間;含週末時段,上次出報為 09-25)。本期為週一三期合併視窗,與上一期無重疊。 信源:GitHub(tile-ai 組織 29 倉庫推送核查,視窗內 6 個倉庫有推送;TileOPs 35 筆合入與「Manifest 引數化簽名」整輪遷移、200 運算元釋出計劃開出;主倉 SM120 塊縮放 GEMM 兩筆合入與 FP8 向量複製提速實測;TileFoundry AtomSched 七筆合入;夜間快照 5 份全部零失敗;採用方 FlashQLA 修復與文件站更新)、Google News RSS 中英文多組查詢(走代理,零命中)、Hacker News、arXiv、社群倉庫核查


本期索引

  • 今日重點:TileOPs「Manifest 引數化簽名」整輪遷移完成——17 筆合入,200 運算元釋出計劃同日開出(09-26/09-27)
  • 一、核心專案進展
    • 1.1 主倉:SM120 塊縮放 GEMM 兩筆合入——碎片駐留支援與佈局衝突拒絕(09-26/09-27)
    • 1.2 主倉:FP8 向量複製保持打包,條件複製核心實測 1.42 倍(09-25)
    • 1.3 主倉:視窗內新開十筆,RNG 佇列與非同步暫存重構仍待審(09-25~09-27)
    • 1.4 TileOPs:注意力整編——SM90 預填充三連與解碼統一、遺留路徑移除(09-25~09-28)
    • 1.5 TileOPs:線性注意力、FFT 重寫與運算元雜項合入(09-25~09-28)
    • 1.6 TileOPs:測試與基準體系重構,manifest 一致性用例落地(09-26/09-27)
    • 1.7 TileFoundry:AtomSched——指令化張量排程與分階段記憶體分析七筆(09-25~09-28)
    • 1.8 夜間快照:視窗內 5 份全部零失敗,最新 1093 項正確性 + 1318 項基準(09-28 凌晨)
  • 二、多後端適配(昇騰 / MLIR 昇騰 / 沐曦 / 海光 / 摩爾執行緒)
    • 2.1 五倉視窗內零推送、零 PR 更新(09-28 核查)
  • 三、生態與採用方
    • 3.1 採用方:FlashQLA 修復 Blackwell 路徑核心同步(09-26)
    • 3.2 採用方與社群:TileKernels 無推送,SoftHier 擴充套件無視窗內更新(09-28 核查)
    • 3.3 版本節奏:主倉 v0.1.14 滿 26 天,TileRT 釋出頁滯後 4 天(09-28)
  • 四、社群、教程與活動
    • 4.1 文件站:TileOPs 文件站三連更跟進 Manifest 遷移;主倉文件站例行更新(09-26/09-27)
    • 4.2 媒體與學術側:Google News 零命中,arXiv 無新預印本(09-28 核查)
  • 五、趨勢觀察
    • 5.1 「先定契約」的制度化:從 roofline 自查到釋出計劃
    • 5.2 SM120 線的小步快跑與 lowering-only 測試策略
    • 5.3 注意力核心:從多路徑並行到單一譜系
    • 5.4 空白與風險點
  • 附:素材與核查說明

今日重點:TileOPs「Manifest 引數化簽名」整輪遷移完成——17 筆合入,200 運算元釋出計劃同日開出(09-26/09-27)

日期:2026-09-26、2026-09-27 來源:設計文件 PR(#2209)/ 簽名檢查與生成(#2212)/ 200 運算元跟蹤議題(#2271)/ 24 條 spec-only 條目(#2279)

09-26 08:02 至 09-27 11:57(北京時間),TileOPs 的 Manifest 系列 17 筆 PR 陸續合入,把運算元清單從 YAML 表格改寫為「引數化簽名」(parametric signature),並在同一視窗開出 200 運算元釋出計劃:

  • 設計(#2209,09-26 08:02 合入):每個運算元在 manifest 中寫成一條引數化簽名——forall 索引與種類、型別族與代數資料型別(ADT)、閉合表示式語言、讀寫效應、帶生成器的工作負載行、校驗清單;roofline 定價改為對 ix 上的內聯表示式求值;運算元設計文件、信任模型、測試指南與 agent 領域規則同步改寫(13 檔案、+633/-1193,刪多於增)。
  • 實現(#2212 至 #2227,09-26 全天至 09-27 中午):簽名檢查與運算元方法生成改為由清單推導(#2212);各運算元族逐批轉換——elementwise(#2216)、moe(#2218)、reduction/normalization(#2221)、linear_attention(#2222)、gemm/quantization/convolution(#2223)、attention(#2224)、mamba(#2214)、pool/scan/rope/sequence-modeling/FFT(#2217);收尾筆(#2225,09-27 10:32)把最後一批 gemm 條目轉換完畢,並刪除遺留 manifest 路徑;manifest YAML 遷入 spec/ 目錄、統一檔案命名(#2227)。配套行為變更:對樹內無核心宣告的裝置呼叫運算元,改為丟擲 OpNotAvailableError(#2219)。
  • 釋出計劃(09-27 晚間):跟蹤議題「TileOPs 200-operator release plan」(#2271)開出——目標 200 條 manifest 條目(按 implemented + spec-only 計數;只算新運算元,擴充套件與排程不計),附最壞情況推算表;同日 PR #2279 為計劃補上 24 條 spec-only 條目與新的 sampling 族,按該 PR 表述,倉庫計數徽章由 172/177 變為 172/201。24 條新條目覆蓋四個方向:量化族 9 條(INT8/INT4 逐張量、逐通道、逐塊與 SmoothQuant、FP8 逐塊)、取樣與投機解碼族 6 條(TopK/TopP/MinP/TopKTopP 掩碼、SamplingFromProbs、ChainSpeculativeSampling)、MLA 與 KV 快取族 7 條(MLA Paged/Varlen、PagedKVCache 寫入與收集、MergeAttentionStates、DeepSeekSparseAttentionPaged)、norm 1 條(FusedQKNormRope)與線性注意力 1 條(KimiDeltaAttention)。
  • 配套約束(#2279):新增 test_spec_reference.py 對 spec-only 條目逐工作負載執行參考實現並校驗輸入寫入與拒絕呼叫;建立不變數「implemented ⊆ public ⊆ manifest」;議題同步掛出 5 個 spec-only 補全追蹤(GQA 兩枚、GatedDeltaNet、DeltaNetInference、GLAInference)與 11 個核心覆蓋子任務(FP8 Q/K/V、RoPE、FP8 KV 快取、GDN 變體等)。

判讀:這是 TileOPs 近兩週「信任工程」(roofline 自查、公式糾錯之後)的制度性升級——先落契約、再落實現,檢查由生成器承接;200 運算元計劃把路線圖公開化,量化、投機解碼、MLA 與 KimiDeltaAttention 等國產大模型運算元方向隨之浮出水面。對使用方而言,運算元行為的「契約來源」從程式碼註釋變為可校驗的清單,接入前可先評估覆蓋缺口。


一、核心專案進展

1.1 主倉:SM120 塊縮放 GEMM 兩筆合入——碎片駐留支援與佈局衝突拒絕(09-26/09-27)

日期:2026-09-26、2026-09-27 來源:#3257/ #3284/ 缺陷單 #3283/ 先導需求單 #3256

  • #3257(09-26 23:39 合入,作者 sepcnt):為 SM120 塊縮放 GEMM 增加碎片(fragment)駐留 A 運算元與行主序縮放碎片支援,並修正奇數 per-warp MMA atom 網格(含 8x1 劃分)下的緊湊縮放行選擇;5 檔案 +230/-50;附帶碎片運算元/縮放、轉置 A、緊湊佈局與多 warp 策略的迴歸覆蓋。
  • #3284(09-27 19:18 合入,作者 LeiWang1999):修復 SFA 與 SFB 共用同一縮放碎片時靜默覆蓋佈局需求、導致縮放讀取錯誤的問題——佈局推斷改為先對比完整碎片佈局,衝突時報錯並提示改用獨立縮放碎片或共享記憶體縮放;新增 18 個 CUDA lowering 迴歸用例(三種 warp 策略、共享/碎片 A、別名與獨立縮放碎片、別名共享記憶體縮放),相關兩個測試檔案 138 項透過、21 項跳過。
  • 測試口徑說明:兩筆的測試均顯式 lower 到 sm_120a,不做裝置編譯(SM120 硬體數值執行未在本批測試覆蓋;#3284 明確標註)。
  • 背景:SM120 為 Blackwell 的消費/工作站檔(GeForce RTX 50 系、RTX PRO 系列);該線自 09-16 的 mxf4nvf4 塊縮放 MMA PR(#3081,仍開)延續至今,視窗內再添兩筆跟進(#3286、#3290,見 1.3)。

1.2 主倉:FP8 向量複製保持打包,條件複製核心實測 1.42 倍(09-25)

日期:2026-09-25 來源:#3276

  • #3276(09-25 14:17 合入,作者 LeiWang1999;上期以「評審中」記錄):為 CUDA FP8 向量型別(E4M3/E5M2/E8M0,2/4/8/16/32 lane)定義打包複製構造與賦值——經匹配的整數載體(uint16/uint32/uint2/uint4/ulonglong4)整物件搬運。動機:NVCC 會把預設逐成員複製 lower 成冗餘 unpack/repack 指令,即使外圍訪存已經向量化;修復不引入任何程式碼生成特例,只改標頭檔案。
  • 實測(B300 SXM6,sm_103a,NVCC 13.1):E4M3 條件複製核心 44.07 → 31.07 微秒(1.42 倍);暫存器 77 → 71;轉換工作負載中移除 80 條 PRMT、16 條 SHF 與 32 條打包相關 LOP3,E8M0 的 PRMT 從 241 降至 155。計時採用 do_bench(warmup 100 / rep 500,五次交替取中位數),靜態 SASS 對比與計時結果分開呈現。

1.3 主倉:視窗內新開十筆,RNG 佇列與非同步暫存重構仍待審(09-25~09-27)

日期:2026-09-25 ~ 2026-09-27 來源:#3286/ #3290/ #3285/ #3288/ #3280/ 主倉 PR 佇列

  • 視窗內新開 10 筆:SM120 兩筆(#3286 暫存器 A 的 K 原子展開與縮放逐原子載入;#3290 W4A16 NVFP4 解碼示例,草案)、CUDA/編譯器四筆(#3285 NVRTC 裝置編譯支援,TVM-FFI;#3288 warp 特化階段保留直到被移動的非 TMA 複製消費——修復 #3287;#3282 TIRX 源區間視覺化工具;#3291 用 z3 推斷滿足約束的全部執行緒)、平臺兩筆(#3281 CPU/Windows JIT 共享庫編譯與匯出修復;#3289 import C 原始檔補換行)、修復一筆(#3280 deepseek_v32 topk 選擇器緩衝溢位)。
  • 佇列持續項:RNG 四筆(#3241~#3244)自 09-24 起無更新仍開;#3275(SIMT im2col 提前暴露)與 #3279(非同步資料暫存統一與傳輸感知降低)待審未動;#3267(魔法除法)、#3247(TileIR 後端,草案)未更新。
  • 缺陷側:視窗內新開 2 單——#3283(SM120 縮放碎片衝突,已由 #3284 修復關閉)與 #3287(warp 特化流水線過早釋放階段),後者已由 #3288 跟進。

1.4 TileOPs:注意力整編——SM90 預填充三連與解碼統一、遺留路徑移除(09-25~09-28)

日期:2026-09-25 ~ 2026-09-28 來源:#2178/ #2208/ #2198/ #2207/ #2202/ #2197/ #2273/ #2281

  • SM90 varlen GQA 預填充三連:warp 特化預填充核心合入(#2178,09-25 19:12)→ 改造為持久核心(#2208,09-26 00:50)→ D64 頭維支援(#2198,09-27 23:19);同期恢復滑動視窗 varlen 核心的 TMA 路徑(#2207,09-25 18:37)。
  • 解碼側收斂:分頁 GQA 解碼遷移到統一運算元並移除遺留解碼運算元(#2202,09-27 21:32);移除遺留 varlen GQA 路徑(#2197,09-27 20:50)。
  • 正確性修補:causal paged decode 對齊快取末端、非 causal NSA 在序列末端截斷、FusedTopK 按評分定價(#2273,09-27 21:38)。
  • 新開跟進:MHA 反向的 SM90 warp 特化核心服務化與 FA3 反向單獨計時(#2281,09-28 凌晨草案)——反向路徑進入同一核心譜系的前奏。

1.5 TileOPs:線性注意力、FFT 重寫與運算元雜項合入(09-25~09-28)

日期:2026-09-25 ~ 2026-09-28 來源:#2199/ #2196/ #2187/ #2040/ #2283/ #2242/ #2240/ #2280

  • 線性注意力:GLA 解碼接入 GLAInferenceFwdOp(#2199,09-28 06:20 合入,H200 稠密解碼服務化);移除無歸屬的 Gated DeltaNet 核心(#2196,09-27 22:57)——延續上週「整編」路線。
  • FFT:#2187 以計算式核心替換 LUT 實現、2 的冪覆蓋擴至 2^28(09-25 13:03 合入;上期「評審中」條目收口)。
  • GEMM 與元素級:GemmFp8FwdOp 支援 1D2D FP8 塊縮放(#2040,09-28 06:19;#2283 跟進校準按 calibration_key 匹配);元素級 NaN 傳播去除 clamp 家族減速並恢復二進位制基準形狀(#2242);float32 reduction/softmax 改單核心讀取修正(#2240)。
  • 架構維護:Engram 解碼編譯邊界移至運算元層(#2280,09-28 06:10)。

1.6 TileOPs:測試與基準體系重構,manifest 一致性用例落地(09-26/09-27)

日期:2026-09-26、2026-09-27 來源:#2239/ #2226/ #2243/ #2244/ #2213/ #2215

  • 結構重整:合併碎片化的 tests/ops 與 workloads 檔案(#2239);合併碎片化基準檔案與單匯入模組(#2226);測試與工作負載裝置改為單一來源(#2243);樹內核心測試統一標記、基準獲得目標與裝置選項(#2244);op 測試停止匯入 benchmarks、統一標準容差、trust-model.md 改名 layer-boundaries(#2213)。
  • 契約測試:從 manifest 呼叫構建目標一致性用例(#2215)——與今日重點的 Manifest 遷移配套。
  • 說明:本組重構是夜間快照用例結構變化的直接背景;快照流程保持零失敗(見 1.8)。

1.7 TileFoundry:AtomSched——指令化張量排程與分階段記憶體分析七筆(09-25~09-28)

日期:2026-09-25 ~ 2026-09-28 來源:#189/ #191/ #187/ #186

  • 七筆合入(#185~#191):分片排列宣告(#185)、AtomSched 操作宣告(#186)、CUDA MMA 原子與非同步複製指令宣告(#187)、佈局結構化正則匹配(#188)、指令化張量排程(#189)、TIR 運算元契約(#190)、分階段記憶體分配模型(#191)。
  • #189 要點(09-27 21:08 合入):新增 tf.schedule 操作(五個作者引數:operands/op/repeat/order/buffers)與 21 個排程夾具;運算元契約與結果型別從所選指令推導;按層級頻寬、MMA 工作量與緩衝駐留計費;求值缺失處理器時 fail-closed(不回退恆等)。規模 64 檔案 +3445/-220。
  • #191 要點(09-28 03:31 合入):完成 AtomSched 分析遷移 stage 3——迴圈感知駐留、區域級暫存器峰值、帶地址的全域性/共享記憶體放置求解(要求別名強制成立);21/21 共享記憶體黃金一致;原始碼模式驗證 1241 透過、10 跳過。

1.8 夜間快照:視窗內 5 份全部零失敗,最新 1093 項正確性 + 1318 項基準(09-28 凌晨)

日期:2026-09-25 ~ 2026-09-28 來源:最新快照提交/ 快照環境後設資料

  • 視窗內 5 次快照(09-25 晚至 09-28 凌晨各次);最新一份 dab9b1ab(對應 TileOPs ee3ebaf247,即 #2198 合入點):正確性 1093 項、跳過 2 項、零失敗零錯誤;基準 1318 項、跳過 1 項、零失敗零錯誤。
  • 環境(meta.json):NVIDIA H200,CUDA 13.2 / 驅動 595.71.05,tilelang 0.1.11+cu132(git afcebed1),torch 2.13.0+cu132,功率上限 700W。

二、多後端適配(昇騰 / MLIR 昇騰 / 沐曦 / 海光 / 摩爾執行緒)

2.1 五倉視窗內零推送、零 PR 更新(09-28 核查)

日期:2026-09-28 來源:tilelang-ascend/ tilelang-metax/ tilelang-hygon/ tilelang-musa/ tilelang-mlir-ascend

  • 3 天視窗內,五倉均無推送、無 PR 更新:昇騰(最近推送 09-24)、MLIR 昇騰(09-24)、沐曦(09-24)、海光(09-24)、摩爾執行緒(09-17)——逐倉核對最近 PR 列表,視窗內更新數均為 0。
  • 對照上期:昇騰文件核驗佇列無新合入;沐曦子 warp 守衛(#159)、海光 #12 之後無新筆;摩爾執行緒自 09-17 起連續 11 天靜默。視窗內硬體向的實質進展集中在主倉 NVIDIA 線(SM120,見 1.1),四家國產適配本期均無動態。

三、生態與採用方

3.1 採用方:FlashQLA 修復 Blackwell 路徑核心同步(09-26)

日期:2026-09-26 來源:FlashQLA 修復合入/ FlashQLA 倉庫

  • Qwen 的 FlashQLA(基於 TileLang 的 GDN 線性注意力核心庫,支援 SM90/100/103/120/121)合入一筆修復:prepare_h 與 fused_fwd 核心在 Blackwell 上補充同步點(3 檔案 +21/-5,由 Chengruidong Zhang 提交)。這是採用方側在 Blackwell 平臺持續打磨的最新動作;按倉庫自述,其 v0.1.2 已為 SM120 提供前向支援並作為 flash-linear-attention 的 GDN 後端。

3.2 採用方與社群:TileKernels 無推送,SoftHier 擴充套件無視窗內更新(09-28 核查)

日期:2026-09-28 來源:TileKernels 倉庫/ tilelang-softhier 倉庫

  • DeepSeek 的 TileKernels 自 2026-04 起無推送;ETH 蘇黎世的 TileLang SoftHier 擴充套件(面向 RISC-V 眾核加速器)最近更新為 09-24(上期已報),視窗內無新提交;TVM-TileLang cookbook 等社群材料無新內容。

3.3 版本節奏:主倉 v0.1.14 滿 26 天,TileRT 釋出頁滯後 4 天(09-28)

日期:2026-09-28 來源:tilelang 釋出頁/ TileRT 釋出頁/ TileFoundry 釋出頁

  • 主倉 tilelang:v0.1.14(09-02)已滿 26 天無新版本;TileOPs 無獨立釋出;TileFoundry 最新仍為 v0.0.2(09-10,18 天)。
  • TileRT:v0.1.6 釋出 PR 於 09-24 合入,但 GitHub Releases 與標籤仍停在 v0.1.5.post2——公開版本滯後已 4 天,且視窗內該倉庫無新提交。

四、社群、教程與活動

4.1 文件站:TileOPs 文件站三連更跟進 Manifest 遷移;主倉文件站例行更新(09-26/09-27)

日期:2026-09-26、2026-09-27 來源:TileOPs 文件站/ tilelang 文件站

  • TileOPs 文件站三筆:trust-model.md 改名跟進(#52)、Manifest 遷移跟進(#53)、基準頁按 workload 分組並保持 manifest 順序(#54)——文件側與上游契約重構同步。
  • 主倉文件站一筆例行 Update docs(09-27 凌晨),自動化再生成,無內容級變化。

4.2 媒體與學術側:Google News 零命中,arXiv 無新預印本(09-28 核查)

日期:2026-09-28 來源:Google News/ Hacker News/ arXiv

  • Google News RSS 中英文多組查詢(走代理)72 小時視窗內零命中;Hacker News 視窗條目與本主題無關;arXiv 全庫檢索「tilelang」最新一篇仍是 07-24 的 TileSight(瓦片中心 GPU 效能模型),視窗內無新預印本。

五、趨勢觀察

5.1 「先定契約」的制度化:從 roofline 自查到釋出計劃

三步路徑在本視窗完整呈現:09-20 的 roofline 清單自查(哪些公式從未被執行)→ 09-26/09-27 的引數化簽名整輪遷移(契約成為檢查與生成的唯一來源)→ 09-27 的 200 運算元釋出計劃(spec-only 先落契約、計數與覆蓋公開追蹤)。工程含義:TileOPs 從「實現導向」轉向「契約導向」的釋出治理——先能用清單回答「有什麼、缺什麼、多久合得上」,版本規劃才有可能。

5.2 SM120 線的小步快跑與 lowering-only 測試策略

需求單(#3256)→ 補丁(#3257)→ 加固(#3283/#3284)→ 跟進(#3286/#3290),一週內完成四環;且迴歸測試以顯式 lower 到 sm_120a 的方式在無硬體條件下執行。對消費級/工作站 Blackwell 的塊縮放低精度 GEMM 覆蓋開始成體系,這與資料中心線(B300/sm_103a 的 FP8 提速實測)形成雙軌。

5.3 注意力核心:從多路徑並行到單一譜系

SM90 varlen GQA 預填充三連(含持久化改造)、分頁解碼統一、遺留 varlen 路徑移除——TileOPs 注意力層在一個視窗內完成「立新 + 收舊」;線性注意力(GLA/GDN)同期整編,反向路徑(MHA backward)已開出跟進草案。配合 200 運算元計劃中 MLA 與 DeepSeek 稀疏注意力的條目,注意力運算元譜系向「每運算元一條規範路徑」收斂的意圖明顯。

5.4 空白與風險點

其一,國產後端四家與 MLIR 昇騰視窗內零活動,摩爾執行緒已 11 天靜默,熱度不均未改;其二,TileRT 釋出頁滯後於釋出 PR 達 4 天,版本跟蹤仍存盲區;其三,主倉 RNG 佇列 4 天無更新、大單(TileIR 後端 #3247、非同步暫存 #3279)慢審格局持續;其四,主倉 72 小時合入 3 筆(含週末),相對新開 10 筆,佇列消化能力待觀察。


附:素材與核查說明

信源 核查結果
tile-ai 組織(29 倉庫) 視窗內 6 個倉庫有推送:tilelang、TileOPs、TileOPs-nightly、TileFoundry、tilelang.github.io、TileOPs.github.io
主倉 tilelang 3 筆合入(#3276、#3257、#3284);新開 10 筆;缺陷單 #3283 關閉、#3287 新開;RNG 佇列與 #3275、#3279、#3267、#3247 仍開
TileOPs 35 筆合入(含 Manifest 系列 17 筆);30 筆新開;#2210、#2211 關閉未合入
TileRT 釋出頁與標籤仍停在 v0.1.5.post2(v0.1.6 PR 已合入 4 天);視窗內無提交
TileOPs-nightly 5 份快照:最新 dab9b1ab 正確性 1093 項零失敗零錯誤(跳過 2);基準 1318 項零失敗零錯誤(跳過 1)
TileFoundry 7 筆合入(#185~#191)
國產後端五倉 tilelang-ascend / tilelang-metax / tilelang-hygon / tilelang-musa / tilelang-mlir-ascend:視窗內零推送、零 PR 更新
採用方與社群 FlashQLA 合入 Blackwell 同步修復;TileKernels 無推送;SoftHier 擴充套件無視窗內更新
Google News / Hacker News / arXiv 中英文查詢零命中;HN 無相關條目;arXiv 無新預印本(最新仍為 07-24 TileSight)

完整信源清單

https://github.com/tile-ai/TileOPs/pull/2221>