調研視窗:2026-11-10 07:00 ~ 2026-11-11 07:00(北京時間,24 小時;上一期截點為 11-10 07:00)。

信源:GitHub tile-ai 組織逐倉核查(30 倉庫,視窗內推送 7 個,其中 3 個是文件站、夜間快照與 gh-pages 的自動推送)+ 合入與在審真值檢索(視窗內合入 9 筆、在審更新 42 筆、新開 issue 10 條)+ 主分支逐筆提交核查(tilelang 3、TileOPs 4、tilelang-musa 1)+ 釋出頁核查(tilelang / TileOPs / TileFoundry / tilelang-musa 四倉,視窗內無新版本;0.1.16 版本號 PR 仍掛起)+ 採用方兩倉 + 第三方倉逐筆核查(TileLang–Weft 系列 40 筆、Hexagon 後端倉)+ Google News 中英文三組查詢(走代理)+ Hacker News + arXiv + 鄰近技術動態(Meta TLX 釋出)。RISC-V 四源專項巡檢 24 小時無變化。


本期索引

  • 今日重點:合入從 21 筆回落到 9 筆,主倉轉向 CUDA 指令級原語;TileOPs 四筆全在 DeltaNet 的共享記憶體預算;0.1.16 版本號 PR 仍掛起

  • 一、核心專案進展
    • 1.1 主線:CUDA 補 L2 預取指令與六檔驅逐優先順序,非預設優先順序要求 SM80 以上(11-10)
    • 1.2 主線:NaN 傳播的對稱 clamp 降到單條 min.NaN.xorsign.abs(11-10)
    • 1.3 主線:CI 不再因 PR 標籤變更重啟全量流程,ROCm 看門狗提到工作流超時之上(11-11)
    • 1.4 主線:0.1.16 版本號 PR 仍掛起,視窗內無新 tag(11-10)
  • 二、多後端適配
    • 2.1 昇騰:host-mapped 緩衝引數在審,14 個檔案新增 529 行(11-10)
    • 2.2 昇騰:每日測試 3060 項全過,快取核心的 adapter 路徑修復在審(11-10)
    • 2.3 沐曦:README 安裝段收斂為一組命令,重複步驟與版本檢查命令刪除(11-10)
    • 2.4 海光:分散式三件套融合運算元在審,Block-Push 與 Block-Pull 兩條通訊路徑(11-10)
    • 2.5 Metal:SIMD-group 目的端越界寫在 M4 上覆現,修復以可證明的足跡為前提(11-10)
    • 2.6 mlir-ascend:harness 知識庫加固合入 harness 分支,Ascend 950 AscendC 收為唯一 PR 門禁(11-10)
  • 二·五、RISC-V 後端與社群(專項觀察)
    • 2.7 四源巡檢:連續第四個視窗無變化,TVM 與 MLIR 兩條線均停在原引用(11-11)
    • 2.8 新增觀察:TileLang–Weft 的 CPU/RVV 線一日 40 筆提交,553 例基準全過數值檢查(11-10)
  • 三、生態與採用方
    • 3.1 TileOPs:33 至 40 token 的 W4A8 呼叫改走 40 token 解碼瓦片,表外網格快 4.3% 至 11.3%(11-10)
    • 3.2 TileOPs:DeltaNet 前向按裝置共享記憶體預算分流,SM89 重獲 chunk 128 通路(11-10)
    • 3.3 TileOPs:反向 w/u 程式複用緩衝,114944 位元組壓到 98560 位元組(11-10)
    • 3.4 TileOPs:測試按 cluster 與共享記憶體事實分流,SM89 失敗從 9 條降到 3 條(11-10)
    • 3.5 TileOPs:paged GQA 拆分計數以視窗內 key 瓦片為上界,在審(11-10)
    • 3.6 TileFoundry:一日六條分析器與規範缺口 issue,其中兩筆由 TileOPs 作者跨倉提出(11-10)
    • 3.7 第三方:Hexagon NPU 後端從空殼長成可跑端側模型的分支,LFM2-1.2B 全程在 NPU 上跑通(11-10)
  • 四、社群、教程與活動
    • 4.1 新聞側:中英文三組查詢視窗內零命中,HN 與 arXiv 同樣無相關條目(11-10)
    • 4.2 鄰近動向:Meta 釋出 TLX 博文,Triton 的低層擴充套件已在三條生產負載上執行(11-10)
    • 4.3 新 issue:PTO 多 Cube/Vector 區域報重複物理段,測試日報口徑給出 3060 項全過(11-10)
  • 五、趨勢觀察

今日重點

這個視窗只有 9 筆合入,不到上一期 21 筆的一半,但結構完全換了。主倉貢獻 3 筆,主題是 CUDA 指令級原語:#3490 把 L1 與 L2 預取指令連同六檔驅逐優先順序做進全域性載入模板,#3605 把「NaN 傳播的對稱鉗位」直接降到一條 min.NaN.xorsign.abs,#3911 收掉 PR 標籤變更觸發的全量 CI 重啟。這三筆都不為某個運算元上分,而是給 kernel 作者補可用的底層原語與更省的反饋迴路。

第二件事是 TileOPs 的 4 筆全在 DeltaNet,且全部圍繞同一個物理約束:SM89 只有 101376 位元組共享記憶體。#2891 讓前向在 chunk 128、head 維 128 時,先看 state walk 的輸出趟(dim_v 64 需 114688、dim_v 128 需 131072)是否裝得下,裝不下就走只需 98560 位元組的 recurrence;#2890 給反向的 w/u 程式加 reuse 開關,在相等 head 維下讓 S、du、Aw 在最後一次讀之後接管 dh、v_new、Au 的緩衝,把 114944 壓回 98560;#2889 把只在 SM90 cluster 下成立的 LayerNorm split 用例與兩個必須 196608 位元組的線性注意力用例如實標記,SM89 上的失敗數從 9 條降到 3 條。三筆合起來是一條完整的「預算—分流—測試口徑」閉環。

第三件事是版本仍然掛著。#3887(0.1.16 版本號)自 11-09 03:07 之後沒有任何更新,仍未合併,tag 最新還是 09-30 的 v0.1.15。真正值得記的是 #3911 裡順手提到的一處:ROCm runner 的看門狗被提到工作流超時之上,此前 AMD 那條腿的作業會在 40 分鐘被砍掉——這解釋了為什麼 AMD 側的 PR 反饋總比 NVIDIA 慢一拍。

第四件事在四源之外。RISC-V 專項巡檢的四個上游仍是零變化,但第三方 Tianchen-ai/tilelang-weft(上游 fork,加 Weft CPU 程式設計模型,RISC-V 與 x86 共用一套物理 pass)在視窗內提交 17 筆,其基準倉 tilelang-weft-bench 再提交 23 筆,覆蓋 SG2044、K1、K3 A100 與 x86 共 553 例運算元用例、543 例外部對照。數值檢查 553/553 全過,但「快於參考實現」的只有 41 例,SG2044 上中位原生加速比 0.0580 倍——這是目前能看到的最誠實的 RISC-V CPU 側差距量化。

來源:https://github.com/tile-ai/tilelang/pull/3490 、 https://github.com/tile-ai/TileOPs/pull/2891 、 https://github.com/tile-ai/TileOPs/pull/2890 、 https://github.com/tile-ai/tilelang/pull/3911 、 https://github.com/Tianchen-ai/tilelang-weft


一、核心專案進展

1.1 主線:CUDA 補 L2 預取指令與六檔驅逐優先順序,非預設優先順序要求 SM80 以上(#3490)

#3490(6 個檔案,+185/−1)補齊了此前缺失的三類預取內建:L1 預取、uniform L1 預取、L2 預取,同時把「驅逐優先順序」做成一等引數 EvictPriority,取值為預設、普通驅逐、優先驅逐、最後驅逐、不改變、不分配六檔。全域性載入模板隨之改造:原先按固定寬度寫死的載入封裝被替換為模板化 API,可指定非一致(non-coherent)載入、L1 驅逐優先順序,以及 L2 預取的位元組數。

行為邊界寫得很清楚:預設優先順序的 L2 預取走普通全域性或區域性指令,其餘優先順序對映到 evict_normal、evict_last,並要求計算能力 8.0 以上;低於該門檻的裝置上這些組合不成立。對 kernel 作者的意義是,過去要拿到 prefetch.global.L2::evict_last 這類行為只能自己塞內聯彙編,現在可以在 TileLang 原始碼裡宣告,編譯器按目標架構選路。

來源:https://github.com/tile-ai/tilelang/pull/3490

1.2 主線:NaN 傳播的對稱 clamp 降到單條 min.NaN.xorsign.abs(#3605)

#3605(7 個檔案,+203/−1)新增 T.clamp_symmetric(x, limit),在 CUDA SM86 及以上把 FP16、BF16、FP32 三種運算元統一鉗到 [-limit, limit],保留帶符號零與次正規數;任一運算元為 NaN 時返回規範 NaN,原 NaN 的符號與載荷不保留。非正的數值上限不在 API 契約內,既有 T.clamp 不受影響。

實現上直接降到 min.NaN.xorsign.abs.*,每個標量或每對 FP16/BF16 一次鉗位指令,向量輸入走既有的可向量化運算元註冊與 CUDA 打包發射路徑,不引入執行時檢查。驗證口徑給得很硬:語言與程式碼生成兩套測試 86 透過 2 跳過;在 CUDA 13.1 下對 SM86 與 SM100 做 SASS 檢查,確認 FMNMX.NAN.XORSIGN、HMNMX2.NAN.XORSIGN、HMNMX2.BF16_V2.NAN.XORSIGN 三種標量與打包形態都如期出現。這類改動的價值在數值穩定性:量化推理裡鉗位丟 NaN 是常見靜默錯誤來源,把語義交給一條硬體指令後,NaN 不再被悄悄變成邊界值。

來源:https://github.com/tile-ai/tilelang/pull/3605

1.3 主線:CI 不再因 PR 標籤變更重啟全量流程,ROCm 看門狗提到工作流超時之上(#3911)

#3911(1 個檔案,+2/−2)只改觸發條件,但問題描述值得記。主 CI 此前對 labeled 與 unlabeled 兩類事件都觸發,而 CodeRabbit 會給新開的 PR 一次性打多個標籤,於是同一個 PR 在幾秒內產生多次完全相同的全量 CI 執行;共享併發組再把這些執行逐個取消,只留最後一次。

實證在 #3908:四個標籤同一時間戳落下,產生四次 CI,原始執行與前三次替換全部被取消,而沒有任何 CI 作業讀取 PR 標籤,這些重啟不提供任何覆蓋。改法是把這兩類事件從觸發器中移除,保留 opened、synchronize、reopened、ready_for_review 與手動觸發,併發策略繼續負責取消過期的頭部更新。同一筆改動還把 ROCm runner 的看門狗閾值提到工作流超時之上,使 AMD 作業不再在 40 分鐘被強殺。

來源:https://github.com/tile-ai/tilelang/pull/3911

1.4 主線:0.1.16 版本號 PR 仍掛起,視窗內無新 tag(11-10)

#3887([Release] Bump version to 0.1.16)最後更新停在 11-09 03:07,視窗內無任何推進,仍未合併。四個倉的釋出頁在視窗內都沒有新版本:tilelang 仍是 09-30 的 v0.1.15(tag 序列 v0.1.15 至 v0.1.11),TileOPs 是 10-27 的 v0.1.0,TileFoundry 是 10-25 的 v0.0.4rc1,tilelang-musa 是 09-30 的 v0.1.15+musa.1。

與版本相關的另一處觀察在結構側:#3490、#3605 兩筆 CUDA 原語直接進主分支,#3903(程序並行編譯)、#3897(CPU 側 cumsum/cummax)仍在審,說明 0.1.16 的功能面還在增厚而不是收口。版本號一旦落地,下游要同時核對主倉 tag 與後端倉的 musa.*、ascendc_pto 兩條分支線。

來源:https://github.com/tile-ai/tilelang/pull/3887

二、多後端適配

2.1 昇騰:host-mapped 緩衝引數在審,14 個檔案新增 529 行(#3909)

#3909 把 #3802 在 CUDA 側建立的顯式 host-mapped 緩衝契約擴充套件到昇騰:此前 Ascend kernel 一律拒絕 CPU 張量引數,即使其儲存在 NPU 上可見,呼叫方只能關掉張量校驗繞過去。改動透過同一套 T.annotate_host_mapped_buffers(...) API 宣告,Cython 與 TVM-FFI 兩條繫結都用 aclrtHostGetDevicePointer 校驗對映,並把裝置可見地址傳下去,同時保留 dtype、形狀、步長與執行裝置三項檢查;C++ 繫結保持原簽名,按既有裝置型別選擇執行時查詢。Cython 側預設仍走 CUDA 解析器,只有昇騰提供可選解析器。

這與前一視窗在審的 #3892(torch.compile 支援)、#3893(L0C 累加器直接反量化)、#3891(L2 刷寫 API)屬同一條線:昇騰側當前補的是介面與語義一致性,不是運算元名單。

來源:https://github.com/tile-ai/tilelang/pull/3909

2.2 昇騰:每日測試 3060 項全過,快取核心的 adapter 路徑修復在審(11-10)

tilelang-ascend 側,視窗內新開的兩條記錄都在講同一件事——迴歸面在擴大。#2001 的每日測試日報記錄 11-10 11:38 的一次執行:3060 項全部透過,透過率 100%。#2002([Bugfix] Restore adapter library path when loading cached kernels)在審,修的是從快取載入核心時 adapter 庫路徑未被恢復的問題,屬「同一核心第一次跑對、第二次從快取載入就找不到庫」這類只在快取命中路徑上出現的問題。

對照前幾期:該倉預設分支 ascendc_pto 的最新合入仍是 11-06 的七筆,11-09 與 11-10 兩個視窗都沒有新合入,在審佇列持續增長(本期又有 #2000 位運算 PTO uint8 包裝、#1998 複製測試核心自動同步等更新)。測試規模上到 3060 項而合入停滯,說明瓶頸確實在評審而不在開發。

來源:https://github.com/tile-ai/tilelang-ascend/issues/2001 、 https://github.com/tile-ai/tilelang-ascend/pull/2002

2.3 沐曦:README 安裝段收斂為一組命令,重複步驟與版本檢查命令刪除(#12)

#12(1 個檔案,+10/−49)是文件淨刪改動。問題很具體:README 裡重複出現的單包安裝命令會讓使用者只裝 TileLang-MUSA 而漏掉 TVM FFI 或環境配置。改法是在安裝段只保留一組命令,同時安裝 TileLang-MUSA v0.1.12+musa.5 與 TVM FFI,並在命令前後分別鏈到 MUSA 安裝說明與文件總覽;Latest News 與 TileOPs 兩段統一指向安裝文件,刪掉重複命令、獨立的原始碼安裝步驟與版本檢查命令。GEMM 示例逐字未動。

口徑提醒仍成立:文件裡的 v0.1.12+musa.5 是 SDK 配套渠道的版本號,開源 release 頁最新 tag 是 09-30 的 v0.1.15+musa.1,兩者不能互相替代。

來源:https://github.com/tile-ai/tilelang-musa/pull/12

2.4 海光:分散式三件套融合運算元在審,Block-Push 與 Block-Pull 兩條通訊路徑(#36)

#36(6 個檔案,+2022/−0)在同一天內更新,一次性加入三個計算通訊融合運算元:Block-Push 版本的 GEMM + AllReduce、Block-Push 版本的 GEMM + ReduceScatter、Block-Pull 版本的 AllGather + GEMM,效能資料與實現說明寫在 README 裡。這是海光倉第一次出現分散式方向的成規模提交——此前該倉的工作集中在單卡側(11-06 的 scaled cast #33 與 HCU reduce lane swap 佈局推導 #34)。

三條運算元對應兩種通訊發起方式:Push 由計算側主動把結果推給對端,Pull 由計算側去拉對端的 allgather 結果。選擇哪條路徑取決於通訊域大小與重疊視窗,README 裡給了對照資料,適合按拓撲選型。該 PR 仍為開啟狀態,尚未合入。

來源:https://github.com/tile-ai/tilelang-hygon/pull/36

2.5 Metal:SIMD-group 目的端越界寫在 M4 上覆現,修復以可證明的足跡為前提(11-10)

#3907 報的是一處靜默越界:把一個顯式的 8x8 metal.simdgroup 矩陣複製到 8x1 輸出時,編譯器發射的是行步長為 1 的完整 simdgroup_store,邏輯輸出正確,但會覆蓋輸出之後的七個元素。復現環境寫得很完整——Apple M4、tvm_ffi、關閉編譯快取,並用額外的後備儲存作哨兵檢出越界。上游基線是 72d986e1。

修復 PR #3912(2 個檔案,+116/−1)的做法不是加執行時檢查,而是在發射每條 SIMD-group 儲存之前,要求算術分析器證明其完整 8x8 足跡同時落在目的緩衝與請求的目的區域內;證明不了就在下沉期丟擲可讀的 ValueError,而末元素恰好落在邊界的整瓦片仍然支援。同視窗還有 #3906([Metal] Resolve the auto execution backend to tvm_ffi)在審,屬同一後端的執行路徑收斂。Metal 側本月已經是第三次出現在視窗內,從補運算元轉向補正確性邊界,通常意味著開始有人真在 Apple 晶片上跑非玩具形狀。

來源:https://github.com/tile-ai/tilelang/issues/3907 、 https://github.com/tile-ai/tilelang/pull/3912 、 https://github.com/tile-ai/tilelang/pull/3906

2.6 mlir-ascend:harness 知識庫加固合入 harness 分支,Ascend 950 AscendC 收為唯一 PR 門禁(11-10)

#217(4 個檔案,+140/−16)合入的是 harness 分支而非 main,這一點需要寫明——該倉預設分支為 main,本視窗 main 上零提交。改動內容是讓探索過程中積累的知識可靠留存:記錄 hot 知識時同時儲存證據快照,避免後續更新測試報告反過來使歷史記錄失效;禁止同一個審批編號批准不同知識條目;cooled 知識儲存在臨時工作區之外;知識目錄出現損壞檔案時提示並允許繼續檢視其他正常知識,但若無法確認審批編號是否重複,則暫停生成新的 cooled 知識;統一「不適用」欄位的填寫方式,並區分待稽核知識與程式碼候選的命名。驗證口徑為 25 項 CPU 測試透過。

在審側 #222([CI][Ascend] Make Ascend 950 AscendC the only PR 門禁)值得記一筆:把 PR 門禁收斂到 Ascend 950 的 AscendC 一條線,意味著該倉不再為舊代昇騰維持並行門禁。若合入,昇騰 950 將成為 mlir-ascend 的唯一準入基線。

來源:https://github.com/tile-ai/tilelang-mlir-ascend/pull/217 、 https://github.com/tile-ai/tilelang-mlir-ascend/pull/222

二·五、RISC-V 後端與社群(專項觀察)

2.7 四源巡檢:連續第四個視窗無變化,TVM 與 MLIR 兩條線均停在原引用(11-11)

按既定四源逐一比對引用,24 小時視窗內全部無變化:

  • kubuds/tilelang-riscv-kubuds(TVM 後端路線)的兩個 kubuds- 分支停在 kubuds-riscv-karen fc62939、kubuds-riscv-mahiru 33e0c89,main 僅為上游同步;
  • RuyiAI-Stack/tilelang-riscv(MLIR 改寫路線,target="riscv")main 停在 57c548c;
  • TongmingLAIC/tilelang-riscv(社群索引頁)main 停在 4499c2a,表內專案無增刪;
  • TongmingLAIC/tilelang-tpu(算能 SOPHGO TPU)main 停在 303759f,feature/sg2260e-rv-support 停在 122bc59,其餘分支引用不變。

這已是連續第四個視窗(11-07、11-09、11-10、11-11 留檔)無變化。按既定口徑,指令碼輸出為空記為「無變化」,不視為採集失敗。

來源:GitHub 四源逐引用比對(視窗內無變化),無單條落點連結。

2.8 新增觀察:TileLang–Weft 的 CPU/RVV 線一日 40 筆提交,553 例基準全過數值檢查(11-10)

四源之外出現了一條更活躍的 RISC-V 線,本期首次具備可寫的事實量。Tianchen-ai/tilelang-weft 是上游 tilelang v0.1.15 的 fork,加入 Weft CPU 程式設計模型:在 TileLang 原生 AST 上增加 Encoding 欄位與位層、邏輯軸與瓦片域、Level 與分階段快照、有限位寬的分組 partials 與顯式轉換、以及每迴圈流水深度五類作者資訊,再由一套共享物理 pass 同時覆蓋 RISC-V 與 x86——同一份原始碼構造分別進入 RVV/IME 或 x86 SIMD/AMX 的落地路徑。視窗內該倉提交 17 筆,基準倉 tilelang-weft-bench 再提交 23 筆,集中在打包行解碼(Q1/Q2/Q4_K/Q6_K/IQ3/IQ4)、IME1/IME2 記錄級收縮、執行時 K 維歸約與動態 rotary 遍歷。

基準結果值得原樣引用:150 個運算元 ID 構成 553 個平臺用例(SG2044 133、K1 137、K3 A100 136、x86 147),543 例有可對照的外部參考實現。數值檢查 553/553 全過,但「快於參考實現」的只有 41 例,SG2044 的中位原生加速比 0.0580 倍、K1 為 0.1143 倍、K3 A100 為 0.1074 倍,x86 側未在該表列出。這條資料線的價值不在分數,而在於它把「TileLang 寫 RISC-V CPU 運算元,離手寫原生庫還差多少」第一次量化到了單運算元粒度,且全部可復現(基準倉自帶約束檔案與 CSV 匯出)。

需要區分兩條技術路線:Weft 走的是 TileLang 原生 AST 早期匯入到自有 Canonical IR 的 CPU 路線,與 kubuds- 字首分支延續的 TVM 後端、RuyiAI-Stack/tilelang-riscv 的 MLIR Linalg/SCF 改寫都不是同一條實現,三者不可混為一談。

來源:https://github.com/Tianchen-ai/tilelang-weft 、 https://github.com/Tianchen-ai/tilelang-weft-bench

三、生態與採用方

3.1 TileOPs:33 至 40 token 的 W4A8 呼叫改走 40 token 解碼瓦片,表外網格快 4.3% 至 11.3%(#2888)

#2888(2 個檔案,+69/−47)修的是一段規則判定的錯位。在 132 個 SM 的 H200 上,33 至 40 token 的 W4A8 呼叫一旦 128 行瓦片數超過 SM 數,就會落進「133 至 225 個瓦片、K 取 7168 / 7680 / 8192」這條帶裡繼續走 prefill 路徑,而這一類呼叫其實該走 40 token 的解碼瓦片。

根因是過了一波之後兩條路徑的完成次序反轉:prefill 核心用 stream-K 拆瓦片,解碼核心的連續項跑在前面的先完成,原帶只覆蓋了部分網格,還誤收了一批能整除的網格——那些網格上 prefill 反而先完成。修法是把帶收窄,只保留真正該留給 prefill 的四類情形(N 非 128 的倍數、K 非 512 的倍數、512−K 項在 SM 上整除、64 行權重塊按 2 的冪且至少相距 512 KiB)。表外網格上比主分支快 4.3% 至 11.3%。

同筆還補了一個此前無人覆蓋的測試:解碼核心跨 CTA 就緒標誌漏重置。Result 行標的是 below bar,即未達該項的效能目標條,但修正的是判定規則本身,屬「錯路改對路」而不是「調參上分」。

來源:https://github.com/tile-ai/TileOPs/pull/2888

3.2 TileOPs:DeltaNet 前向按裝置共享記憶體預算分流,SM89 重獲 chunk 128 通路(#2891)

#2891(2 個檔案,+78/−27)接的是 #2645 留下的坑:那條改動把 dim_k 小於兩倍 chunk 長度的呼叫一律送進 state walk,而 walk 在 chunk 128、dim_v 64 時的輸出趟至少需要 114688 位元組共享記憶體(dim_v 128 時 131072),SM89 只給 101376,於是這些呼叫在 SM89 上直接不可用;而核心裡保留的 recurrence 只需 98560 位元組。

改法是讓核心只在 walk 的下界確實裝得下時才走 walk,否則走 recurrence,refusal 路徑讀取兩者中較小的界。已在主分支服務的呼叫在 SM80、SM89、SM90 三檔預算上保持原有程式不變。

效能口徑如實記錄:SM89 上主分支拒絕這些呼叫,基線只能用 FLA 的 chunk_delta_rule 前向(它自己的 chunk 是 64),chunk 128、dim_k 128 下本改動比 FLA 慢 9% 至 41%(六組用例的 TileOPs/FLA 比值為 1.41、1.21、1.28、1.09、1.28、1.09);SM90 上主分支本來就能服務,對照主分支三組用例比值均為 1.00,無回退。測試側新增 test_deltanet_fwd_serves_chunk_128_in_sm89_shared_memory,按 SM89 的裝置事實檢查分流決策,因此在 SM90 的 CI 上也能跑。

來源:https://github.com/tile-ai/TileOPs/pull/2891

3.3 TileOPs:反向 w/u 程式複用緩衝,114944 位元組壓到 98560 位元組(#2890)

#2890(3 個檔案,+155/−20)是和前一筆配對的另一半。自 #2625 之後,反向的 w/u 程式要從走出來的 dh 現組 du、dk_corr 與 dw,而 TileLang 0.1.12 把 dh 與 S、v_new 與 du 分別放在不同緩衝裡,儘管它們的生命週期並不重疊,程式因此佔 114944 位元組,超出 SM89 的 101376。

改法是給 compute_w_u_bwd_tl 加 reuse 開關,僅在相等 head 維下啟用:S、du、Aw 在各自最後一次讀之後接管 dh、v_new、Au 的緩衝,程式落到 98560 位元組;核心只在「不加開關時的界超出裝置共享記憶體」時才置位,refusal 也按帶 reuse 的界來讀。另兩處一併修好:walk 現在只在「單級就能裝下」的寬度裡挑 value 瓦片(此前在 batch 8、16 head、head 維 128/128 的 16 位用例上挑到需 131072 位元組的瓦片,SM89 上啟動即失敗);_parallel_live_bytes 補算了每個 chunk 的梯度程式在組 partial du 時仍持有的 c×c 注意力瓦片。

最後這一項帶出一串連鎖結論:補算之後,refusal 會讓 SM90 也拒絕三筆主分支放過去卻跑不起來的呼叫(16 位 chunk 64、head 維 256/256 在 SM90 上啟動需 237568 位元組),並識別出 16 位 chunk 128、head 維 32/256 與 float32 chunk 64、32/256 在主分支上啟動失敗、16 位 chunk 128、16/256 根本編譯不過。反向基準(bf16、batch 4、4096 token、8 head、chunk 64、head 維 128/128)1.530 毫秒對 FLA 1.554 毫秒,比值 0.98。

來源:https://github.com/tile-ai/TileOPs/pull/2890

3.4 TileOPs:測試按 cluster 與共享記憶體事實分流,SM89 失敗從 9 條降到 3 條(#2889)

#2889(3 個檔案,+26/−2)是這兩筆修復的測試口徑配套。那條斷言「行遠離零時仍按行歸一」的 LayerNorm 融合加法用例,其 split 分支會構建 FusedAddLayerNormHeldKernel,而該核心只在 cluster 能把每個 12288 寬 float32 行切開時才持有這些行,只有 SM90 有 cluster;SM89 上 held 核心的規則會把這類行發給 fragment 核心,於是 #2811 與 #2846 加的四條用例在數值檢查透過之後仍然失敗。改法是先調 check_held_launch,在沒有 cluster 的裝置上跳過 split 用例;8192 寬的五條 split 用例在 SM89 上同樣跳過。

另把兩條只裝得進 SM90 的用例顯式標 sm90:#2637 加的 bf16 GLA 反向(chunk 128、head 維 64/64)與 #2645 加的 float32 DeltaNet 前向(chunk 128、64/128),兩者各需 196608 位元組共享記憶體。迴歸資料:單張 SM89 上四個測試檔案從 40 透過 9 失敗 3 跳過,變為 35 透過 3 失敗 14 跳過;剩下三條是 chunk 32 的 GLA 反向,需要改核心才能過。單張 SM90 上兩個版本的 46 項全部透過,說明跳過標記沒有把 SM90 的覆蓋帶走。

來源:https://github.com/tile-ai/TileOPs/pull/2889

3.5 TileOPs:paged GQA 拆分計數以視窗內 key 瓦片為上界,在審(#2892)

#2892(2 個檔案,+28/−11)在審,改 GQAPagedFwdKernel._splits_for 的上界。原來拆分計數在視窗把 key 範圍收窄之前就按覆蓋 SM 數來計算,於是三瓦片的視窗在 batch 1 上會開出 16 個 split;不含 RoPE 時還會朝「常駐」繼續增長,把 combine 端的開銷翻倍——combine 要在單個 CTA 上按行瓦片讀每個 split 的 partial。

新規則是先把 cp.async 的拆分計數卡在視窗內 key 瓦片數上;不含 RoPE 時,超過覆蓋 SM 數之後的上界取 isqrt(key_tiles * block_N / block_M),該點正好是 combine 的 partial 行數與一個 chunk 的 key 行數相當的位置。PR 評論裡附了 #2496 要求的校準資料,覆蓋 379 組配置的 regret 統計。同視窗新開的 #2893 是這一族的後續清單,仍開放。

來源:https://github.com/tile-ai/TileOPs/pull/2892 、 https://github.com/tile-ai/TileOPs/issues/2893

3.6 TileFoundry:一日六條分析器與規範缺口 issue,其中兩筆由 TileOPs 作者跨倉提出(11-10)

視窗內 TileFoundry 新開 6 條 issue,分兩組來源。

第一組是 #312 那次原始碼規範重組的直接產物,zhen8838 在 02:42 一分鐘內連開四條,全部按「讀程式碼發現、未用程式復現」標註:#314 的 JIT 快取鍵只列印入口函式與拓撲,被調函式只以名字出現,於是兩個入口文字相同、被調不同的 Module 會拿到同一個快取鍵;#315 在呼叫方未給 topology_level 時預設取第一個有效拓撲,而不去問目標哪些層級宣告瞭 max_physical_units;#316 在深度小於 4 的迴圈裡按一次迴圈體時長推進遊標,而不是按整個迴圈跨度,導致迴圈之後的作業不等迴圈結束;#317 的 passes.md §7.1 寫明片上記憶體的被調返回值必須拷進呼叫方緩衝、否則必須以 LoweringError 失敗,但 convert_hir_to_tir 裡沒有對應的拒絕實現。

第二組由 TileOPs 作者 lcy-seso 在 12:04 與 12:29 提出,都是拿真實運算元去壓分析器:#318 用一個逐元素 clamp 在 H200 上做放置定價,指出 CTA 網格超出一波之後,拆分輸入的足跡被乘上波數,並註明同樣的行為在 #298、#303、#307、#311 裡報過、都被標為 not planned 關閉、在當前構建上依舊復現;#319 排一個 4096×7168×16384 的常駐 SM90 NT GEMM,一次給出五條發現,其中最硬的一條是 check --help 說 bf16 有 8 位顯式尾數、舍入界 2^-9,而 bf16 實際是 7 位顯式尾數、單位舍入 2^-8,按它推出來的 rtol 只有應有值的一半。

這組 issue 的形態值得注意:分析器的錯價不是靠單元測試暴露,而是靠把真實運算元放上去跑出來的,而提問題的人來自運算元庫一側。

來源:https://github.com/tile-ai/TileFoundry/issues/314 、 https://github.com/tile-ai/TileFoundry/issues/319 、 https://github.com/tile-ai/TileFoundry/issues/318

3.7 第三方:Hexagon NPU 後端從空殼長成可跑端側模型的分支,LFM2-1.2B 全程在 NPU 上跑通(11-10)

xwhzz/tilelang-hexagon 在 11-09 的視窗裡還只是「README 仍為 TileLang 原文、未見可核實的後端改動」,本視窗 22:07 推送之後內容補齊了。該 fork 為高通 Hexagon NPU 增加 TileLang 後端,在驍龍 8 Elite 手機的 v79 cDSP 上開發與驗證:T.copy、T.gemm、T.Parallel、T.reduce_*、T.Pipelined 這些瓦片操作編譯成 HVX 向量程式碼、HMX 矩陣乘、VTCM 緩衝與 DMA 流,經 FastRPC 在 NPU 上執行。

驗證物件是 LFM2-1.2B:batch 1 端到端跑通,prefill、decode 與取樣全部由 TileLang 寫就並在 NPU 上執行;投影層 4 位(GPTQ,每 64 列一個 fp16 scale),tied embedding 與 head 為 8 位,裝置上 WikiText-2 困惑度 16.68,bf16 參考為 16.29。這對 TileLang 的邊界意義明確:此前「非 NVIDIA、非昇騰」的後端多是 CPU 或國內加速卡,Hexagon 是第一個把完整解碼迴路放到手機 DSP 上的分支,且給出了精度對照而不是隻給吞吐。

來源:https://github.com/xwhzz/tilelang-hexagon

四、社群、教程與活動

4.1 新聞側:中英文三組查詢視窗內零命中,HN 與 arXiv 同樣無相關條目(11-10)

Google News 中文「TileLang」返回 28 條、「TileLang 或 tile 語言 運算元 編譯」10 條、「智源 運算元 或 開源 運算元庫」37 條,英文「TileLang」23 條、「TileOPs 或 TileRT」10 條,按釋出時間過濾後視窗內均為零;最新命中仍停在 10-28 的財富號文章與 10-21 的 SemiAnalysis。Hacker News 的命中全為同名噪音(Senior Pipeline Crisis、LimbaKit、Monoprint、VoxaDub 等),與 TileLang 無關。arXiv 上 all:"TileLang" 最新仍是 11-03 的 KV 壓縮論文 v2,超窗。

新聞側連續多日零命中屬 TileLang 的常態:專案傳播主要走 GitHub 與開發者社群,不在新聞索引裡,報道主體繼續以倉庫動態為準。

來源:Google News 中英文五組查詢(走代理)、Hacker News、arXiv,視窗內無相關條目。

4.2 鄰近動向:Meta 釋出 TLX 博文,Triton 的低層擴充套件已在三條生產負載上執行(11-10)

同一天 Meta 工程部落格釋出《How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale》,講的是 Triton Low-Level Extensions:在 Triton 的塊式程式設計模型之上補顯式的 warp-group 與 cluster 級編排,讓開發者能用到 warp 特化、非同步搬移、tensor memory 這類執行側硬體能力而不放棄 Triton 的開發速度。文中給出三條已在生產執行的去向——推薦系統訓練、推薦系統推理、大規模 LLM 預訓練,並給了一張 10 個月內 Meta 內部核心數量增長的圖:Triton 核心數增長約 3.8 倍,CUDA 約 2.0 倍。

把它放在 TileLang 日報裡是因為它劃出了同一條賽道的另一種解法:TileLang 從瓦片級 DSL 向上補自動排程與多後端,TLX 從 Triton 向下補顯式編排。兩者對「誰來寫 kernel」的回答相反——TLX 讓 ML 工程師繼續用 Triton 並區域性下沉,TileLang 讓作者顯式描述瓦片與流水再交給編譯器。對照看,TileLang 這一年補的多是後端與運算元正確性,編排層抽象仍壓在 T.Pipelined 與 T.annotate_* 這組介面上。

來源:https://engineering.fb.com/2026/11/10/open-source/tlx-a-hardware-native-gpu-compiler-for-production-ml 、 https://arxiv.org/abs/2605.10905

4.3 新 issue:PTO 多 Cube/Vector 區域報重複物理段,其餘集中於分析器與文件(11-10)

視窗內新開 10 條 issue,除 3.6 已寫的 TileFoundry 六條外,另有四條:#3901([BUG][PTO] Multiple explicit Cube/Vector regions fail with duplicate physical section error)報同一核心裡宣告多個顯式 Cube/Vector 區域時報重複物理段,屬昇騰 PTO 下沉期的結構性限制,尚無修復 PR;#2893 是 paged GQA 的後續清單;#2001 是 tilelang-ascend 的每日測試日報(3060 項全過)。Metal 那條 #3907 已在 2.5 與修復 PR 一併寫。

另有一條形態值得記:#3901 與 #3907 都是「同一核心裡兩個都合法的區域疊在一起才出錯」,這類問題在單區域測試裡永遠不出現,只會在真實融合運算元拼裝時暴露。近幾期的正確性 issue 幾乎全是這個形狀。

來源:https://github.com/tile-ai/tilelang/issues/3901 、 https://github.com/tile-ai/tilelang/issues/3907

五、趨勢觀察

第一,主倉的產出重心從運算元轉向原語。#3490 的預取與驅逐優先順序、#3605 的 NaN 鉗位、在審的 #3897 CPU 掃描運算元與 #3903 程序並行編譯,共同特徵是「給作者一件新工具」,而不是「讓某個運算元快幾個點」。這類改動的驗收標準也不同:#3605 拿 SASS 裡三條指令的存在與否作證據,#3490 拿計算能力門檻作邊界,都可以脫離具體形狀複核。對下游來說,這意味著 0.1.16 之後可用的寫法會變多,但每個新原語都有自己的架構門檻,跨代移植要逐條核。

第二,共享記憶體預算成了線性注意力這條線的顯性約束。SM89 的 101376 位元組與需求側的 114688、131072、196608 三個數字,決定了 chunk 取多大、走 walk 還是 recurrence、測試在哪個架構上跑。#2890 與 #2891 的解法思路一致:不硬壓需求,而是讓 dispatch 按裝置事實選路,並在 refusal 裡用同一個界,寧可提前拒絕也不在啟動時崩。這個模式一旦在 DeltaNet 上跑順,GLA 那一族大機率照抄——#2889 留下的三條 chunk 32 失敗正好是下一塊。

第三,測試口徑正在從「按架構打叉」轉向「按裝置事實判定」。#2889 沒有把 SM89 的用例刪掉或永久 skip,而是先查 check_held_launch,再決定跳過;#2891、#2890 新增的兩條測試也是按 SM89 的裝置事實檢查分流決策,因此在 SM90 的 CI 上照樣能跑。這個做法比按裝置算力打 skipif 標記穩,因為它驗的是決策邏輯本身而不是硬體。

第四,TileFoundry 的錯價問題在被運算元側反覆頂回來。#318 明說同樣的行為在四條已關閉的 issue 裡報過、都被標 not planned,#319 一次給五條且帶具體的 962.1 對 1213.6 GFLOP 偏差。分析器是 TileLang 那套「先定價再選排程」路線的前提,定價偏 26% 會讓自動選擇做出錯誤決定;這類缺口不會讓任何單個運算元變慢,但會讓自動化在邊界網格上系統性選錯。

第五,RISC-V 側的分歧在擴大而不是收斂。四源(TVM 路線、MLIR 路線、SOPHGO TPU、社群索引)整齊地停著,第三方 Weft 線卻一天 40 筆,且已經把差距量化到單運算元(SG2044 中位 0.0580 倍)。兩條事實放在一起說明的是:停滯不是沒人做,而是官方四源沒有形成「自動發現差距、自動驗證、自動排隊」的迴路——Weft 那條線是自己搭了基準引擎才跑起來的。若這套 553 例的基準能被官方四源引用為驗收口徑,RISC-V 側的進展會第一次有可比的分母。


附、素材與核查說明

信源核查表

信源 核查結果
tile-ai 組織(30 倉庫) 視窗內推送 7 個:tilelang、TileOPs、tilelang-musa、tilelang-mlir-ascend,另 3 個為自動推送(文件站、gh-pages、夜間快照)
tilelang 主倉 主分支 3 筆合入(#3911、#3605、#3490);在審更新 38 筆;新開 issue 2 條(#3901、#3907);無新 tag
TileOPs 主分支 4 筆合入(#2888、#2891、#2890、#2889);在審更新 2 筆;新開 issue 1 條(#2893)
TileOPs-nightly snapshots 分支自動推送 1 次(11-09 21:56),預設分支無提交
TileFoundry 視窗內無合入、無推送(最新 11-09 11:33);新開 issue 6 條(#314 至 #319,全部開放)
tilelang-ascend 預設分支 ascendc_pto 視窗內無合入(最新 11-06);在審更新 9 筆;每日測試 3060 項全過(11-10 11:38)
tilelang-hygon 視窗內無合入(最新 11-06 #33、#34);分散式融合運算元 #36 在審(+2022 行)
tilelang-metax 視窗內無推送(最新 11-06 07:42)
tilelang-musa 合入 1 筆文件改動(#12);release 頁無新版本(最新 v0.1.15+musa.1,09-30)
tilelang-mlir-ascend main 視窗內零提交;#217 合入 harness 分支;在審 #222 等
釋出頁(tilelang / TileOPs / TileFoundry / musa) 視窗內無新版本:v0.1.15(09-30)、v0.1.0(10-27)、v0.0.4rc1(10-25)、v0.1.15+musa.1(09-30);0.1.16 版本號 PR #3887 仍開放、11-09 後無更新
採用方 TileKernels / FlashQLA 視窗內無推送(10-14 / 10-30)
第三方 TileLang–Weft / weft-bench 視窗內分別提交 17 筆與 23 筆;基準 553 例全部透過數值檢查,41 例快於參考實現;release 最新 v0.1.15-weft.2(11-05)
第三方 tilelang-hexagon 11-10 22:07 推送,README 補齊 Hexagon NPU 後端說明與 LFM2-1.2B 端到端結果
TileLang×RISC-V 四源巡檢 無變化(四個上游引用與上期快照一致,24 小時視窗;連續第四個視窗)
Google News(中英文五組)/ Hacker News / arXiv 新聞側視窗內零命中;HN 命中均為同名噪音;arXiv 最新相關為 11-03(超窗)
鄰近技術動態 Meta TLX 博文 11-10 釋出,屬同賽道對照,非 TileLang 專案動態

完整信源清單

2892)— https://github.com/tile-ai/TileOPs/pull/2892

核查說明

本期視窗為 24 小時(週三)。合入數、在審數與新 issue 數取自 GitHub 檢索真值(is:merged、is:open、created 三類查詢,均按 merged/updated/created 時間倒序),並與逐倉主分支提交交叉核對:9 筆合入 = tilelang 3 + TileOPs 4 + tilelang-musa 1 + tilelang-mlir-ascend 1,其中 mlir-ascend 那筆合入 harness 分支(該倉預設分支為 main,本視窗 main 零提交),已在正文註明。效能與共享記憶體數字直接取自各 PR 正文的表格與 Result: 行,未作二次換算;#2888、#2891、#2890 三筆的 Result 行或對照基線均按原文記錄,包括未達目標條與慢於 FLA 的情形。TileFoundry 六條 issue 分屬兩位提出者,其中 #314 至 #317 為規範重組後讀碼所得、未用程式復現,#318、#319 帶真實運算元與構建號,正文按此區分。RISC-V 四源巡檢指令碼輸出為空,按既定口徑記為「無變化」;2.8 的 Weft 線為本期新發現的第三方觀察,不屬四源,已明確標註來源為第三方倉逐筆提交與 README 表格。新聞側五組 Google News 查詢走代理,返回條目按釋出時間過濾後視窗內為零;Meta TLX 屬同賽道鄰近動態,不計入 TileLang 專案進展。