TileLang 每日動態報告(2026-10-20)
調研視窗:2026-10-19 07:00 ~ 2026-10-20 07:00(北京時間,24 小時)。
信源:GitHub(tile-ai 組織 29 倉庫推送全量核查,視窗內 9 個倉庫有推送:TileOPs、TileOPs-nightly、TileOPs.github.io、tilelang、tilelang.github.io、TileFoundry、tilelang-ascend、tilelang-hygon、tilelang-mlir-ascend;組織視窗內合併 36 筆〔TileOPs 19、tilelang 11、TileFoundry 3、TileOPs.github.io 1、tilelang-ascend 1、tilelang-mlir-ascend 1〕、在審 52 筆〔tilelang 24、tilelang-ascend 15、TileOPs 11、tilelang-hygon 2〕;非預設分支逐查〔ascendc_pto、snapshots、stats〕)+ 釋出頁與版本檔案核查 + 規格統計分支核查 + 採用方倉核查(TileKernels / FlashQLA)+ 社群倉核查 + 夜間流水線核查 + Google News 中英文多組查詢(走代理)+ Hacker News + arXiv。
本期索引
- 今日重點:SM89 一日兩筆 GEMM 轉正,TileOPs 規格與基準覆蓋雙報 205/205,主倉把 Windows ARM64 納入 CI(10-19)
- 一、核心專案進展
- 1.1 主倉:Windows ARM64 進 CI,CUDA 13.4 arm64 裝包與 clang 相容層(#2962)(10-19)
- 1.2 主倉:共享緩衝上的 T.cumsum 在 warp 特化下補執行緒偏移(#3536)(10-19)
- 1.3 主倉:call_extern 的裸 data 變數保守標記為寫入(#2618)(10-19)
- 1.4 主倉:lower trace 拆分宿主與裝置原始碼,改可編輯基線(#3496)(10-19)
- 1.5 主倉:Autotuner 透傳 profiler 引數、ROCm FP4 常量列印與兩筆 CI 維護(#3337 / #3548 / #3565 / #3567)(10-19)
- 二、多後端適配(昇騰 / 沐曦 / 海光 / 摩爾執行緒)
- 2.1 昇騰:宿主運算元與裝置核心在 msprof 下建立關聯(#3321)(10-19)
- 2.2 昇騰:VF 域外標量 sqrt 走標準數學庫、PTO Ramp 按型別化向量發射(#3466 / #3535)(10-19)
- 2.3 昇騰:四個逐元素運算元的中文 API 文件與用例補齊(#1657)(10-19)
- 2.4 昇騰在審佇列 15 筆:GLM-5.3 壓縮運算元與三條反向運算元(10-19)
- 2.5 海光:在審兩筆把 MLS 視窗常量 K 與暫存器流水線補齊(#25 / #18)(10-19)
- 2.6 沐曦 / 摩爾執行緒 / MLIR-Ascend:兩側無新推送,MLIR 線修 TVM 隔離(#204)(10-19)
- 三、生態與採用方(TileOPs / TileFoundry / 運算元庫)
- 3.1 TileOPs:SM89 塊縮放 FP8 分組 GEMM 與 INT8 W8A8 同日合入(#2659 / #2655)(10-19)
- 3.2 TileOPs:五筆 foundry 運算元補齊 MLA 分頁、KV 寫入與融合歸一化(#2642 / #2635 / #2639 / #2634 / #2651)(10-19)
- 3.3 TileOPs:GQA 分頁 FP8 前向轉 implemented,36 例對標 FA3(#2648)(10-19)
- 3.4 TileOPs:線性注意力與 GEMM 的逐點位效能收口系列(#2650 / #2645 / #2637 / #2636 / #2641 / #2640 / #2646 / #2652)(10-19)
- 3.5 TileOPs:Mamba-1 選擇性掃描落地,MoE 路由列舉加收斂上限(#2638 / #2653)(10-19)
- 3.6 TileOPs:規格與基準覆蓋雙報 205/205,夜間報表新增運算元欄(#2656)(10-19)
- 3.7 TileFoundry:Apple AMX 支援與 Qwen 預填充示例跑通 M2 Pro(#244 / #240 / #245)(10-19)
- 3.8 採用方與夜間流水線:TileKernels / FlashQLA 無推送,快照推進至 10-20(10-20)
- 四、社群、教程與活動
- 4.1 文件:六個新運算元寫入 API 頁,主倉文件站自動更新(#77)(10-19)
- 4.2 社群倉:W4A16 kernel 實踐倉與 CUDA 除錯技能倉進入視野(10-19)
- 4.3 版本線:主倉 0.1.15 仍未換代,TileOPs 繼續鎖 0.1.12(10-19)
- 4.4 媒體與學術:新聞檢索三條命中均非直接相關,arXiv 無新論文(10-19)
- 五、趨勢觀察
- 5.1 SM89 成為新運算元的預設落點
- 5.2 線性注意力固定成「每 chunk 一次矩陣乘 + 按 SM 波次選策略」
- 5.3 TileFoundry 走出 CUDA:Apple AMX 與 Qwen 預填充
- 5.4 可觀測性成為編譯器硬化主線
- 5.5 昇騰運算元庫轉向對話模型專用運算元
- 附:素材與核查說明
- 完整信源清單
今日重點:SM89 一日兩筆 GEMM 轉正,TileOPs 規格與基準覆蓋雙報 205/205,主倉把 Windows ARM64 納入 CI(10-19)
本視窗主機位仍是中國時間夜裡活躍:組織內合併 36 筆,TileOPs 獨佔 19 筆,其中 SM89(Ada 級)的塊縮放 FP8 分組 GEMM 與 INT8 W8A8 GEMM 同日落地,配合五筆新運算元把 MLA 分頁、KV 快取寫入、QK-Norm-RoPE 融合與逐 token 量化 RMSNorm 一次補齊;組織規格統計分支隨即重新整理為「已實現 205/205、已基準 205/205」,即運算元庫自述的規格覆蓋與基準覆蓋同時滿格。主倉 tilelang 合併 11 筆,分量最重的是把 Windows ARM64 納入釋出流水線(12 檔案、CUDA 13.4 arm64 安裝指令碼與 clang 相容頭),另有兩筆正確性修復(共享緩衝上的 T.cumsum、call_extern 寫入標註)和一筆除錯基建改造(lower trace 拆分宿主與裝置原始碼)。後端側,昇騰把宿主演運算元與裝置核心在 msprof 下對上號,海光兩筆在審補暫存器流水線與常量 K 定址,TileFoundry 則首次把 Qwen 預填充示例搬到 Apple M2 Pro 的 AMX 單元上跑通 128 token。
一、核心專案進展
1.1 主倉:Windows ARM64 進 CI,CUDA 13.4 arm64 裝包與 clang 相容層(#2962)
該筆把 Windows on ARM 作為正式構建目標接進發布流水線:新增 PowerShell 安裝指令碼,從 NVIDIA 預釋出通道拉取 CUDA 13.4 的 windows_arm64 本地安裝包並落到固定路徑;新增 CMake 的 FindPipCUDAToolkit 模組與 windows_arm64_clang_compat.h 相容頭,解決 MSVC 工具鏈在 ARM64 上的標頭檔案與內建差異;同步調整 pyproject 與兩份 requirements,並改動佈局模組與 MSVC 輔助模組以適配新平臺。共 12 檔案、新增 356 行、刪除 45 行。此前組織側已連續補 ROCm 與昇騰兩端,這筆把 Windows ARM64 補成第三個非 x86 交付面,對採用驍龍 X 系列筆記本做本地核心開發的使用者是直接可用性改進。
來源:tile-ai/tilelang#2962(10-19)
1.2 主倉:共享緩衝上的 T.cumsum 在 warp 特化下補執行緒偏移(#3536)
warp 特化把生產者與消費者分到不同 warp 後,掃描類原語在共享緩衝上算出的執行緒號仍按整塊 CUDA 塊計,導致 cumsum 的行歸屬錯位。改動在 CUDA 與 HIP 兩套 scan 模板中引入 thread_offset 引數,由下層引數中的執行緒下界(thread_bounds 的最小值)傳入,模板據此把 lane 與行索引重新對齊;後臺通用實現與 Python 側用例同步更新,共 4 檔案、新增 101 行、刪除 38 行。這類問題只在實際啟用 warp 特化且緩衝落在共享記憶體時暴露,屬規模化使用後回灌的邊界條件。
來源:tile-ai/tilelang#3536(10-19)
1.3 主倉:call_extern 的裸 data 變數保守標記為寫入(#2618)
只讀引數標註原先靠別名分析判斷緩衝是否被寫,但外部呼叫(call_extern)透過裸指標寫入時分析看不到寫操作,被誤判為只讀後恆定摺疊或提前複用。改動在該 pass 中專門識別 call_extern,把其裸資料變數一律保守標記為已寫,並新增 69 行用例覆蓋「call_extern 寫輸出緩衝」的寫法。方向上是寧可少做最佳化也不做錯最佳化,與近期主倉一批正確性修復同調。
來源:tile-ai/tilelang#2618(10-19)
1.4 主倉:lower trace 拆分宿主與裝置原始碼,改可編輯基線(#3496)
除錯工具 lower trace 原先只落一份生成原始碼,宿主側包裝與裝置側核心混在一起,改一處難以回滾。改動把兩側拆成獨立產物:裝置側輸出 codegen_device.cpp 及其 .original 基線與 .latest 最新版,宿主側在宿主程式碼生成執行時另出 codegen_host.cpp 與同結構的基線檔案,report.html 以軟連結指向最近一次執行;文件同步改寫編輯與重編譯流程,共 6 檔案、新增 121 行、刪除 63 行。
來源:tile-ai/tilelang#3496(10-19)
1.5 主倉:Autotuner 透傳 profiler 引數、ROCm FP4 常量列印與兩筆 CI 維護(#3337 / #3548 / #3565 / #3567)
#3337 僅三行,但修的是自動調優的度量口徑:裝飾器上的 warmup、rep、timeout 此前沒有傳給調優器,使用者在裝飾器上改這三個引數實際不生效,現在按引數透傳。#3548 補 ROCm 側 FP4(e2m1)浮點常量的列印,因該型別只有按原始位元組構造,改為在裝置端經輔助函式從 float32 轉換生成常量,避免 HIP 程式碼生成報錯。另兩筆為維護性改動:cibuildwheel 版本從 4.2 升到 4.3,以及為 ROCm 線增加一名 CodeRabbit 審查人。
來源:tile-ai/tilelang#3337、#3548、#3565、#3567(10-19)
二、多後端適配(昇騰 / 沐曦 / 海光 / 摩爾執行緒)
2.1 昇騰:宿主運算元與裝置核心在 msprof 下建立關聯(#3321)
昇騰側的 profiler 此前只能報出裝置核心耗時,宿主演運算元與核心之間沒有對應關係,自動調優拿到的樣本無法歸因到具體呼叫。該筆新增原生 profiling 通道:構建時探測 CANN 的 profiling 頭(相容 msprof 與 profiling 兩種安裝佈局),裝了就啟用、沒裝則跳過,不引入面向使用者的編譯開關;執行時側補 ascend_profiling.h 與主機側 profile 模組,把宿主演運算元的下發與裝置核心的執行按呼叫序對應起來,並讓分組編譯路徑複用同一套上報。共 13 檔案、新增 676 行、刪除 13 行,是昇騰線度量能力的一次結構補齊。
來源:tile-ai/tilelang#3321(10-19)
2.2 昇騰:VF 域外標量 sqrt 走標準數學庫、PTO Ramp 按型別化向量發射(#3466 / #3535)
#3466 處理標量 sqrt 落在向量化域(VF)之外的情形:下層原本統一把它降為 sqrtf,但在標量核上該實現不可用,改動在域外且型別為 float32 時改走 AscendC::Std::sqrt,並按需引入標準數學頭,新增 126 行含用例。#3535 修 PTO 程式碼生成中 Ramp 表示式的發射方式,改為由各 lane 表示式組裝型別化向量,用例覆蓋並行索引與顯式步長兩種 Ramp 的向量化儲存生成與執行。
來源:tile-ai/tilelang#3466、#3535(10-19)
2.3 昇騰:四個逐元素運算元的中文 API 文件與用例補齊(#1657)
昇騰適配倉把 T.tile 下的 relu、leaky_relu、sigmoid、silu 四個逐元素運算元補齊中文 API 文件,寫明功能、引數、返回值與典型用法(例如 leaky_relu 的負斜率語義),並同步補測試用例與文件入口,共 6 檔案、新增 451 行、刪除 19 行。這是昇騰線少見的以文件為主體的合入,說明該倉的運算元面已進入需要對外承諾語義的階段。
來源:tile-ai/tilelang-ascend#1657(10-19)
2.4 昇騰在審佇列 15 筆:GLM-5.3 壓縮運算元與三條反向運算元(10-19)
昇騰倉是本視窗在審最集中的地方(15 筆)。運算元側出現明顯的對話模型取向:GLM-5.3 的 kpool 壓縮運算元(#1910)、KDA 的 chunk 反向(#1895)、indexer 反向(#1887)、situ_glu 及其梯度(#1891 / #1877)。示例側補 cann-bench 的 lstm 與 gru 兩條(#1892 / #1902)。編譯器側兩筆屬穩定性:#1907 在 UB 到 L1 的暫存中保留塊註解與 ND 偏移,#1903 修併發核心快取的釋出與快取被刪後的恢復。另有五筆針對位運算運算元的 API 事實核對(#1651 / #1655 / #1656 / #1659 / #1893),其中 #1893 是上週被回退後的重新提交,其餘四筆為新增核對。
來源:tile-ai/tilelang-ascend#1910、#1895、#1887、#1891、#1907、#1903(10-19)
2.5 海光:在審兩筆把 MLS 視窗常量 K 與暫存器流水線補齊(#25 / #18)
海光倉預設分支視窗內無合入,但兩筆在審都有實質推進。#25 修 MLS 資源提升在迴圈展開後丟失常量視窗偏移的問題:先校驗未更新軸再決定採用單軸更新或前向差分定址,必要時保守重建視窗,並在既有 MLS 測試中補回歸。#18 為 HCU 後端加暫存器流水線,可與既有的共享記憶體流水線疊加,按流水級插入對應的提交與屏障指令,並在 warp 數超過 4 時啟用 warp_diverge;PR 自述 example_gemm 的效能已接近 rocblas。
來源:tile-ai/tilelang-hygon#25、#18(10-19)
2.6 沐曦 / 摩爾執行緒 / MLIR-Ascend:兩側無新推送,MLIR 線修 TVM 隔離(#204)
tilelang-metax 最後推送停在 10-16,tilelang-musa 停在 09-30,兩者視窗內均無提交,屬正常靜默。tilelang-mlir-ascend 合入一筆 TVM 隔離修復(#204),處理該倉與 TVM 名稱空間、符號可見性之間的相互汙染,規模不大但直接影響多後端共存時的連結穩定性。
來源:tile-ai/tilelang-mlir-ascend#204(10-19)
三、生態與採用方(TileOPs / TileFoundry / 運算元庫)
3.1 TileOPs:SM89 塊縮放 FP8 分組 GEMM 與 INT8 W8A8 同日合入(#2659 / #2655)
#2659 把塊縮放的 FP8 分組 GEMM(MoE 場景)擴到 SM89:四套顯式配置、六條含複製的基準用例,測試覆蓋未知鍵、非法 tile 尺寸、掩碼計數與 slab 尾塊、調優、輸出別名、非對齊輸入、空閒專家保持與輸入不可變,兩套 TileLang 基線(0.1.12 與 0.1.15 開發版)各 35 項透過;用例從原來的 42 項增至 77 項,新增 12 項 SM89 用例。#2655 在同一架構上啟用 INT8 W8A8 GEMM,13 項 SM89 介面用例與原有 29 個 INT8 基準工作負載均對 vLLM 透過正確性核對,並宣告不主張 SM90 執行結果。兩筆合在一起,意味著 TileOPs 的低精度 GEMM 不再只以 Hopper 為唯一目標。
來源:tile-ai/TileOPs#2659、#2655(10-19)
3.2 TileOPs:五筆 foundry 運算元補齊 MLA 分頁、KV 寫入與融合歸一化(#2642 / #2635 / #2639 / #2634 / #2651)
這一批都由 TileFoundry 的規格流水線產出,每個運算元先有 HIR 規格與參考實現,再有佈置、排程與執行時孿生。#2642 新增 MLA 分頁前向,按請求走頁表、fp32 累加打分、線上 softmax,返回輸出與 lse,六行用例在 4e-3 絕對誤差內對齊參考,行內以 576 與 512 列兩次乘積累加判定為算力受限。#2635 新增 MLA 的 KV 快取寫入,逐 token 把 kv_c 與 k_pe 拼接、fp32 旋轉後落盤、按 scale 縮放並鉗位轉 E4M3,六行用例對 vLLM 的同名介面透過。#2639 的 QK-Norm-RoPE 融合覆蓋七種行/精度組合,支援 NeoX 與相鄰對兩種旋轉佈局。#2634 的逐 token 量化 RMSNorm 融合殘差加法,12 個工作負載對齊 vLLM 同名介面,實現為一行一 CTA、4096 列內 128 執行緒、更長用 512 執行緒。#2651 補 INT8 W8A8 的運算元封裝。
來源:tile-ai/TileOPs#2642、#2635、#2639、#2634、#2651(10-19)
3.3 TileOPs:GQA 分頁 FP8 前向轉 implemented,36 例對標 FA3(#2648)
該筆讓 GQA 分頁前向直接接受 FP8 的 Q 與 KV,並把運算元狀態從規格推進到已實現。參考實現按請求與 KV 頭維度寫 HIR,查詢頭成組堆疊成打分行,每個可見頁作一個鍵 tile,FP8 運算元按各自 scale 反量化後相乘;36 個用例全部透過,含 NaN 與 Inf 檢查。比較物件選 FA3 的同類分頁實現,並按「每請求、每 KV 頭」的 descala 展開成對應形狀。附帶改動涉及 17 檔案、新增 2601 行,含分頁解碼、批 1 解碼、FP8 解碼、warp 特化與 RoPE 預處理多條核心路徑。
來源:tile-ai/TileOPs#2648(10-19)
3.4 TileOPs:線性注意力與 GEMM 的逐點位效能收口系列(#2650 / #2645 / #2637 / #2636 / #2641 / #2640 / #2646 / #2652)
八筆 [Perf] 延續上週的收口節奏,套路高度一致:把每 chunk 的矩陣乘壓到一次、把同步點前移或合併、按硬體波次決定策略。#2650 把 GDN 前填的 chunk 求逆改為按 warp 組求解,並以「每 SM 約容納七個 warp 組求解」為界,低於一波時仍走單 warp 更划算;#2645 讓 DeltaNet 前向狀態每 chunk 只做一次矩陣乘;#2637 讓 GLA 反向狀態梯度在其鏈上不再插入矩陣乘;#2636 把批次 GEMM 的每個 tile 儲存挪到下一 tile 首個 WGMMA 之下以重疊寫回;#2641 對長行歸約改用 512 執行緒摺疊;#2640 讓最大池化二維索引核的行按 evict-last 讀進 L2;#2646 在縮放因子恰為 1 時繞開 bf16 除法的全區間縮放;#2652 用近似倒數實現 float32 取餘與向下整除的向下取整。
來源:tile-ai/TileOPs#2650、#2645、#2637、#2636、#2641、#2640、#2646、#2652(10-19)
3.5 TileOPs:Mamba-1 選擇性掃描落地,MoE 路由列舉加收斂上限(#2638 / #2653)
#2638 新增 Mamba-1 的選擇性掃描前向,九行工作負載覆蓋 Mamba-2.8B 的 4096 token 前填與單 token 解碼、2.8B 批 64 解碼、1.4B 前填、130M 無門控、帶序列索引的打包前填、分組狀態與裸掃描,參考實現與佈置、排程發生器一併入庫,說明狀態空間模型正式進入運算元清單。#2653 修 MoE 分組 GEMM 的路由列舉:此前全量列舉分組路由,組合數超限時白白耗時,改為並集超過上限即停止列舉。
來源:tile-ai/TileOPs#2638、#2653(10-19)
3.6 TileOPs:規格與基準覆蓋雙報 205/205,夜間報表新增運算元欄(#2656)
組織規格統計分支在最後一筆合入後隨即重新整理,徽章資料為「已實現 205/205、已基準 205/205」,兩項均為滿格,與本期連續補入的運算元相印證。#2656 給夜間報表加兩件事:把當期未測量過的運算元單列成「新運算元」欄,並把歷史資料項的讀取從舊式字串表示改為 JSON 解析、非對映內容一律丟棄;用例從 43 項增至 47 項。#2656 自述的一段歷史資料也值得記錄:10-18 的夜間報表(統計視窗 10-05 至 10-17)列出 109 項改進、6 個新運算元、共 121 行,其中 W4A8 GEMM 佔 98 行。
來源:tile-ai/TileOPs#2656、TileOPs 規格統計分支(10-19)
3.7 TileFoundry:Apple AMX 支援與 Qwen 預填充示例跑通 M2 Pro(#244 / #240 / #245)
#244 把四個 AMX 操作(X/Y 載入、FP16 外積配 FP32 累加、Z 儲存)納入 TileFoundry,並讓 Copy 與 Fill 可落在 Apple 核與 AMX 執行器作用域上;示例目錄給出整模型 HIR、排程後 HIR、Python 執行時孿生與 C++ 投影核,首次使用時構建並快取本地核心,權重複用已備好的 GGUF Q8_0。實測在 M2 Pro 上 Qwen3-1.7B 與 Qwen3.5-4B 均完成 128 token 前填,輸出 logits 有限、下一個 token 編號分別為 1813 與 306。這是 TileLang 生態第一次把整模型推理示例放到非 CUDA 加速器上。#240 修四處 CUDA 側降級缺口(效果形式 Cast 無生成處理器、Fill 寫到核心引數裸指標、切片座標走 Dim 算術無法解析),僅改程式碼生成目錄、45 行增 10 行刪。#245 統一分析層的估值上下文與作用域快照。
來源:tile-ai/TileFoundry#244、#240、#245(10-19)
3.8 採用方與夜間流水線:TileKernels / FlashQLA 無推送,快照推進至 10-20(10-20)
deepseek-ai/TileKernels 仍停在 10-14 的 v2.1.0 釋出合併,QwenLM/FlashQLA 停在 10-14 的修復提交,兩者視窗內均無推送,採用方側本日靜默。TileOPs-nightly 的 snapshots 分支在視窗內新增一次快照(10-20 05:39),前一檔為 10-19 05:41,夜間基準保持在每日一次的節奏。
來源:TileOPs-nightly snapshots(10-20)
四、社群、教程與活動
4.1 文件:六個新運算元寫入 API 頁,主倉文件站自動更新(#77)
TileOPs 文件站隨運算元合入把六個新實現補進 API 頁(#77),逐項寫明呼叫約定與當前狀態,沿用上週建立的「已實現即入頁」規則。tilelang 主倉文件站在視窗內有一次自動構建推送,無人工內容變更。
來源:tile-ai/TileOPs.github.io#77(10-19)
4.2 社群倉:W4A16 kernel 實踐倉與 CUDA 除錯技能倉進入視野(10-19)
社群側出現幾個圍繞 TileLang 的第三方倉庫:fanyuxiao-ui/w4a16-tilelang 建於 10-10,用 TileLang 加手寫 CUDA 在 A800(SM80)上做 W4A16 量化推理的 GEMM 與 GEMV;sablin39/tilelang-cuda-skills 建於今年 5 月、已有 145 星,提供書寫 TileLang 與用 CUDA 工具鏈除錯的技能包,作者同時是 TileFoundry 的活躍貢獻者;localizethedocs/tilelang-docs-l10n 做官方文件本地化;chaigua/tilelang-agent 於 10-19 新建。四者均為社群自發,非組織官方倉庫。
來源:fanyuxiao-ui/w4a16-tilelang、sablin39/tilelang-cuda-skills、localizethedocs/tilelang-docs-l10n(10-19)
4.3 版本線:主倉 0.1.15 仍未換代,TileOPs 繼續鎖 0.1.12(10-19)
主倉版本檔案仍為 0.1.15,對應 09-30 的釋出,視窗內無新標籤或釋出。TileOPs 的依賴宣告仍寫死 0.1.12,上週嘗試升到 0.1.15 的 PR 已關閉,本期新合入的 SM89 用例也同時跑了 0.1.12 與 0.1.15 開發版,說明升級閘門仍以雙基線驗證為前提。
來源:tile-ai/tilelang VERSION、tile-ai/TileOPs pyproject(10-19)
4.4 媒體與學術:新聞檢索三條命中均非直接相關,arXiv 無新論文(10-19)
Google News 中英文多組查詢(TileLang、tile-ai、TileOPs、TileFoundry、tilelang 運算元等)在視窗內僅三條命中:兩篇 DeepSeek 與華為晶片的產業報道(The Information、Business Upturn),以及 Prime Intellect 的 prime-rl 0.10.0 釋出稿;逐篇核對後未在可讀內容中找到 TileLang 具體事實,按非直接相關處理,不計入條目。Hacker News 的 tilelang 檢索無相關命中,arXiv 全欄位檢索最近一篇相關論文仍是 07-24 的 TileSight(tile 中心式 GPU 效能分析模型),視窗內無新增。
來源:Google News TileLang 檢索、arXiv TileLang 檢索(10-19)
五、趨勢觀察
5.1 SM89 成為新運算元的預設落點
昨日 TileOPs 的重點還是 Hopper 上的 W4A8 與 SM90 叢集協作,本視窗兩筆新 GEMM 全部以 SM89 為首發目標,並在 PR 中明確宣告不主張 SM90 執行結果。Ada 級顯示卡(L40S、4090 一類)是國內開發者手裡的主力硬體,把低精度 GEMM 先落到 SM89,意味著運算元庫開始按「可獲得性」而不只是「峰值效能」排優先順序。
5.2 線性注意力固定成「每 chunk 一次矩陣乘 + 按 SM 波次選策略」
GLA、GDN、KDA、DeltaNet 四條線本期共八筆效能改動,手法收斂為兩條:把 chunk 鏈上的矩陣乘壓到每塊一次,以及按 SM 能容納的 warp 組數決定用分組求解還是單 warp。這種「先算波次再選核心」的寫法此前只見於手寫 GEMM 庫,現在進入了運算元庫的預設路徑。
5.3 TileFoundry 走出 CUDA:Apple AMX 與 Qwen 預填充
TileFoundry 一直定位為「給 agent 用的運算元工廠」,但此前所有示例都在 NVIDIA 上。本期 AMX 支援加上 Qwen 整模型前填在 M2 Pro 跑通,說明其規格、佈置、排程三層抽象並非繫結 CUDA,而是可以降到 Apple 的矩陣協處理器。若這條線繼續,TileFoundry 的定位會從「TileLang 的前端」變成「跨加速器的規格到核心編譯器」。
5.4 可觀測性成為編譯器硬化主線
本視窗三筆改動指向同一件事:讓編譯產物可度量、可歸因。lower trace 把宿主與裝置原始碼分開落盤、Autotuner 把裝飾器引數真正透傳到度量、昇騰把宿主演運算元與裝置核心在 msprof 下對上號。在運算元面接近鋪滿(規格統計已報 205/205)之後,剩下的差距要靠度量找,而不是靠加運算元。
5.5 昇騰運算元庫轉向對話模型專用運算元
昇騰在審佇列裡出現 GLM-5.3 的 kpool 壓縮、KDA 與 indexer 的反向、situ_glu 及其梯度,這些不是通用運算元,而是特定對話模型結構裡的部件。配合上周的 PTO 自動向量化,昇騰線的工作重心已從「把 TileLang 跑在昇騰上」轉為「把國內主流模型的關鍵運算元先在昇騰上做出來」。
附:素材與核查說明
- 本視窗為常規 24 小時視窗,覆蓋 10-19 07:00 至 10-20 07:00,與上一期(10-16 07:00 至 10-19 07:00 的三天視窗)不重疊。
- 組織級倉庫列表與推送狀態經 GitHub 介面全量拉取,29 個倉庫中 9 個在視窗內有推送;各倉庫主分支提交經 Atom feed 逐條核對,非預設分支(tilelang-ascend 的 ascendc_pto、TileOPs-nightly 的 snapshots、TileOPs 的 stats)單獨核查。
- 合入與在審數量取自 GitHub 搜尋介面的真值檢索(is:merged 與 is:open 各一次,帶視窗起始時間戳),未使用逐倉拉取列表累加,避免重複計數。
- 組織介面匿名額度在採集後段耗盡,PR 正文與改動統計改由網頁與補丁檔案讀取,未影響條目事實核對;已合入狀態一律以 is:merged 檢索結果為準。
- 規格與基準覆蓋數字取自組織統計分支的徽章資料,該分支在視窗內最後一筆合入後重新整理,屬專案自述口徑。
- 夜間快照計數按 snapshots 分支 Atom feed 的 UTC 時間換算為北京時間後判定是否落在視窗內。
- 新聞側三條命中已逐篇核對,其中兩篇產業報道無法在可讀內容中確認與 TileLang 的具體關聯,按未核實處理,不計入本期條目;arXiv 與 Hacker News 均為零新增。
- 報告不含任何本機環境資訊。
完整信源清單
- [1] tile-ai/tilelang PR #2962 Windows ARM64 支援與 CI — https://github.com/tile-ai/tilelang/pull/2962
- [2] tile-ai/tilelang PR #3536 共享緩衝上的 T.cumsum 執行緒偏移 — https://github.com/tile-ai/tilelang/pull/3536
- [3] tile-ai/tilelang PR #2618 call_extern 裸資料變數標記寫入 — https://github.com/tile-ai/tilelang/pull/2618
- [4] tile-ai/tilelang PR #3496 lower trace 拆分宿主與裝置原始碼 — https://github.com/tile-ai/tilelang/pull/3496
- [5] tile-ai/tilelang PR #3337 Autotuner 透傳 profiler 引數 — https://github.com/tile-ai/tilelang/pull/3337
- [6] tile-ai/tilelang PR #3548 ROCm FP4 浮點常量列印 — https://github.com/tile-ai/tilelang/pull/3548
- [7] tile-ai/tilelang PR #3565 cibuildwheel 升級 — https://github.com/tile-ai/tilelang/pull/3565
- [8] tile-ai/tilelang PR #3567 ROCm 線新增審查人 — https://github.com/tile-ai/tilelang/pull/3567
- [9] tile-ai/tilelang PR #3321 昇騰 msprof 宿主與裝置關聯 — https://github.com/tile-ai/tilelang/pull/3321
- [10] tile-ai/tilelang PR #3466 昇騰 VF 域外標量 sqrt — https://github.com/tile-ai/tilelang/pull/3466
- [11] tile-ai/tilelang PR #3535 昇騰 PTO Ramp 型別化向量 — https://github.com/tile-ai/tilelang/pull/3535
- [12] tile-ai/tilelang-ascend PR #1657 四個逐元素運算元中文文件 — https://github.com/tile-ai/tilelang-ascend/pull/1657
- [13] tile-ai/tilelang-ascend PR #1910 GLM-5.3 kpool 壓縮運算元 — https://github.com/tile-ai/tilelang-ascend/pull/1910
- [14] tile-ai/tilelang-ascend PR #1895 KDA chunk 反向運算元 — https://github.com/tile-ai/tilelang-ascend/pull/1895
- [15] tile-ai/tilelang-ascend PR #1887 indexer 反向運算元 — https://github.com/tile-ai/tilelang-ascend/pull/1887
- [16] tile-ai/tilelang-ascend PR #1907 UB 到 L1 暫存保留塊註解 — https://github.com/tile-ai/tilelang-ascend/pull/1907
- [17] tile-ai/tilelang-ascend PR #1903 併發核心快取釋出修復 — https://github.com/tile-ai/tilelang-ascend/pull/1903
- [18] tile-ai/tilelang-hygon PR #25 MLS 視窗常量 K 起點 — https://github.com/tile-ai/tilelang-hygon/pull/25
- [19] tile-ai/tilelang-hygon PR #18 暫存器流水線與 warp_diverge — https://github.com/tile-ai/tilelang-hygon/pull/18
- [20] tile-ai/tilelang-mlir-ascend PR #204 TVM 隔離修復 — https://github.com/tile-ai/tilelang-mlir-ascend/pull/204
- [21]
tile-ai/TileOPs PR #2659 SM89 塊縮放 FP8 分組 GEMM — https://github.com/tile-ai/TileOPs/pull/2659
- [22] tile-ai/TileOPs PR #2655 SM89 INT8 W8A8 GEMM — https://github.com/tile-ai/TileOPs/pull/2655
- [23] tile-ai/TileOPs PR #2642 MLA 分頁前向 — https://github.com/tile-ai/TileOPs/pull/2642
- [24] tile-ai/TileOPs PR #2635 MLA KV 快取寫入 — https://github.com/tile-ai/TileOPs/pull/2635
- [25] tile-ai/TileOPs PR #2639 QK-Norm-RoPE 融合 — https://github.com/tile-ai/TileOPs/pull/2639
- [26] tile-ai/TileOPs PR #2634 逐 token 量化 RMSNorm 融合 — https://github.com/tile-ai/TileOPs/pull/2634
- [27] tile-ai/TileOPs PR #2651 INT8 W8A8 運算元封裝 — https://github.com/tile-ai/TileOPs/pull/2651
- [28] tile-ai/TileOPs PR #2648 GQA 分頁 FP8 前向轉已實現 — https://github.com/tile-ai/TileOPs/pull/2648
- [29] tile-ai/TileOPs PR #2650 GDN 前填按 warp 組求解 — https://github.com/tile-ai/TileOPs/pull/2650
- [30] tile-ai/TileOPs PR #2645 DeltaNet 前向狀態每 chunk 一次矩陣乘 — https://github.com/tile-ai/TileOPs/pull/2645
- [31] tile-ai/TileOPs PR #2637 GLA 反向狀態梯度去矩陣乘 — https://github.com/tile-ai/TileOPs/pull/2637
- [32] tile-ai/TileOPs PR #2636 批次 GEMM 瓦片寫回重疊 — https://github.com/tile-ai/TileOPs/pull/2636
- [33] tile-ai/TileOPs PR #2641 長行歸約 512 執行緒摺疊 — https://github.com/tile-ai/TileOPs/pull/2641
- [34] tile-ai/TileOPs PR #2640 最大池化索引行 L2 逐出策略 — https://github.com/tile-ai/TileOPs/pull/2640
- [35] tile-ai/TileOPs PR #2646 bf16 除法縮放旁路 — https://github.com/tile-ai/TileOPs/pull/2646
- [36] tile-ai/TileOPs PR #2652 float32 取餘與向下整除取整 — https://github.com/tile-ai/TileOPs/pull/2652
- [37] tile-ai/TileOPs PR #2638 Mamba-1 選擇性掃描前向 — https://github.com/tile-ai/TileOPs/pull/2638
- [38] tile-ai/TileOPs PR #2653 MoE 分組路由列舉收斂 — https://github.com/tile-ai/TileOPs/pull/2653
- [39] tile-ai/TileOPs PR #2656 夜間報表新運算元欄與歷史解析 — https://github.com/tile-ai/TileOPs/pull/2656
- [40] tile-ai/TileOPs 規格統計分支(205/205) — https://github.com/tile-ai/TileOPs/tree/stats
- [41] tile-ai/TileFoundry PR #244 Apple AMX 支援與 Qwen 預填充示例 — https://github.com/tile-ai/TileFoundry/pull/244
- [42] tile-ai/TileFoundry PR #240 CUDA 程式碼生成四處缺口 — <https://github.com/t
ile-ai/TileFoundry/pull/240>
- [43] tile-ai/TileFoundry PR #245 估值上下文統一 — https://github.com/tile-ai/TileFoundry/pull/245
- [44] tile-ai/TileOPs-nightly snapshots 分支 — https://github.com/tile-ai/TileOPs-nightly/commits/snapshots
- [45] tile-ai/TileOPs.github.io PR #77 六個新運算元寫入 API 頁 — https://github.com/tile-ai/TileOPs.github.io/pull/77
- [46] tile-ai/tilelang 版本檔案 0.1.15 — https://github.com/tile-ai/tilelang/blob/main/VERSION
- [47] tile-ai/TileOPs 依賴宣告 tilelang 0.1.12 — https://github.com/tile-ai/TileOPs/blob/main/pyproject.toml
- [48] fanyuxiao-ui/w4a16-tilelang 社群實現 — https://github.com/fanyuxiao-ui/w4a16-tilelang
- [49] sablin39/tilelang-cuda-skills 社群技能包 — https://github.com/sablin39/tilelang-cuda-skills
- [50] localizethedocs/tilelang-docs-l10n 文件本地化 — https://github.com/localizethedocs/tilelang-docs-l10n
- [51] Google News TileLang 檢索 — https://news.google.com/search?q=TileLang
- [52] arXiv TileLang 檢索 — https://arxiv.org/search/?query=TileLang&searchtype=all