SemiAnalysis 深度解析 TileRT 如何在 NVIDIA GPU 上实现超高交互性推理

SemiAnalysis 发布 TileRT InferenceX 长文分析：TileRT 将整个 decode 图静态编译为单一持久 kernel，在单台 B200 上跑 InferenceX GLM5 FP8 744B 达到最高 500 tokens/s/user，约为传统引擎的 3 倍，iso-cost 下交互性最高快 2 倍。