跳到正文
5月7日周四
  1. IT之家·人工智能64

    谷歌为 Gemma 4 系列 AI 模型推出 MTP 起草器,推理速度最高提升 3 倍

    谷歌为Gemma 4系列开源模型推出多Token预测起草器,采用推测解码技术以提升推理效率。该技术通过轻量级起草器预测多个未来Token,再由重型目标模型并行验证,从而突破内存带宽限制,将计算资源利用率最大化。实测显示,在特定条件下,Gemma 4 26B模型在Apple Silicon芯片上实现了约2.2倍的本地加速。此举有助于在个人电脑、消费级显卡及边缘设备上高效部署低延迟AI应用,如聊天机器人和编程助手。

  2. IT之家·人工智能49

    Skymizer 公布 AI 推理解码加速器:单 PCIe AIC 可集成 384GB 内存

    中国台湾地区AI IP企业Skymizer近日发布推理解码加速器芯片HTX301,该芯片可与GPU协同工作,加速AI推理结果的输出,提升算力系统利用率和能效。HTX301基于HyperThought软硬件协同平台,采用LISA指令集架构,专注于带宽密集型负载处理。其支持SoC与PCIe AIC两种部署形态,其中单张PCIe加速卡可集成6颗HTX301芯片,提供总计384GB内存,足以满足7000亿参数大模型的本地运行需求,而整卡功耗仅为240瓦。

  3. IT之家·人工智能59

    谷歌 DeepMind 将借力《星战前夜》游戏,攻克 AI 长期规划难题

    谷歌DeepMind宣布收购Fenris Creations少数股权,并将在大型多人在线游戏《星战前夜》中训练AI,以攻克AI长期规划难题。这款运营了23年的游戏拥有复杂的科幻宇宙和高度社会模拟,要求玩家进行长期策略规划与政治博弈,正切中当前AI研究的薄弱环节。为确保不影响玩家体验,DeepMind初期将在隔离服务器上进行研究,游戏方也将利用其成果优化游戏。Fenris Creations近期刚以1.2亿美元现金及加密货币完成自我回购。

  4. Apple Machine Learning Research64

    SpecMD: 关于推测性专家预取的综合研究

    研究团队开发了SpecMD,这是一个用于在各种硬件配置上对临时缓存策略进行基准测试的标准化框架。该研究聚焦于混合专家模型,这类模型虽然实现了稀疏专家激活,但需要专家缓存机制才能将稀疏性转化为实际性能提升。此前的研究提出了以硬件为中心的缓存策略,但不同缓存策略之间以及它们与不同硬件规格之间的相互作用尚不明确。SpecMD框架旨在填补这一理解空白,系统性地评估缓存策略的交互影响与硬件适配性。

    推荐理由:MoE推理的缓存策略一直靠经验摸,Apple给的标准化框架能系统比较不同策略,做分布式推理的可以省些心力。

  5. IT之家·人工智能63

    SpaceX 向 Anthropic 开放大型 AI 超级计算机 Colossus 1 使用权,包含超 22 万颗英伟达 GPU

    SpaceX与Anthropic达成协议,后者将获得其大型AI超算Colossus 1的全部算力使用权。该超算配备超过22万颗英伟达H100、H200及下一代GB200 GPU。Anthropic将利用这些算力显著提升Claude付费订阅用户的服务容量,包括将Claude Code的五小时速率限制提高一倍、取消高峰时段限速,并大幅提高Claude Opus模型的API速率限制。此外,双方还计划合作开发吉瓦规模的轨道AI算力设施。

  6. Apple Machine Learning Research73

    从位置认知到功能理解:为多模态大语言模型设立空间功能智能基准

    现有基准如VSI-Bench主要评估基础几何感知能力,但未能触及具身智能所需的高阶认知。为此,研究团队推出了空间功能智能基准SFI-Bench,该基准包含超过1700个问题,数据来源于多样化的第一人称室内扫描视频。SFI-Bench旨在系统评估多模态大模型从物体位置感知到功能意图理解的高级空间推理能力,标志着对智能体空间认知的评估从几何层面迈向功能层面。

    推荐理由:Apple 自己搞的 SFI-Bench 把评估从几何定位推进到功能理解,这个方向很对,做具身智能和空间推理的团队该跟一下。

  7. Hugging Face 社区博客65

    vLLM V0 到 V1:在线强化学习中优先确保后端行为正确性

    为确保 vLLM 从 0.8.5 到 0.18.1 的重大重写后,在线强化学习训练结果与 V0 参考运行一致,团队优先修复后端行为而非调整 RL 目标。关键修复包括:将日志概率模式设为 `processed_logprobs` 以匹配采样器分布;禁用 V1 特有的前缀缓存和异步调度等运行时默认值;调整权重更新路径以匹配 V0 的缓存保留行为;并确保 rollout 后端使用 fp32 精度的 `lm_head` 进行最终投影。这些措施消除了策略比率均值偏差,使 V1 在 KL 散度、熵等指标上与 V0 达成一致。

    推荐理由:vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。

5月6日周三
  1. SenseTime71

    🚀 SenseNova-U1 更新: ⚡ 开源8步蒸馏LoRA:100 NFE降至8 NFE,H100推理时间从23秒缩短至2秒 🧩 现已支持ComfyUI,提供文生图、图像编辑和交错生成的即用工作流 试用链接 👇 https://github.com/OpenSenseNova/SenseNova-U1/

    推荐理由:从100步到8步,23秒压到2秒,商汤这个蒸馏LoRA把U1的推理成本打下来了,做实时图像应用的可以认真看看,ComfyUI一接就能跑。

  2. IT之家·人工智能71

    豆包大模型家族首款全模态理解模型:字节跳动 Doubao-Seed-2.0-lite 升级

    字节跳动火山引擎发布豆包大模型家族首款全模态理解模型 Doubao-Seed-2.0-lite 升级版。该模型原生统一支持视频、图像、音频和文本理解,并能进行跨模态联合推理,在物理、医疗等学科推理及细粒度感知上表现超越此前Pro版本。音频方面支持19种语种转写及多语种互译,多项基准测试优于Gemini-3.1-Pro。同时,其Agent、Coding与GUI能力升级,能更稳定处理长任务、胜任深度开发,并实现界面理解与操作执行的闭环。新版本已在火山方舟上线,旨在为企业提供高性价比的全模态任务部署方案。

    推荐理由:豆包Seed 2.0 lite把视频、音频、图片、文字原生塞进一个模型,还顺手强化了Agent和GUI操作,对需要全模态处理的企业来说,这可能是目前性价比最高的选择。

  3. IT之家·人工智能60

    苏姿丰称 AMD 已向核心客户送样 MI450 GPU,下半年提高 AI 机架 Helios 出货量

    AMD首席执行官苏姿丰在财报会议上宣布,已开始向核心客户送样Instinct MI450 GPU加速卡,并计划在下半年逐步提高Helios AI机架的出货量。客户需求强劲,已超出公司对2027年的内部预期,OpenAI等已签署大规模部署协议。MI450基于CDNA 5架构,其FP8算力较前代翻倍,并升级搭载了HBM4内存。该系列被AMD用来对标英伟达的竞品平台,其内存容量和横向扩展带宽具备优势。

  4. IT之家·人工智能68

    AMD 苏姿丰:智能体 AI 重构算力格局,CPU 与 GPU 配比向 1:1 演进

    AMD CEO苏姿丰在财报会议上指出,智能体AI正重塑服务器CPU市场。她表示,AI是增长核心驱动力,云服务商正扩展部署AMD霄龙处理器。智能体AI工作负载需要额外CPU算力进行任务编排和数据移动,这推动了CPU需求的强劲增长。苏姿丰预计,在智能体AI推动下,服务器CPU市场的年复合增长率可能达到35%。她强调CPU需求是对GPU市场的补充,并透露CPU与GPU的配比正从传统的1:4或1:8向1:1演进,在智能体密集场景中CPU数量甚至可能超过GPU。

  5. MiniMax (official)48

    速度至关重要 🚀 很高兴看到 M2.7 在 SambaCloud 上运行最快 - 现已面向企业版和开发版提供。

    引用SambaNova@SambaNovaAI

    MiniMax M2.7 is now running FASTEST on SambaCloud 🚀 Built for coding, OpenClaw, and self-evolving agent workflows. Available today across Enterprise & Dev tiers. Try it now: https://sambanova.ai/blog/build-self-evolving-agents-on-sambacloud-with-minimax-2.7?utm_source=x&utm_medium=organic&utm_content=blog-announcement

  6. MiniMax (official)57

    MiniMax-M2.7模型已在六家推理服务提供商上线,性能与价格呈现明显差异。SambaNovaAI以每秒435个输出令牌的速度领先,是次快的FireworksAI_HQ(127令牌/秒)的3.4倍。在定价上,FireworksAI_HQ等四家提供商与官方API持平,而SambaNova价格高出约2倍。Fireworks和SambaNova在速度与价格的权衡中处于帕累托前沿。各提供商缓存折扣策略不同,部分提供80%折扣,这影响了缓存密集型工作负载的成本。最优选择取决于具体需求:SambaNova更适合延迟敏感型应用,而Fireworks则适用于对延迟不敏感的大规模任务。

    引用Artificial Analysis@ArtificialAnlys

    MiniMax-M2.7 is now available across six inference providers on Artificial Analysis, with significant differentiation in speed and price @SambaNovaAI leads on speed at 435 output tokens/s, >3x faster than any other provider. @FireworksAI_HQ, @novita_labs, @togethercompute, and @GMI_cloud have all matched @MiniMax_AI's first-party API pricing, while SambaNova is 2x higher. Key takeaways: ➤ Fireworks and SambaNova are on the Pareto frontier for Speed vs. Price. At 127 output tokens/s and ~$0.22 per 1M tokens blended, Fireworks is ~2.2x faster than MiniMax's first-party API at the same blended price, whereas SambaNova delivers 435 output tokens/s but at ~2-3.5x the blended price of the other providers (depending on cache usage) ➤ SambaNova is the fastest provider at 435 output tokens/s, ~3.4x the next fastest provider (Fireworks at 127 output tokens/s). The remaining providers run substantially slower: MiniMax’s first-party API at 57 output tokens/s, Novita at 54, GMI at 41, and Together AI at 29 ➤ Cache discounts vary across providers. Fireworks, MiniMax, Novita, and Together AI offer 80% cache hit discounts, while GMI and SambaNova do not offer a discount. For cache-heavy workloads, this can materially increase the relative pricing for GMI and SambaNova ➤ Optimal provider choice depends on workload. SambaNova may be more suited to latency-sensitive deployments, albeit at a higher cost, while Fireworks may be more suitable for high-volume workloads that are not as latency-sensitive

  7. IT之家·人工智能75

    OpenAI ChatGPT 默认 AI 模型升至 GPT-5.5 Instant:幻觉最高减少 52.5%、回复更简洁

    OpenAI于5月5日将ChatGPT默认模型升级为GPT-5.5 Instant,重点提升准确性与简洁性。新模型在医疗、法律、金融等高风险领域,幻觉声明较前代减少52.5%;在用户标记的事实错误测试中,不准确声明降低37.3%。回复内容更简洁,减少了不必要的表情符号和冗长格式。所有用户即日起开始获得更新,付费用户可继续使用GPT-5.3 Instant三个月。

  8. Zyphra Research67

    Zyphra 发布 ZAYA1-8B:全 AMD 集群训练的 MoE 模型

    Zyphra 发布 ZAYA1-8B,一个活跃参数不足 10 亿的 MoE 模型,是首个完全在 AMD Instinct MI300 集群(1,024 个节点,与 IBM 合作构建)上完成预训练、中期训练和监督微调的模型。

    推荐理由:原文给出活跃参数不足 1B 的 MoE 模型在数学和编码基准上的具体成绩,以及全 AMD 集群训练和 Markovian RSA 测试时计算方法。

  9. Elon Musk83

    Grok 4.3 [引用 @xai]:Grok 4.3 现已在 xAI API 上线。这是我们迄今为止最快、最智能的模型。 它在 @ArtificialAnlys 排行榜的智能体工具调用和指令遵循方面位居榜首,并在 @ValsAI 的企业领域(如案例法和公司金融)中排名第一。 Grok 4.3 支持 100 万 token 的上下文窗口,定价为输入每百万 token 1.25 美元,输出每百万 token 2.50 美元。 创建 API 密钥并开始构建:http://console.x.ai/team/default/api-keys

    引用xAI@xai

    Grok 4.3 现已上线 xAI API。这是迄今为止我们最快、最智能的模型。 它在 @ArtificialAnlys 的智能体工具调用和指令跟随排行榜上位居榜首,并且在 @ValsAI 的企业领域(如判例法和公司金融)中排名第一。 Grok 4.3 支持 100 万模型 token 的上下文窗口,定价为每百万输入 token 1.25 美元,每百万输出 token 2.50 美元。 创建 API 密钥并开始构建:http://console.x.ai/team/default/api-keys

    推荐理由:Grok 4.3 把 agentic tool calling 和指令遵循两个榜单压在脚下,百万上下文配上亲民价格,对做自动化 agent 的团队是个够分量的信号。

  10. OpenAI:官网动态82

    GPT-5.5 Instant:更智能、更清晰、更个性化

    ChatGPT的默认模型已更新为GPT-5.5 Instant。新版模型能提供更智能、更准确的答案,并有效减少了幻觉现象。同时,用户获得了更强的个性化控制能力,使交互体验更贴合个人需求。此次升级标志着模型在理解精度与响应定制化方面取得了显著进步。

    推荐理由:ChatGPT默认模型替换为GPT-5.5 Instant,不只是变聪明,幻觉减少和个性化控制才是真改进,每个用户都能马上感觉到不同。

  11. Rohan Paul65

    SubQ模型发布,这是首个基于完全次二次稀疏注意力架构(SSA)的前沿LLM,拥有1200万token的上下文窗口。它在处理100万token时比FlashAttention快52倍,成本低于Opus的5%。该模型突破传统Transformer注意力计算所有token关系的限制,通过稀疏注意力选择性聚焦重要关系,使长上下文处理的计算量减少近1000倍,显著改变了LLM的成本曲线和扩展方式。

    引用Alexander Whedon@alex_whedon

    Introducing SubQ - a major breakthrough in LLM intelligence. It is the first model built on a fully sub-quadratic sparse-attention architecture (SSA), And the first frontier model with a 12 million token context window which is: - 52x faster than FlashAttention at 1MM tokens - Less than 5% the cost of Opus Transformer-based LLMs waste compute by processing every possible relationship between words (standard attention). Only a small fraction actually matter. @subquadratic finds and focuses only on the ones that do. That's nearly 1,000x less compute and a new way for LLMs to scale.

5月5日周二
  1. Runway:News55

    60倍速冷启动:将同级GPU视为权重服务器

    Runway平台团队开发的NCCLBack系统,通过P2P权重传输将模型冷启动时间从数分钟缩短至数秒。其核心创新在于让新启动的GPU推理节点直接从集群内已加载权重的同级GPU获取模型参数,而非从云存储重复下载。该系统利用GPU互连(如InfiniBand、NVLink)高达200-400 Gbps的带宽,相比传统存储下载的2-10 Gbps实现了数量级提升。通过Redis协调与NCCL广播原语,NCCLBack确保了数据传输的效率和正确性,使得大规模集群部署新模型时,冷启动时间不随节点数量线性增长,基本保持恒定。

    推荐理由:Runway 工程师把 GPU 冷启动从分钟压到秒级,原理是让已加载权重的 GPU 直接「喂」给新同伴,而不是各自从存储下载。做大规模推理部署的团队值得细读。

  2. Apple Machine Learning Research66

    PORTool: 基于奖励树和重要性感知的策略优化方法,用于多工具集成推理

    研究团队提出PORTool算法,以解决多工具集成推理中仅依靠结果奖励导致的信用分配模糊问题。该方法通过重要性感知策略优化,在结果级监督下强化智能体的工具使用能力,同时实现步骤级奖励分配。PORTool生成奖励树来明确关键决策步骤,从而更精确地引导模型学习有效的工具调用序列,提升复杂任务解决的效率和可靠性。

    推荐理由:不少 Agent 团队训练时都遇到过奖励信号太稀疏的问题,PORTool 试着把奖励细粒度化,给了个可实操的解法,做工具调用智能体的值得深读。

  3. Google Developers Blog66

    在谷歌TPU上实现3倍加速:UCSD利用扩散式推测解码优化LLM推理

    加州大学圣地亚哥分校的研究团队在谷歌TPU上成功部署了DFlash,一种基于块扩散的推测解码方法。该方法突破传统自回归草稿生成的序列性瓶颈,通过单次前向传播并行“绘制”整个候选令牌块,而非逐个预测。系统平均实现了3.13倍的推理加速,峰值性能接近EAGLE-3等现有方法的两倍。这一开源方案已集成至vLLM生态系统,通过利用“免费”的并行验证能力和针对复杂推理任务的高质量草稿预测,显著优化了TPU硬件的利用效率。

    推荐理由:把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

  4. Elon Musk41

    在“Vals AI”的私人基准测试中,Grok 4.3在法律和金融领域展现出领先的智能水平。它在CaseLaw (v2)测试中以79.31%的准确率排名第一,该测试基于真实加拿大法庭案例,评估深度法律推理和先例理解能力,表现优于GPT-5.1。同时,它在针对复杂长期信贷协议的CorpFin (v2)测试中以68.53%的准确率夺冠,评估了对多页金融合同条款、风险的理解。这些模拟高风险现实挑战的测试表明,Grok 4.3在最困难的任务中具备卓越的推理能力。xAI正致力于构建世界所需的推理引擎。

    引用X Freeze@XFreeze

    Grok 4.3 just became the smartest AI in the world at law and money It took #1 on TWO brutal private tests no other model could win on “Vals AI” benchmarks #1 CaseLaw (v2) - 79.31% accuracy Private Q&A benchmark over real Canadian court cases. Tests deep legal reasoning, precedent understanding, and precise answers from complex judgments. (outranking GPT-5.1 at 73.42%) #1 CorpFin (v2) - 68.53% accuracy Private benchmark on long-context credit agreements. Evaluates how well models truly understand dense, multi-page financial contracts, terms, risks, and clauses These are not just basic tests - they’re real-world, high-stakes legal + financial reasoning challenges Grok 4.3 leads in accuracy on both, proving it’s not just fast or cheap… it’s the smartest at the hardest real world tasks xAI is building the reasoning engine the world needs

  5. Tomasz Tunguz 博客63

    每日仅需8条广告,广告支持型AI的经济可行性分析

    基于开源模型和商用GPU的广告支持型AI在经济上可行。计算表明,一个由4块B200 GPU组成的集群服务300名用户时,每小时成本约18美元。通过广告收入即可覆盖成本:在内容网络中每3分钟展示一条广告(CPM 3.12美元),或在搜索广告中每39分钟展示一条(CPM 38.40美元),这一广告频率已与常见的移动和网页应用相当。对于代码代理等高强度任务,可采用混合盈利模式:用户每月支付10美元订阅费并每日观看8条广告,即可支持约200万token的用量,这证明了该模式的实用性。

    推荐理由:Tunguz 用一页纸的算账说清了广告支持 AI 的经济账,一天看 8 条广告就能换两百万 token,这对做免费 AI 产品的团队是个真正有说服力的模型。

5月4日周一
  1. IT之家·人工智能51

    消息称 Anthropic 看上英国企业 Fractile 推理芯片,有意导入

    据报道,AI公司Anthropic正考虑引入英国芯片初创企业Fractile的推理芯片,计划将其作为英伟达GPU、亚马逊Trainium和谷歌TPU之外的第四类AI算力资源,目标在2027年部署。谈判目前仍处早期阶段。Fractile芯片采用独特的“模拟内存计算”架构,宣称运行头部AI模型时速度可提升25倍,成本降至十分之一。该公司此前已获得英特尔前首席执行官帕特·基辛格的投资。

  2. IT之家·人工智能51

    豆包将在免费模式外新增付费订阅:68 元 / 200 元 / 500 元三档,主打生产力场景

    豆包在免费模式外新增付费订阅服务,推出三档价格:标准版连续包月68元、包年688元;加强版连续包月200元、包年2048元;专业版连续包月500元、包年5088元。付费功能专注于复杂任务和生产力场景,如PPT生成、数据分析和影视制作,以满足专业用户对高价值任务的需求。免费版本将继续服务日常使用,官方表示相关方案仍在测试阶段,正式上线时会公布完整信息。