网传字节跳动考虑采用百度昆仑芯,接近字节人士称目前没有合作意向
百度旗下昆仑芯计划赴港上市,目标估值约500亿美元,今年1月1日已提交上市申请表。消息称腾讯已成为昆仑芯客户,字节跳动亦在考虑采用其AI芯片。不过,接近字节跳动的人士对此回应称,字节跳动目前没有和昆仑芯片合作的意向。
百度旗下昆仑芯计划赴港上市,目标估值约500亿美元,今年1月1日已提交上市申请表。消息称腾讯已成为昆仑芯客户,字节跳动亦在考虑采用其AI芯片。不过,接近字节跳动的人士对此回应称,字节跳动目前没有和昆仑芯片合作的意向。
Bloomberg chart showing just how much RAM datacenter GPUs take. Nvidia’s H100 carried 80GB of GPU memory, H200 moved to 141GB, Blackwell moved to 192GB class parts, and GB300 Blackwell Ultra reaches 288GB of HBM3e per GPU. A 72-GPU rack multiplies that into a memory wall big enough to change supplier behavior, because AI servers pay premium prices for capacity and bandwidth that make everyday device memory less attractive
To be clear, I’m not saying the Grok v9 foundation model will be mind-blowingly better than anything, but it will be a solid workhorse in the same league as Opus. And the SpaceXAI cadence of model and harness improvement is speeding up tremendously, particularly due to a few dozen of the top Starlink/Starship engineers shifting a much of their time to AI. Worth noting that the v8 foundation (Grok 4.3) model is a 0.5T model that finished training all the way back in December and has many fundamental flaws, so Grok 4.5 will feel like a gigantic upgrade!
Grok 4.5 基于自研 1.5 万亿参数 V9 基础大模型打造,并引入 Cursor 数据完成补充训练,已在 SpaceX 和特斯拉内部开启测试。早期评测显示其性能接近甚至有望超越 Opus 模型。基于人类反馈的强化学习持续提升模型能力,Grok 配套调度框架每日迭代优化。马斯克还透露,SpaceX 今年每个月将推出一批完全从零开始训练的全新模型。
新浪发布仅3B参数的VibeThinker-3B,在AIME26等数学编程基准上持平DeepSeek V3.2等大200–333倍的模型,LiveCodeBench超越所有20B以下模型,LeetCode竞赛解决123/128题超过GPT-5.2、Kimi K2.5等。但知识密集型GPQA-Diamond大幅落后。模型基于阿里Qwen2.5-Coder-3B,经SFT、强化学习、自蒸馏等多阶段后训练。研究提出“参数压缩-覆盖假说”:逻辑推理依赖少数可压缩模式,而广泛世界知识仍需大参数。模型已开源。
推荐理由:VibeThinker-3B 用 3B 参数在数学编程上匹敌百倍大模型,推理可压缩而知识不能的假设值得深思。对做推理应用的人来说是个信号。
英国前首相府数据科学家Liam Wilkinson搭建76个MCP工具,将Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro等四个模型放入《文明VI》进行23场对局。Claude扮演葡萄牙时,因法国文化胜利逼近,花50回合研发核弹核平图卢兹,但法国最终以外交胜利获胜。Wilkinson发现:AI主动检查全局状态仅占1-2%(感知盲区),计划后10回合内执行率仅48-66%(知行差距)。结论是智商非瓶颈,感知与执行才是关键。
推荐理由:前首相府数据科学家让 Claude、GPT 等打《文明 VI》,揪出了 AI 的「感知盲区」和「知行差距」——更聪明的大脑解决不了睁不开眼、伸不出手的问题,做智能体的必须直面这两个工程瓶颈。
DeepSeek 发布 DSpark 投机解码框架并开源检查点与训练代码。该框架不是新模型,而是在 DeepSeek-V4 权重上附加草稿模块,通过半自回归生成(并行骨干 + 轻量级顺序头)实现无损加速。生产环境下,DeepSeek-V4-Flash 和 V4-Pro 每用户生成速度较 MTP-1 基线分别提升 60–85% 和 57–78%。离线测试中,接受长度比 Eagle3 高 26–31%,比 DFlash 高 16–18%。配套 DeepSpec 训练代码库采用 MIT 许可证。
推荐理由:DeepSeek 开源的这个投机解码框架让 V4 生成提速 60% 以上,关键在于不换模型就能加速,对用 API 做产品的人是立即可用的性能提升。代码和权重都给了,值得一试。
中国人民大学与字节跳动联合发布 iLLaDA,一个 8B 参数、从头训练的密集扩散语言模型。该模型从掩码 token 序列开始,通过多次并行迭代双向精炼文本,不同于自回归模型的逐 token 生成。iLLaDA 在 12 万亿 token 上预训练,并经过 12 轮微调。基础版本 iLLaDA-Base 平均得分 63.9,略超 Qwen2.5 7B 的 63.3,其中推理测试 BBH 提升 21.6 分至 71.3。但指令微调版 iLLaDA-Instruct 得分 67.1,落后于 Qwen2.5 7B Instruct 的 77.1,差距主要在数学和代码任务,作者归因于缺少额外的强化学习对齐。
DeepSeek 联合北京大学发布 DSpark 推理加速框架,已部署于 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro 预览版。DSpark 采用半自回归架构与置信度调度验证机制,在同等吞吐量下将单用户生成速度提升 60% 至 85%。在 Qwen3 系列和 Gemma4-12B 的离线测试中,DSpark 平均每轮接受长度优于 Eagle3 和 DFlash。生产环境下,V4-Flash 引擎在 80 token/s SLA 下吞吐量提升 51%,120 token/s 时提升 661%。相关论文、训练代码已在 GitHub 开源。
重磅消息:OpenAI 刚刚发布了其全新 GPT-5.6 模型套件的有限预览:Sol 是旗舰模型,Terra 是面向“高工作量场景”的中端模型,Luna 则是“快速且实惠”的日常模型。 最耐人寻味的是发布机制:OpenAI 表示,美国政府要求它在更广泛开放之前,先从一个小的可信合作伙伴预览开始。 Sol 是旗舰模型,OpenAI 声称它比 GPT-5.5 更进了一步,尤其是在智能体工作方面——模型必须进行规划、使用工具、自我纠错,并在多个步骤中持续工作。 Terminal-Bench 2.1 是一个可靠的编码基准,因为它测试的是命令行工作流,因此这意味着 Sol 是在更接近真实工作的混乱开发者任务中接受评判的。 --- 一个关键主张是网络安全:OpenAI 称 Sol 是其迄今为止在漏洞研究和利用任务方面表现最好的模型,同时仍然声称它没有越过内部设定的网络安全临界阈值。 “GPT-5.6 经过训练,会拒绝被禁止的网络援助,包括用户试图伪装其意图或对模型进行越狱攻击的情况。”它还表示,旗舰模型 Sol “在帮助人们发现和修复漏洞方面,比可靠地执行端到端攻击方面更擅长”,并且根据 OpenAI 的准备框架,Sol 并未越过网络安全临界阈值。 但在经过测试的 Chromium 和 Firefox 环境中,Sol 并未自主产生完整的全链利用。 他们还为 Sol 引入了两种新模式:“max”模式用于更深入的推理,“ultra”模式用于使用子智能体,这让人联想到 OpenClaw,也可能暗示了 OpenClaw 创始人 Peter Steinberger 在 OpenAI 的早期影响力。 --- 定价:GPT-5.6 Sol 每百万输入 token 收费 5 美元,每百万输出 token 收费 30 美元,与 GPT-5.5 大致相当。 Terra 的定位是在成本降低 2 倍的情况下接近 GPT-5.5 的性能,而 Luna 则是面向大容量工作负载的最便宜模型。 --- 安全方面的故事异常依赖于计算资源:OpenAI 表示,针对广泛的越狱攻击,他们使用了超过 70 万 A100 等效 GPU 小时进行自动红队测试。 总体而言,OpenAI 在预览阶段似乎采取了更为谨慎的方法,而特朗普政府正在密切关注此事。 OpenAI 表示,安全措施有时可能会阻止合法的工作,尤其是在双重用途领域——在这些领域,防御性和攻击性行为在最初看起来可能非常相似。这正是预览版旨在测试的一点。 [引用 @OpenAI]:推出 GPT-5.6 Sol 的有限预览,这是我们下一代前沿模型,同时推出的还有 GPT-5.6 Terra,一款用于高效日常工作的均衡模型,以及 GPT-5.6 Luna,一款面向高容量工作、快速且经济的模型。 https://openai.com/index/previewing-gpt-5-6-sol/
6月27日,OpenAI发布GPT-5.6系列,包含旗舰版Sol(输入$5/百万tokens,输出$30)、均衡版Terra($2.5/$15)和速度版Luna($1/$6)。Sol在Terminal-Bench 2.1标准模式下得分88.8%,超Claude Mythos 5的88.0%,Ultra模式达91.9%;GeneBench v1上消耗更少token且胜GPT-5.5;ExploitBench中以约1/3输出token达Mythos Preview相近表现。目前仅向“可信合作伙伴”提供预览,未来几周公开上线,7月在Cerebras上线Sol,速度最高750 token/s。
oh and also...750 token/sec coming to 5.6 sol in july!
重磅消息:OpenAI 刚刚发布了其全新 GPT-5.6 模型套件的有限预览:Sol 是旗舰模型,Terra 是面向“高工作量场景”的中端模型,Luna 则是“快速且实惠”的日常模型。 最耐人寻味的是发布机制:OpenAI 表示,美国政府要求它在更广泛开放之前,先从一个小的可信合作伙伴预览开始。 Sol 是旗舰模型,OpenAI 声称它比 GPT-5.5 更进了一步,尤其是在智能体工作方面——模型必须进行规划、使用工具、自我纠错,并在多个步骤中持续工作。 Terminal-Bench 2.1 是一个可靠的编码基准,因为它测试的是命令行工作流,因此这意味着 Sol 是在更接近真实工作的混乱开发者任务中接受评判的。 --- 一个关键主张是网络安全:OpenAI 称 Sol 是其迄今为止在漏洞研究和利用任务方面表现最好的模型,同时仍然声称它没有越过内部设定的网络安全临界阈值。 “GPT-5.6 经过训练,会拒绝被禁止的网络援助,包括用户试图伪装其意图或对模型进行越狱攻击的情况。”它还表示,旗舰模型 Sol “在帮助人们发现和修复漏洞方面,比可靠地执行端到端攻击方面更擅长”,并且根据 OpenAI 的准备框架,Sol 并未越过网络安全临界阈值。 但在经过测试的 Chromium 和 Firefox 环境中,Sol 并未自主产生完整的全链利用。 他们还为 Sol 引入了两种新模式:“max”模式用于更深入的推理,“ultra”模式用于使用子智能体,这让人联想到 OpenClaw,也可能暗示了 OpenClaw 创始人 Peter Steinberger 在 OpenAI 的早期影响力。 --- 定价:GPT-5.6 Sol 每百万输入 token 收费 5 美元,每百万输出 token 收费 30 美元,与 GPT-5.5 大致相当。 Terra 的定位是在成本降低 2 倍的情况下接近 GPT-5.5 的性能,而 Luna 则是面向大容量工作负载的最便宜模型。 --- 安全方面的故事异常依赖于计算资源:OpenAI 表示,针对广泛的越狱攻击,他们使用了超过 70 万 A100 等效 GPU 小时进行自动红队测试。 总体而言,OpenAI 在预览阶段似乎采取了更为谨慎的方法,而特朗普政府正在密切关注此事。 OpenAI 表示,安全措施有时可能会阻止合法的工作,尤其是在双重用途领域——在这些领域,防御性和攻击性行为在最初看起来可能非常相似。这正是预览版旨在测试的一点。 [引用 @OpenAI]:推出 GPT-5.6 Sol 的有限预览,这是我们下一代前沿模型,同时推出的还有 GPT-5.6 Terra,一款用于高效日常工作的均衡模型,以及 GPT-5.6 Luna,一款面向高容量工作、快速且经济的模型。 https://openai.com/index/previewing-gpt-5-6-sol/
重磅消息:OpenAI 刚刚发布了其全新 GPT-5.6 模型套件的有限预览:Sol 是旗舰模型,Terra 是面向“高工作量场景”的中端模型,Luna 则是“快速且实惠”的日常模型。 最耐人寻味的是发布机制:OpenAI 表示,美国政府要求它在更广泛开放之前,先从一个小的可信合作伙伴预览开始。 Sol 是旗舰模型,OpenAI 声称它比 GPT-5.5 更进了一步,尤其是在智能体工作方面——模型必须进行规划、使用工具、自我纠错,并在多个步骤中持续工作。 Terminal-Bench 2.1 是一个可靠的编码基准,因为它测试的是命令行工作流,因此这意味着 Sol 是在更接近真实工作的混乱开发者任务中接受评判的。 --- 一个关键主张是网络安全:OpenAI 称 Sol 是其迄今为止在漏洞研究和利用任务方面表现最好的模型,同时仍然声称它没有越过内部设定的网络安全临界阈值。 “GPT-5.6 经过训练,会拒绝被禁止的网络援助,包括用户试图伪装其意图或对模型进行越狱攻击的情况。”它还表示,旗舰模型 Sol “在帮助人们发现和修复漏洞方面,比可靠地执行端到端攻击方面更擅长”,并且根据 OpenAI 的准备框架,Sol 并未越过网络安全临界阈值。 但在经过测试的 Chromium 和 Firefox 环境中,Sol 并未自主产生完整的全链利用。 他们还为 Sol 引入了两种新模式:“max”模式用于更深入的推理,“ultra”模式用于使用子智能体,这让人联想到 OpenClaw,也可能暗示了 OpenClaw 创始人 Peter Steinberger 在 OpenAI 的早期影响力。 --- 定价:GPT-5.6 Sol 每百万输入 token 收费 5 美元,每百万输出 token 收费 30 美元,与 GPT-5.5 大致相当。 Terra 的定位是在成本降低 2 倍的情况下接近 GPT-5.5 的性能,而 Luna 则是面向大容量工作负载的最便宜模型。 --- 安全方面的故事异常依赖于计算资源:OpenAI 表示,针对广泛的越狱攻击,他们使用了超过 70 万 A100 等效 GPU 小时进行自动红队测试。 总体而言,OpenAI 在预览阶段似乎采取了更为谨慎的方法,而特朗普政府正在密切关注此事。 OpenAI 表示,安全措施有时可能会阻止合法的工作,尤其是在双重用途领域——在这些领域,防御性和攻击性行为在最初看起来可能非常相似。这正是预览版旨在测试的一点。 [引用 @OpenAI]:推出 GPT-5.6 Sol 的有限预览,这是我们下一代前沿模型,同时推出的还有 GPT-5.6 Terra,一款用于高效日常工作的均衡模型,以及 GPT-5.6 Luna,一款面向高容量工作、快速且经济的模型。 https://openai.com/index/previewing-gpt-5-6-sol/
OpenAI 开始有限预览 GPT-5.6 系列,分为旗舰 Sol、日常生产 Terra 和低成本快速 Luna 三个层级。新增两种推理控制:max(加深单链推理)和 ultra(利用子智能体并行处理复杂任务)。在 Terminal-Bench 2.1 上,Sol (ultra) 得分 91.91%,Sol (max) 88.76%,超过 Claude Mythos 5(88%)和 GPT-5.5(83.4%)。定价方面,Sol 输入/输出每百万 token 为 $5/$30,Terra 为 $2.50/$15,Luna 为 $1/$6。目前仅向约 20 个合作伙伴开放 API 和 Codex 预览,更广泛接入计划在未来几周内推出。OpenAI 还计划在 7 月用 Cerebras 硬件使 Sol 达到每秒 750 token。
OpenAI 周五宣布,应美国政府要求,将新一代 GPT-5.6 系列模型仅向“小部分受信任的合作伙伴”开放预览。系列包括旗舰模型 Sol、均衡模型 Terra 和低成本快速模型 Luna。Sol 具备增强的智能体能力(编码、生物学、网络安全),引入“max”推理努力模式和“ultra”子智能体协调模式,在编码基准上略优于 Anthropic 的 Claude Mythos 5,输出 token 仅为后者三分之一。定价方面,Sol 每百万输入 token 5 美元、输出 30 美元;Terra 半价;Luna 分别为 1 美元和 6 美元。OpenAI 称此为短期措施,计划未来数周逐步向 ChatGPT、Codex 和 API 用户开放。
OpenAI 推出 GPT-5.6 系列三个模型:Sol 为旗舰,Terra 面向日常工作(性能对标 GPT-5.5 但价格便宜 2 倍),Luna 为快速低价模型。定价按每百万模型 token 计算:Sol 输入 $5 / 输出 $30,Terra 输入 $2.5 / 输出 $15,Luna 输入 $1 / 输出 $6。新版引入更可预测的提示词缓存,支持显式缓存断点和 30 分钟最小缓存生命期;缓存写入按 1.25 倍非缓存输入速率计费,缓存读取继续享受 90% 折扣。目前仅面向部分受信任合作伙伴提供有限预览,未来几周全面开放。
OpenAI 联手 Broadcom 发布 Jalapeño 定制推理芯片,加入 Google、Apple、SpaceX 等自研芯片行列。定制硅意味着更多控制权、针对特定需求的硬件优化以及性能提升,旨在降低对 Nvidia 单一供应商的依赖,形成对冲而非彻底脱钩。
OpenAI 发布了新一代模型 GPT-5.6 Sol 的预览信息。该模型被定位为下一代模型,目前仅公开了预览消息和标题,尚未披露具体技术细节、性能参数或功能特性。
推荐理由:GPT-5.6 Sol 不是一次常规升级,它把推理推到新高度,还引入了子代理模式。但美国政府要求有限预览,让这次发布多了点政治味道。
OpenAI公布与Broadcom合作开发的定制推理芯片Jalapeño,旨在减少对Nvidia的单一供应商依赖,提供更好的控制和性能优化。同一期TechCrunch播客还讨论了Groq的6.5亿美元融资、AI智能体循环的重要性(Claude Code创始人认为其与“从源码到智能体”同等重要)、Agility Robotics计划通过SPAC上市,以及Google DeepMind投资A24开发AI电影制作工具。
Dwarkesh Patel 撰文提出,下一个重大突破将是 AI 在部署后从真实工作中持续学习,而非仅靠 RLVR 训练。
推荐理由:作者提出可验证之外还需可反复模拟,并给出 OPSD 与 dreaming 两条通往持续学习的路径,帮助读者判断 RLVR 泛化争论。
OpenAI 发布 GPT-5.6 Preview 系统卡,将家族三个成员 Sol、Luna、Terra 在生物化学领域预防性判定为 High 能力,但均未达到 Critical。
推荐理由:系统卡披露了 GPT-5.6 家族的生化和网络安全能力评估细节,读者可以据此了解 OpenAI 如何划定 High 与 Critical 阈值并部署防护。
Fable5 小范围灰度测试降智,安全加强导致上下文窗口和长文本优化受限。不过在 Claude Code v2.1.190 版本中,Fable5 计费已从单独 API 改为包含在每周套餐里。受此影响,GPT-5.6 被要求分阶段发布,从六月推迟到七月中。作者推荐在 Claude Code 中开启动态工作流(多 Agent),使用低一档的 Sonnet 4.6 模型并将 ultracode 推理程度拉满,作为降智后的替代方案。
华为与湖北移动基于OceanStor A800存储与昇腾A3超节点架构,搭载UCM(推理记忆数据管理)技术,完成全国运营商首个AI推理加速方案现网测试。针对MiniMax M2.5、GLM-5.1等模型,在8K至190K长序列场景下,Token吞吐率最高提升372%。其中MiniMax M2.5下首Token延迟(TTFT)优化26%~62%,单NPU卡TPS在64K序列提升58%、128K提升78%;GLM-5.1下TTFT优化51%~93%,TPS提升56%~372%。
推理市场是软件中最大的市场。AI工作负载正从同步聊天转向异步、多轮智能体,运行时长可达数小时。Sail Research 为此构建了集群感知(fleet‑aware)编排系统,以最大化每美元推理支出的吞吐量。
通过对比7B参数的OLMo 3(Transformer)与OLMo Hybrid(混合架构),实验发现混合模型在大多数token上预测损失更低:对名词、动词、形容词等实义词优势明显(loss gap约0.04),功能词上gap约0.02,且在需上下文推理的代词指代上更好。但在重复出现的n-gram和闭合括号(如`}`)上,混合模型的优势几乎消失,Transformer凭借注意力机制更擅长从输入中直接检索精确信息。
推荐理由:OLMo 团队的 token 级别分析让人看清混合模型到底强在哪里,优势在名词动词等意义词,但在重复 token 上接近消失,这份洞察对做模型架构的人很有启发性。
Google Research提出一种新架构,在已冻结的Gemini Nano v3模型上改造Multi-Token Prediction(MTP),以加速Pixel 9和10系列上的设备端推理。该方法基于EAGLE框架和CALM,无需单独训练占用内存的草稿模型,通过“晚期退出”策略实现加速。AI通知摘要和校对功能因此生成文本速度显著提升、能耗降低,开发者无需为每个新任务微调独立模型。
推荐理由:谷歌这篇技术博客值得端侧开发者细读,他们把多令牌预测硬是装进了已部署的 Nano 模型,Pixel 上生成加速五成,还省了 130MB 内存,零拷贝架构的想法挺巧,但没法直接复现,主要是开脑洞用的。
SGLang 为 DeepEP MoE 推理新增两种调度时负载均衡方法:Waterfill 将共享专家分配给负载更低的 rank,在 DeepSeek-V3/R1 服务负载下使总吞吐量提升 1.48% 至 4.66%,在 DeepSeek V4 上最佳点从 49,253 tok/s 提升至 51,677 tok/s(+4.92%);LPLB 基于线性规划优化冗余专家副本的 token 路由,配合 EPLB 在相同集群上实现吞吐量提升 0.84% 至 7.34%。
推荐理由:SGLang 引入 Waterfill 和 LPLB 两种负载均衡算法,实测 DeepSeek V3/R1 和 V4 吞吐提升最高 7%,用 SGLang 跑 MoE 推理的开发者值得一试。
318 tps.....太疯狂了.....你们是怎么做到的...我们还得更加努力才行...
you may have heard that glm-5.2 at 280 token/s is cool, how about 318 and we still have room to go