跳到正文
  1. Tomasz Tunguz 博客64

    本地AI模型已能胜任89%日常查询,数据中心将走向个人化

    斯坦福大学与Together AI研究显示,本地AI模型在超百万条真实查询中,对89%的日常聊天与推理问题的回答质量已不输云端前沿模型。本地模型对前沿模型的胜/平率从2023年的23.2%升至2025年的71.3%,智能每瓦特效率同期提升5.3倍。相比全云端方案,本地模型加路由器的组合可降低80%能耗、77%算力与74%成本,但云端在多步推理与高难度领域仍具优势。

    推荐理由:作者借 Koomey 定律类比,把本地模型与云端效率数据放进历史框架,帮助读者理解端侧 AI 的演进节奏。

  1. Tomasz Tunguz 博客65

    本地小模型也能媲美云端前沿模型:Qwen3.8-27B 的另类飞行路径

    本地运行的 Qwen3.8-27B 在 Artificial Analysis 智能指数上以 52 分位列 135 个模型之首,超过 7530 亿参数的 GLM-5.2。在 25 项风投任务评测中,它与云端 DeepSeek V4 输出质量同为 8.0 分,但需多花 7.2 倍 token 思考,速度慢约 9 秒。小模型靠更长的链式推理弥补知识差距,而非直接给出答案。

    推荐理由:作者用同一套 VC 任务实测云端与本地模型,给出质量、速度与思考 token 的具体数据,展示小模型靠推理补知识差距的路径。

  1. 公众号:面壁智能61

    面壁智能CTO曾国洋专访:端侧模型是AI落地关键路径

    面壁智能CTO曾国洋指出,端侧模型是AI落地的关键路径。其原创方法论“模型风洞”可在小规模实验中预测完整训练效果,并基于“知识密度”提出“面壁定律”:知识密度每3.5个月翻一番。2B参数的MiniCPM表现优于同期8B竞品。面壁已完成高通、联发科、英特尔、英伟达、AMD等芯片适配,新发布的BitCPM-CANN模型系列可在华为昇腾芯片上让同一内存多装约6倍模型。全双工全模态模型MiniCPM-o4.5支持实时打断与情绪调整。团队开发了全球首个完全由AI编写的生产级训练框架ForgeTrain,并引入行为模式库实现无需开口的“默契系统”。

    推荐理由:面壁选择了一条少有人走的端侧之路,这篇 CTO 专访把落地的真实困难、原创方法和他们的思考都摊开了,对做模型和做产品的人都有启发。

  1. Tomasz Tunguz 博客62

    5x for Free:本地编程栈

    Hacker News 讨论揭示:Qwen 3.6 35B-A3B 模型提及率 33% 领先,27B 变体以 20% 紧随其后,DeepSeek Pro 与 Gemma4 31B 位列前四。Agent 工具中 Pi (49%) 与 OpenCode (45%) 占主导。用户对比称,Claude Opus 可带来 15 倍加速,而本地离线 Qwen 提供 5 倍加速,且完全免费、保护隐私。SWE-bench Verified 基准测试显示,Qwen 3.6 27B 得分 77.2%,35B-A3B 得分 73.4%,接近 Claude Sonnet 4.6 的 79.6%。MoE 架构使大模型在消费级硬件上高效运行。

    推荐理由:本地模型在编码上正逼近云端前沿,Qwen 35B-A3B 已成社区标配,免费且完全离线让这场替代变得真实,选型逻辑可能从此改变。

  1. Tomasz Tunguz 博客68

    AI的微型钢厂

    作者通过技能蒸馏将78%的AI工作交由Mac本地模型处理,仅复杂任务发往云端。智能体自动分类任务:简单任务本地数秒完成,复杂任务路由至云端。过去一周本地处理峰值达88%。双车道设计使吞吐量提升约25%,平均任务时长从47秒降至19秒,队列等待时间从73秒降至4秒(降幅94%)。该模式类比Nucor小钢厂,每台能运行蒸馏模型的边缘设备都成为小型AI工厂,仅对那1/5困难任务支付云费用。未来几年,数以千万计的此类设备将在企业内部增殖,逐步取代现阶段云厂商账单上的大部分工作负载。

    推荐理由:Tunguz 把自己 78% 的 AI 任务都挪到本地跑,吞吐量涨了 25%,延迟降了 60%。mini-mill 的类比把端侧 AI 的颠覆逻辑讲得比任何行业报告都清楚,做工作流自动化的值得细读。

  1. IT之家·人工智能74

    人民日报专访华为何庭波:今年秋季的新麒麟手机芯片,性能等相比去年是“跳跃性”提升

    华为何庭波提出半导体新演进路径“韬(τ)定律”,以“时间缩微”(如逻辑折叠)替代“几何缩微”作为新指导原则。她表示,过去6年华为已基于此自主研发381款芯片。今年秋季将发布新的麒麟手机芯片,这是首个完整的“韬芯片”,其性能、集成度相比去年是“跳跃性”提升。

    推荐理由:华为提出「韬定律」替代摩尔定律,不是空谈,何庭波说新麒麟芯片性能跳跃提升,证明了这条路的可行性。对半导体行业是一次认知冲击。

  1. Tomasz Tunguz 博客59

    The 6 Messages That Actually Matter

    知识工作者平均每天收到121封邮件,传统收件箱处理模式难以为继。未来邮件处理将转向高度个性化与自动化:用户能用自然语言定义处理规则,实现收据自动转发、销售线索自动录入CRM等流程。所有历史邮件将构成个人上下文层,为AI处理新邮件提供背景信息,敏感信息则由设备端模型进行私密处理。最终,收件箱本身将消失,真正重要的信息可能浓缩至仅6条。

    推荐理由:Tunguz 描绘了一个让收件箱消失的未来,关键是那 6 条真正重要的消息如何被 AI 接管,做产品的人可以把这个当成工作流重构的思考起点。

  1. Tomasz Tunguz 博客67

    本地模型处理半数日常任务,响应速度优于云端

    一项为期五周的实验发现,在总计约1400项日常工作任务中,约50%可由本地35B参数模型(如Qwen 3.6 35B)成功处理,涵盖邮件、日程、总结和行政事务等类别。性能对比显示,本地模型在常规代理任务上的平均响应时间为2.8秒,比云端Claude Opus 4.5快2.1倍,尽管后者在复杂推理上仍领先约20%。本地模型输出更简洁,云端模型则在结构和代码规范性上更优。随着本地模型性能提升,将计算负载转向本地以应对云端成本已成为必然趋势。

    推荐理由:Tunguz用数据告诉你,本地35B模型延迟只有Opus的一半且能完成半数任务,对极致追求响应速度的产品思路冲击很大,本地优先可能会从边缘变成主流。

  1. Elon Musk71

    Tesla通过分析真实车队碰撞数据,结合视觉系统与传感器,实现了安全系统的突破。传统碰撞传感器需要时间确认,降低阈值可能导致误触发。而视觉系统能提前“看到”即将发生的碰撞,与传感器协同,使约束控制器能更早、更准确地启动安全气囊和安全带预紧器。通过仿真重放碰撞并测量人体模型受力,团队发现提前部署能优化保护时机。这一改进使预测伤害严重程度整体显著下移,并通过OTA更新实现,是前所未有的安全提升。

    引用Wes@wmorrill3

    这些点中的每一个都是车队中真实发生的碰撞。真实世界的速度、碰撞和人员。而不仅仅是法规测试用例。 正是这些数据的丰富性才促成了这一结果。通过仿真,我们可以回放碰撞,并测量人体模型上所受的力。 然后遍历约束装置的展开时间,发现更早展开能为气囊提供最佳充气时间,并在乘员移出位置之前完成安全带预紧。 但碰撞加速度计需要时间才能确定。降低这一时间阈值会带来误触发的风险。 使用视觉让车辆有信心缩短这一时间。摄像头看到即将发生的碰撞,并与传感器一起告诉约束控制器降低滤波并更早采取行动。 预测伤害严重程度中的 Y 轴偏移,是基于以更快的检测阈值重新运行碰撞仿真后,人体模型中的传感器得出的。 如此全面地降低伤害严重程度是闻所未闻的,更不用说通过空中升级来实现这一点了。 我为分析团队的工作和奉献感到无比自豪。他们超越职责,提出“我们拥有道路上最安全的汽车,但能否让它更安全?”然后与视觉团队合作,构建实现这一目标所需的预测。经过仿真和物理碰撞测试的严格验证。如今已部署并改善着人们的生活。 我循环观看这段视频,想象着每一个点,一个人。

    推荐理由:below_threshold:T2 推文门槛 75,当前 finalScore=71

  1. Tomasz Tunguz 博客57

    AI推理市场的专业化分化

    AI推理市场正快速分化,各模态如文本、图像、视频和音频发展出独立推理技术栈。自ChatGPT发布后,NVIDIA数据中心收入三年内增长17倍,凸显市场爆发。分化根本原因在于工作负载差异:图像视频生成需高计算力,长上下文消耗更多内存,边缘设备则受功耗限制。市场按延迟分为实时、近实时和批量三层;按模态分为文本、图像视频音频;按部署分为云端和边缘。Hugging Face上已有超9万个图像生成模型,整个AI推理市场规模预计约1000亿美元,这种专业化趋势正为各细分领域创造领导者机会。

    推荐理由:Tomer 把推理市场跟数据库市场做类比,碎片化的逻辑讲得很透,做 AI 基础设施的朋友能直接用来梳理自己的赛道,普通人知道这么回事就行。

已经到底了