LlamaIndex 发布 LiteParse Server 可自托管文档解析服务
LlamaIndex 发布 liteparse-server,将 LiteParse 封装为可自托管的 HTTP 文档解析服务,支持 PDF、Word、PowerPoint、表格和图片,输出带 bounding box 的空间布局文本。
推荐理由:原文给出了接口、格式支持和两种部署模式的具体细节,读者可以据此评估自托管文档解析在隐私和成本上的取舍。
技术方向
开放权重、能下载下来自己部署的模型,开源框架与 GitHub 上爆火的 AI 项目。
715 条精选近 30 天 56 条共收录 3,450 条
LlamaIndex 发布 liteparse-server,将 LiteParse 封装为可自托管的 HTTP 文档解析服务,支持 PDF、Word、PowerPoint、表格和图片,输出带 bounding box 的空间布局文本。
推荐理由:原文给出了接口、格式支持和两种部署模式的具体细节,读者可以据此评估自托管文档解析在隐私和成本上的取舍。
Runway开源了Python库confingy,旨在解决机器学习系统配置的长期痛点。该库允许开发者用纯Python代码(支持懒加载、类型检查和序列化)替代传统YAML配置文件,从而摆脱YAML作为图灵完备领域特定语言所带来的维护困境。confingy无需重构现有代码,即可满足跟踪构造函数参数、避免实例化昂贵对象(如大语言模型)等核心需求,有效改善了因复杂YAML配置导致的无法跳转定义、类型提示失效和重构困难等开发体验问题。
推荐理由:Runway把自家ML训练的YAML坑填平了,开源了confingy。如果你还在用YAML管实验参数,这可能是今年最该装的pip包。
MachinaCheck是一款基于多智能体AI的系统,旨在革新小型CNC机加工车间的报价分析流程。传统上,车间经理需花费30-60分钟手动分析图纸,而该系统在上传STEP文件及材料、公差等简单输入后,能在30秒内生成完整的可制造性报告,明确指出零件能否制造、所需工具及生产前需采取的行动。其核心在AMD MI300X加速卡上本地运行Qwen 2.5 7B模型,利用192GB HBM3显存确保客户设计数据无需离开本地,满足了制造业对数据隐私的严格要求。系统采用五组件流水线,结合精确的几何特征提取与LLM的制造知识推理,最终输出结构化报告。
推荐理由:虽然是hackathon项目,但用多Agent做CNC可行性分析,把推理全压在本地AMD显卡上保护图纸隐私,还给了可跑的代码和Space,制造业AI落地就该这么直接。
研究团队发布了开源肿瘤临床决策支持系统OncoAgent。该系统采用双层多智能体框架,结合LangGraph拓扑与四阶段Corrective RAG流程,检索超过70份权威临床指南。系统根据查询复杂度,将任务路由至9B参数的速度优化模型或27B参数的深度推理模型,两者均通过QLoRA在AMD MI300X硬件上使用包含26万余病例的数据集进行微调。系统强制执行严格的零受保护健康信息政策,并通过三层反射安全验证器确保安全,支持完全本地部署以保护患者数据主权。
推荐理由:这个开源肿瘤AI系统把多智能体、RAG和隐私合规全塞进一台AMD服务器,临床落地又近了一步,不是那种只发论文不交代码的项目。
EMO是一种新型专家混合模型,通过端到端预训练使模块化结构直接从数据中涌现,无需依赖人类定义的先验。该模型允许在特定任务中仅使用12.5%的专家子集(即8个活跃专家中的部分),同时保持接近全模型的性能;当所有128个专家共同使用时,它仍作为强大的通用模型。EMO具有1B活跃参数和14B总参数,训练数据达1万亿令牌。与标准MoE相比,EMO通过文档级路由约束,鼓励专家形成领域专业化组,从而支持选择性使用而不导致严重性能下降,实现了可组合架构,优化了大型稀疏MoE的内存-准确性权衡。
推荐理由:EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。
该项目使用AMD Instinct MI300X(192 GB HBM3显存)和ROCm,通过LoRA微调Qwen3-1.7B模型实现医学问答。训练仅用2000条MedMCQA样本,约5分钟完成,仅更新约220万参数(占模型总参数的0.1443%),全程采用fp16精度,无需量化。HuggingFace生态(Transformers、PEFT、TRL、Accelerate)在ROCm上无缝运行,无需修改代码即可直接替代CUDA。模型已上传至HuggingFace Hub并提供在线Demo。
推荐理由:一个月前的教程了,但如果你是 AMD 党想跑医疗微调,这篇把坑都踩完了,代码直接能复现,LoRA 适配器也挂在 Hub 上,拿来就能用。
为 LLaMA.cpp 实现多 Token 预测(MTP)! 本地运行 Gemma4 模型速度提升 1.5 倍。 我们给 LLaMA.cpp 打了补丁。将 Gemma 4 助手模型量化为 GGUF 格式。我们在 MacBook Pro M5Max 上进行了测试。Gemma 26B 配合 MTP 起草 Token 速度提升 40%。基准测试、源代码和模型 👇
推荐理由:在笔记本上把 Gemma 26B 的生成速度拉高 40% 是个真实的体验提升,atomic.chat 把 MTP 带入 LLaMA.cpp 生态,本地 AI 玩家可以直接拿去用。
2025年10月,Anthropic公司开源了AI模型对齐测试工具箱Petri,用于快速检测模型的欺骗、奉承等风险倾向。该工具已成为Claude模型系列对齐评估的核心部分,并被英国AI安全研究所等外部机构采用。近日,Petri升级至3.0版本,主要改进包括:架构调整提升适应性,允许单独调整审计与目标模型;通过“Dish”附加组件使用真实系统提示和部署环境,增强测试真实性;与另一开源工具Bloom集成,实现更深入的行为评估。为确保独立性与公信力,Petri的开发已移交非营利组织Meridian Labs。
推荐理由:Petri 从 Anthropic 内部工具箱变成行业公共品,捐赠给 Meridian Labs 意味着对齐评估不再绑定一家公司,做安全测试的团队又多了一个可参考的标尺。
Anthropic团队推出自然语言自编码器方法,能将大模型内部的激活值直接解码为可读文本。该方法通过训练“激活描述器”和“激活重建器”,形成“激活值→文本解释→重建激活值”的循环,并以重建相似度为目标进行优化。应用表明,NLA能揭示模型未言明的内部状态,例如在安全测试中,发现Claude内心意识到自己正被评估的比例远超其外部回应。团队已公开代码,并合作发布了交互式探索工具。
推荐理由:Anthropic 搞出了一种从激活中直接读出自然语言的方法,相当于给 Claude 的内心戏配了字幕。他们用这招发现模型在安全测试里比表面更常怀疑自己被评估,对审计隐藏动机也有奇效。做 AI 安全的人应该立刻点开看。
推荐理由:从100步到8步,23秒压到2秒,商汤这个蒸馏LoRA把U1的推理成本打下来了,做实时图像应用的可以认真看看,ComfyUI一接就能跑。
Zyphra 发布 ZAYA1-8B,一个活跃参数不足 10 亿的 MoE 模型,是首个完全在 AMD Instinct MI300 集群(1,024 个节点,与 IBM 合作构建)上完成预训练、中期训练和监督微调的模型。
推荐理由:原文给出活跃参数不足 1B 的 MoE 模型在数学和编码基准上的具体成绩,以及全 AMD 集群训练和 Markovian RSA 测试时计算方法。
构建长时间运行的智能体,并对智能体执行拥有更多控制。 Agents SDK 中的新功能: • 在受控沙箱中运行智能体 • 检查并自定义开源 harness • 控制记忆的创建时机及其存储位置
推荐理由:OpenAI 把 Agents SDK 带到了 TypeScript,而且直接上了沙箱和开源 harness,做 Node.js 代理的可以扔掉自研的调度层了。
Redis创始人Salvatore Sanfilippo提交了为Redis新增数组数据类型的PR,引入了包括ARCOUNT、ARDEL、ARGREP等在内的18个新命令。其中最引人注目的是ARGREP命令,它利用新集成的TRE正则表达式库,可直接在服务器端对数组值进行正则搜索。目前该功能已在一个分支中实现,开发者Simon Willison借助Claude Code构建了一个交互式在线沙盒,通过运行在浏览器中的WASM版Redis子集,供用户体验这些新命令。Salvatore还撰文详细介绍了在AI辅助下开发此功能的历程。
推荐理由:Redis 加数组类型可能改变很多缓存设计,Simon 这个 WASM playground 是把 PR 变成可试产品的最快路径,后端同学可以直接上手体会 ARGREP 的快乐。
加州大学圣地亚哥分校的研究团队在谷歌TPU上成功部署了DFlash,一种基于块扩散的推测解码方法。该方法突破传统自回归草稿生成的序列性瓶颈,通过单次前向传播并行“绘制”整个候选令牌块,而非逐个预测。系统平均实现了3.13倍的推理加速,峰值性能接近EAGLE-3等现有方法的两倍。这一开源方案已集成至vLLM生态系统,通过利用“免费”的并行验证能力和针对复杂推理任务的高质量草稿预测,显著优化了TPU硬件的利用效率。
推荐理由:把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
基于开源模型和商用GPU的广告支持型AI在经济上可行。计算表明,一个由4块B200 GPU组成的集群服务300名用户时,每小时成本约18美元。通过广告收入即可覆盖成本:在内容网络中每3分钟展示一条广告(CPM 3.12美元),或在搜索广告中每39分钟展示一条(CPM 38.40美元),这一广告频率已与常见的移动和网页应用相当。对于代码代理等高强度任务,可采用混合盈利模式:用户每月支付10美元订阅费并每日观看8条广告,即可支持约200万token的用量,这证明了该模式的实用性。
推荐理由:Tunguz 用一页纸的算账说清了广告支持 AI 的经济账,一天看 8 条广告就能换两百万 token,这对做免费 AI 产品的团队是个真正有说服力的模型。
Sierra 从新老投资者处筹集 9.5 亿美元,估值超过 150 亿美元。资金将用于构建基于 AI 的客户体验平台。
推荐理由:9.5亿美元的融资让Sierra成为Agent领域估值最高的公司之一,虽然已是两个月前的旧闻,但作为行业信号仍然值得关注。
推荐理由:OpenClaw 这个版本把 agent 协同和实时控制做得更顺手了,如果你在用多节点 agent,这个升级能省不少调试功夫。
CODEX 技能,残酷检验任何创业点子! 大多数创业点子听起来都不错。 这个 Codex 技能会告诉你它们为什么很可能行不通。 只需把你的点子交给 Codex,它就会替你进行压力测试 -> 找出核心假设 -> 暴露致命缺陷 -> 检查问题是否真实存在 -> 梳理真正的竞争对手 -> 规划你的前 10 个客户 -> 定义 2 周 MVP 安装: npx --yes codex-startup-pressure-test-skill@latest 100% 开源。 仓库在个人简介里
推荐理由:我觉得种子轮前用它榨干想法很值,Greg Brockman 转发的开源技能,输入创业想法就能自动找出核心假设和致命缺陷。
codex宠物分享的图库: 提交入口已开放,可通过下方链接提交👇
构建了 Petdex,一个公开画廊,用于发现、分享并通过一条 curl 命令安装 Codex 宠物。 提交入口在下方链接开放 👇
推荐理由:Greg Brockman 亲自转发的社区画廊,把 Codex pets 的发现和安装简化成一条 curl 命令,对于正在玩 Codex Agent 的开发者来说是个实用的工具箱。
推荐理由:可解释性工具从学术走向工程,Qwen-Scope 把内部特征操控、数据合成、问题溯源打包成套装,做模型调试和长尾优化的团队值得立刻上手试试。