Modal 发布 VM Sandboxes、Modal Clusters 等多项 Runtime 产品更新
Runtime Roundup: VM Sandboxes, Multi-node clusters, and more
Modal 在其首届 Runtime 大会上发布多项产品更新。VM Sandboxes 为 Agent 提供完整 Linux 环境，已在 Linear、Legora。
Modal 在 Runtime 大会上发布多项基础设施更新，可帮助读者了解面向 Agent 和大规模推理训练的部署能力变化。
Modal 刚刚举办了我们的首届大会 Runtime。以下是我们宣布的一些亮点。
VM Sandboxes
VM Sandboxes 让你的 agent 能够访问一台完整的 Linux 计算机。Agent 越来越希望运行在看起来像真实机器的环境中：运行 Docker 栈、本地数据库和开发服务器、图形环境和移动模拟器，甚至摆弄 Linux 内核本身。
VM Sandboxes 已在 Linear、Legora 和 Snorkel 等客户中投入使用，为编码 agent 和评估提供支持。
Sandbox Sidecars
Sidecar 是与你的主 Sandbox 运行在同一主机上的容器，但拥有与独立 sandbox 相同的隔离性。这意味着 agent 生成的代码可以在主 Sandbox 中运行，而凭证、代理、harness 逻辑或其他可信操作则在 agent 无法直接访问的 Sidecar 中运行。由于这些容器共享同一主机，它们之间的通信保持在本地，避免了在执行密集型 agent 循环中不断累积的网络往返。
Modal Clusters
在过去 1.5 年里，我们一直在实战测试一个新原语：多节点集群。现在，它们已通过单个装饰器 @modal.clustered 正式可用。Modal Clusters 支持跨多个协同容器运行的作业，例如服务或训练万亿参数模型。
Modal Clusters 已在 Decagon 的后训练、1x 的预训练以及 Runway 的实时推理中投入使用。
Sticky Sessions
Sticky Sessions 允许你将客户端的交互保持连接到同一个正在运行的 Modal 容器，这样你的应用就能在多次请求之间维持状态。通过在应用请求中传入会话令牌，你可以保证路由回你最初启动的同一个容器——为你的终端用户带来无缝重连体验。
对于服务语音模型等实时用例，快速的容器路由至关重要。
Endpoint Candidates
Endpoint Candidates 帮助你在 Modal 上优化推理服务器。将你的生产流量镜像到另一种服务方案，然后比较质量、延迟、吞吐量和成本。你可以暂存多个 endpoint candidate，然后通过基准测试来决定是否将其提升到生产环境。
Endpoint candidates 目前面向部分客户开放私有测试版，并将很快正式可用。关注 Modal Changelog 了解更多。
来源：Modal 官方工程博客 · modal.com