Latent Space 2026 年 7 月 8 日訪問 Modal CTO Akshat Bubna，主題是 Modal 完成 3.55 億美元 C 輪後怎麼看 Agent Experience。Agent 操作雲端時，文件和 dashboard 不夠；平台要把失敗輸出、環境設定和下一次執行接起來。
Kubernetes 的假設太穩#
Akshat 回到 Modal 起點時，講的是 runtime。Kubernetes 難管，擴縮偏慢，custom image 和 accelerator 設定成本高；長駐 web server 可以接受，bursty、compute-heavy 的 AI 工作負載很快卡住。Modal 先把 serverless functions 用在 ETL、job queue 和 bursty processing，ChatGPT 出現前一年加進 GPU。產品後來收在 inference、training、batch 和 sandbox workloads。
AX 從 decorator 和 CLI 開始#
Modal 的 decorator 把硬體、映像和擴縮設定放在執行程式碼旁邊。少改 YAML 只是第一層效果。Agent 更在意失敗後能不能改同一份程式碼再跑。Akshat 說 SDK team 已改用 Agent Experience 思考產品。Modal 也把 logs 和 metrics 推到 CLI，讓 agent 自己查失敗。當程式碼主要由 agent 生成，逐行讀 code 的價值下降，能重現的錯誤輸出更像操作入口。
沙盒把 loop 放到產品表面#
Modal 2023 年 5 月做出 sandbox API。早期範例是 smol developer loop，agent 產生程式後進沙盒執行，再拿失敗結果改下一版。Akshat 提到 RL rollouts 有時需要 100,000 sandboxes。Production agents 還會要 persistent files、snapshot and restore、networking，必要時要 GPU。他對 sandbox level 的 LLM-mediated permission 很保留，因為資料可能被帶出去。硬邊界仍放在沙盒層。Modal 因此把自己放在 specialized sandbox provider 的位置，不規定 harness 用 managed agent，或跑在 Modal Sandbox。
彈性推論撐起需求#
Modal 跑出需求的場景是自訂模型 inference。Suno 這類音訊公司、Runway 這類影片公司，還有 robotics 和 comp bio 團隊，常在別處訓練模型，再把部署和擴縮交給 Modal。不同區域、模型、launch 和日夜週期會讓 GPU 需求快速變動。Modal 用 autoscaling 和 GPU snapshotting 降低 cold start，並往 LLM inference 模型層做 DeFlash、speculative decoding 和 Auto Endpoints。Auto Endpoints 可從 UI 或 CLI 建 endpoint，帶最佳化，也給程式碼和 eject 路徑。Akshat 提醒，production-grade inference 還要管 tail latency 和 request delivery；租到 GPU 只是第一步。
Supercloud 靠供給和網路撐住#
Modal 的 capacity pool 橫跨 17 個 cloud providers，沒有自有資料中心。多雲供給讓它處理 regional capacity、data locality 和 latency；可靠性層在 GPU 掉線時保護 user workloads。Sidecars 控制 outbound networking，例如 proxy、logging、egress domain 和 credentials。I6PN 讓同一 workspace 的 containers 用 private IPv6 互通。RDMA 原本支撐 serverless multi-node training，適合較小到中型 post-training 和研究迭代。Akshat 也提到內部 auto inference repo，agent 會跑 sweeps、NVIDIA profiler，甚至在 H200 和 B200 間切換找設定。
Modal Bench 用來看 agent 操作 Modal 時卡在哪裡。agent 找不到 logs、metrics 或修錯入口，產品就補 CLI 或新的 surface area。Latent Space 這集沒有證明所有雲端平台都會變成 agent cloud；Modal 能直接指出的只有 decorator、sandbox API、Auto Endpoints 和 CLI 觀測，這些產品行為正在改 AI workload 的操作介面。