dev.to | 📄 原文链接 | 2026-08-23 收录

你的 LLM 应用正在浪费钱:用户关掉标签页后会发生什么

来源:dev.to — 2026-08-22

📋 概述

用户关闭浏览器标签页时,浏览器与服务器之间的连接断了,但服务器与上游 LLM 之间那第二条连接并不会自动取消——若服务器不显式传播取消,生成仍会继续计费,用户可能只收到 500 token 就放弃,而后端却还在为剩余几千 token 付费。文章以 Hono/TypeScript 为例,演示如何用 AbortSignal 把客户端断连(c.req.raw.signal)与服务端超时组合起来传给 fetch 去取消 LLM 请求。核心观点是 LLM 流式服务器本质就是一个普通的异步流处理管道(TransformStream、缓冲、背压),而非什么神秘的 AI 基础设施。

🔑 核心要点

💡 金句

模型可以是概率性的,但服务器不应该是。
← 返回 dev.to 首页