Hacker News | 📄 原文链接 | 2026-11-11 收录

亚马逊把工单打标从大模型换成决策模型，成本降了九成八

来源：strandsagents.com — 2026-11-09

📋 概述

亚马逊内部的巨型工单系统原本用 Claude Sonnet 4.6 给工单打 20 类标签，每次都要灌长系统提示、输出 JSON 加推理。两位工程师把它换成了一个只能输出概率的决策模型 Strands Decider（Gemma 4 的 E4B 版本）：给定工单与标签目录，直接返回每个选项的概率与置信度，效果在自有测试集上不输线上的 Sonnet，成本降 98%，一年省下数百万美元的 token 费。

🔑 核心要点

论证核心是任务匹配：打标不需要生成文本，只需要在固定选项上给概率，用生成模型属于工具错配。
部署很朴素：SageMaker ml.g5.xlarge（一块 A10G、24GB），模型占约 19GiB，单次请求约 640 毫秒，端点随流量伸缩且网络隔离。
没有一把梭切换：Lambda 每次从 AppConfig 读三态开关，让 Sonnet 与 Decider 在同一批工单上并行跑，比对后再放量。
整条链路都是标准 AWS 组件——SQS、Lambda、SageMaker 端点、AppConfig、CloudWatch，CDK 定义 Beta/Gamma/Prod 三段部署。

💡 金句

two Amazon engineers recently swapped out Sonnet 4.6 for Strands Decider, a decision model we launched a month ago, that performed just as well at 98% less cost.

← 返回 Hacker News 首页