Flide：让 Jev 式决策模型快 9.5 倍
来源：github.com — 2026-11-09
📋 概述
Flide 是针对 Jev 式决策模型的推理引擎，用「精确状态分叉」（exact state forking）把一个状态分成多个问题、每个问题一次前向就答完。官方称比 vLLM 与 SGLang 快最多 9.5 倍，且每个答案与单独提问时完全一致，对外提供 /v1/systemone 接口。
🔑 核心要点
- 0.1.0 已上 PyPI，支持 Qwen3.5、Gemma 4 与 OneJev、Open-Jev 决策模型。
- 问题类型支持 choice 与 noul，可一次提交多问并给出判定依据。
- README 列了 20 多个决策模型在各基准上的加速比，从 1.4 倍到 9.3 倍不等。
- 卖点是「精确」：分叉共享状态但不改变答案，不是用近似换速度。
💡 金句
One state forked into three questions, each answered in one forward pass
👍 0
👎 0
← 返回 Hacker News 首页