WebLLM：高性能浏览器内 LLM 推理引擎
来源：github.com — 排名 #12 · 36 分
📋 概述
WebLLM 是一个高性能的浏览器内 LLM 推理引擎，完全在浏览器中以 WebGPU 硬件加速运行，无需任何服务器支持。它完全兼容 OpenAI API，可在本地任意开源模型上使用流式输出、JSON 模式等功能，兼具隐私保护与 GPU 加速，是 MLC LLM 的配套项目，在 GitHub 上已有超过 1.8 万星。
🔑 核心要点
- 完全在浏览器内运行无需服务器支持
- 借助 WebGPU 实现硬件加速
- 与 OpenAI API 完全兼容可本地跑开源模型
- 支持流式输出与 JSON 模式等功能
- 在 GitHub 上拥有 1.8 万以上星标
💡 金句
为每个人带来构建 AI 助手的乐趣，并在享受 GPU 加速的同时保护隐私。
👍 0
👎 0
← 返回 Hacker News 首页