破解的 PS5 上跑 llama.cpp：客厅里的模型服务器 — Hacker News 中文摘要
来源：github.com — 342 分 · by Anon84 · 83 条评论
📋 概述
PS5LM 项目让破解版 PS5 变成家里的私有模型服务器：llama.cpp 的 Vulkan 后端跑在主机 RDNA 2 GPU 上，11.4 GB 共享内存给模型和上下文，支持 llama.cpp 认识的所有架构与量化。对外提供 OpenAI 的 /v1/chat/completions 与 Anthropic 的 /v1/messages（Claude Code 可直接连），还有电视上的聊天界面、温度与功耗曲线，以及按剩余内存自动规划上下文长度的 planner。Qwen 3.5 9B Q4_K_M 实测 55 token/s。
🔑 核心要点
- 用 llama.cpp 的 Vulkan 后端跑在 PS5 的 RDNA 2 GPU 上，共享内存给 11.4 GB。
- 对外兼容 OpenAI 的 /v1/chat/completions 与 Anthropic 的 /v1/messages，Claude Code 可直接接。
- 实测：Qwen 3.5 0.8B 207 tok/s，Qwen 3.5 9B 55 tok/s，Qwen 3.8 27B 约 20 tok/s、64k 上下文。
- 自带 planner 按可用内存为每个 GGUF 选最长上下文与最优缓存，并可从 Hugging Face 直接下载。
- 还支持决策模型，走 TypeSafe 的 /v1/systemone 接口，一次前向给出 typed 决策。
💡 金句
Your PS5 runs the language model. Every device on your network uses it.
👍 0
👎 0
← 返回 Hacker News 首页