AI 助手与 Agent
Strata - Local LLM
在自己的游戏电脑上免费离线运行 1250 亿参数大模型。
AI 助手与 Agent
在自己的游戏电脑上免费离线运行 1250 亿参数大模型。
产品洞察
在消费级硬件上获得接近服务器级的大模型能力,不按 token 付费。
这种规模的模型通常需要数据中心级显卡或付费云端 API。
拥有 12 GB 以上显卡和 32 GB 以上内存、想要私有本地大模型的玩家和开发者。
免费开源(MIT 协议)。只需自备硬件和约 80 GB 磁盘空间。
Strata 就是大家搜索“Strata LLM”时通常指的项目:一个本地大模型引擎和应用,可在 Windows 或 Linux 游戏电脑上运行 1250 亿参数的 Qwen3.8-Flash-Next。最常用的专家留在显卡上,其余放在内存里,查找表存放在固态硬盘。在 RTX 5070 上,根据模型大小每秒可生成约 50 到 95 个 token。它能聊天、写代码、看图,还能接入编程 Agent,全程离线。
从 GitHub 下载 Strata,Windows 双击 START-HERE.bat,Linux 运行 ./setup.sh。
安装程序会检测显卡和内存并推荐合适的大小,然后一次性下载约 70 GB。
打开 http://127.0.0.1:8080 聊天,或把兼容 OpenAI 的应用指向 http://127.0.0.1:8080/v1。
通常指 Strata,一个 GitHub 上的开源应用,能在消费级游戏电脑上运行 1250 亿参数的 Qwen3.8-Flash-Next。这个名字也被一些无关的研究项目使用,比如一篇上下文缓存论文。
需要 12 GB 以上显存的 NVIDIA RTX 20–50 系列或较新的 AMD Radeon 显卡,至少 32 GB 内存(64 GB 可运行所有尺寸),以及约 80 GB 固态硬盘空间。
免费。它采用 MIT 开源协议,完全在你的电脑上运行,没有按 token 收费。
LM Studio 可运行多种适合你电脑的开源模型;Strata 专注于一个超大模型,通过把它拆分到显卡、内存和固态硬盘上,让游戏电脑也能跑起来。
官方网站快照
github.com
Strata(常被搜索为“Strata LLM”)是一款免费开源应用,能在配有 12 GB NVIDIA 或 AMD 显卡的普通游戏电脑上运行 1250 亿参数的 Qwen3.8-Flash-Next。它把模型分摊到显卡、内存和固态硬盘上,并提供浏览器聊天界面和兼容 OpenAI 的本地 API。