核心问题: 一台 localhost 路由能否安全保管你的提供商密钥、在 34 个免费额度间自动切换,并且不越过任何上限?
RepoDaily 采用评分
RepoDaily 将该项目的采用分评为 91/100（强）：分数来自文章来源、安装路径、生产风险、差异化、许可证清晰度以及 AI/Agent 适配度。
包含 5 个来源、覆盖 2 类来源；如有 RepoDaily 独有模块，会进一步提高证据分。
检测到 5 个工作流步骤、5 个下一步动作，以及 3 个命令/安装信号。
趋势热度为 +398 stars；如内容中有 release、issue 或维护信号，会提高维护可信度。
采纳风险标记为 medium，并包含 6 条安全说明与 4 条跳过条件。
3 个机会视角、5 个替代方案，以及 4 个类型化模块支撑差异化判断。
文章中包含许可证来源或许可证表述。
文章正文和元数据中检测到 9 个 AI/Agent 相关信号。
项目概览
FreeLLMAPI 是一个 TypeScript 自托管聚合器,把 34 家 LLM 提供商的免费额度——474 个模型家族、635 个免费端点——收拢到一个 OpenAI 兼容的 /v1 接口后面。README 的算术很直白:每家 AI 实验室的免费额度单独看都是玩具(每月几百万 token、每天几千次请求),但叠起来大约有每月 74 亿 token 的可用推理容量。除了免费目录,它还支持注册任意自定义的 OpenAI 兼容聊天、向量、图像与音频端点。
路由器为每个请求挑选当前可用的最优模型,在某家提供商被限流时自动切换到下一家,并按 key 统计用量,确保不越过任何免费额度上限。模型目录通过签名 feed 自更新:新免费模型、配额变化和兼容性修复无需 git pull 即可下发。免费安装拿到的是月度快照——新模型比实时 feed 晚 30 天到达——而每年 19 美元的 premium 路由当天同步。
之所以归入安全工具,是因为它真正管理的是你的凭据堆。提供商密钥用 AES-256-GCM 加密落盘在 SQLite 中,由 ENCRYPTION_KEY 解密;仪表盘账号使用 scrypt 口令散列加会话令牌;服务默认只绑定 127.0.0.1。SECURITY.md 坦率得少见:单用户、可信网络工具,设计上就没有多租户认证,没有漏洞赏金,维护者只有一人。
对一个兴趣项目来说,分发面相当广:ghcr.io 上的预构建 Docker 镜像、macOS/Windows 的 Electron 桌面应用、Google Play 的 Android 应用,甚至还有使用 Node 内置 SQLite 驱动的实验性 Termux 安装。仪表盘内置 60 种语言并附带完整简体中文翻译,整体采用 MIT 许可证,版权 2026 年归 Tashfeen Ahmed 所有。
为什么现在变热
- 趋势期内获得 398 颗星,2026-08-27 排名第 16。
- 每月约 74 亿免费 token、34 家提供商、635 个端点的数字,把一堆玩具额度变成一份可用的推理预算。
- 单一 /v1 接口加自动故障转移,免掉了免费额度叠加最劝退的逐家切换成本。
- AES-256-GCM 密钥落盘加密加默认 localhost 绑定,让聚合器有了多数密钥脚本从未有过的安全故事。
- 覆盖面广:ghcr.io 镜像、macOS/Windows 桌面发行版、Google Play 应用,并为 Claude Code、Codex CLI、Cline、Continue、Aider、opencode、Cursor 提供现成配置指南。
解决什么问题
- 每家 AI 实验室都有免费额度,但单家每月只有几百万 token、每天几千次请求,撑不起持续使用。
- 管理几十个提供商密钥意味着手工记录限流,以及散落各处的明文 .env 文件。
- 多数客户端和编程智能体只讲 OpenAI 聊天格式,而有些工具需要 Anthropic Messages 接口。
- 免费额度变化频繁——模型上新、配额调整——手工维护的目录很快失效。
- 安全地管理密钥需要落盘加密和按 key 用量统计,临时脚本几乎从不做这两件事。
工作原理
- 部署:按 docs/install.md 用 Docker Compose 拉起 ghcr.io 镜像,安装桌面应用,或运行 npm run dev——服务端在 :3001、仪表盘在 :5173。
- 在仪表盘录入提供商密钥;密钥以 AES-256-GCM 加密存入 SQLite,仅能通过 ENCRYPTION_KEY 解密。
- 把任意 OpenAI 兼容客户端指向单一 /v1 接口,使用统一的 freellmapi-… bearer key。
- 路由器按 auto:* 路由策略为每个请求选择模型,某家被限流时自动切换到下一家。
- 按 key 的用量统计确保每个账号都留在免费上限之内;签名目录 feed 无需 git pull 即同步模型、配额与兼容性修复。
产品演示与界面预览
安全姿态:政策到底承诺了什么
SECURITY.md 是仓库里信息量最大的文件,因为它划了硬边界。范围内:/v1 代理、/api/* 管理路由与 /mcp 端点;仪表盘认证(scrypt、会话令牌)与统一的 freellmapi-… API key;密钥处理,包括 AES-256-GCM 落盘加密、ENCRYPTION_KEY 的使用、加密数据库备份与密钥导入导出;Electron 桌面应用的本地数据目录;以及 Docker 打包(Dockerfile、docker-compose.yml、安装脚本),包括密钥泄漏进镜像层或日志的情形。Premium 许可证校验和签名目录 feed 同样在范围内。
设计上不在范围内:上游提供商自身的漏洞,以及任何要求运维者刻意把服务暴露到公网的场景。工具默认绑定 127.0.0.1,HOST_BIND=0.0.0.0 是附带警告的文档化选项,且设计上没有多租户认证。政策直说:“我把服务放到公网 IP 上、配额被人用掉了”属于预期行为,不是漏洞。
加固建议重申了两条最要紧的规则:保护好 ENCRYPTION_KEY 和 .env,因为它们能解密所有已存提供商密钥,丢失密钥等于丢失全部密钥;生产环境显式设置 ENCRYPTION_KEY,而不是依赖生成的开发回退值。Docker 用户被要求重拉 :latest 以停留在有补丁的 0.6.x 版本线。
命令面:确切的开发循环
- npm install 之后 npm run dev——服务端 :3001、仪表盘 :5173,均带热更新。
- npm run db:migration:up 应用全部数据库迁移;迁移以单文件形式放在 server/src/db/migrations/,已应用的文件不得再改。
- npm run db:migration:create --name=add_embedding_index 生成新迁移;npm run db:migration:down 回滚。
- npm test 运行服务端 vitest 套件(如存在客户端测试则一并运行);每个 PR 必须带测试并保持套件通过。
- 在 client/ 下运行 npm run check:i18n,以 en.json 为基准校验 60 种仪表盘语言。
- 引导脚本 scripts/dev-bootstrap.sh 与 scripts/dev-bootstrap.ps1 只在 package-lock.json 变化时安装依赖,并在 .env 缺失时创建它。
- 站点侧资产包括 docs/index.html、install.sh(Unix Docker 引导)、install.ps1(PowerShell 引导)与 success.html。
维护风险:版本线与一双手
- SECURITY.md 说得很直白:“这是一个由一人维护的兴趣项目”——确认回复以天计,明确不是 24 小时 SLA。
- 只有 0.6.x(当前版本线)获得安全修复;0.5.x 尽力而为,0.4.x 及更早不再支持。没有回移植补丁,Docker 用户必须重拉 :latest。
- 没有漏洞赏金——能提供的是发布说明中的署名和真诚的感谢。
- 免费安装拿到的是月度目录快照,新模型比实时 feed 晚 30 天;当天同步需要每年 19 美元的 freellmapi.co premium。
- 贡献规则直接抵制未审阅的模型输出:“不得编造事实。提供商限流、模型 id 和端点必须向提供商核实”——目录里一条错误限流会发给所有人。
集成面:谁在和谁对话
- 入口:单一 OpenAI 兼容 /v1 接口、Anthropic Messages 接口、/mcp 端点与 /api/* 管理路由。
- 已写明配方的客户端:Claude Code、Codex CLI、Cline、Continue、Aider、opencode、Cursor,另有编辑器补全与 Context Handoff 功能。
- 模态:聊天补全、流式、工具调用、视觉、Gemini Google Search grounding、向量,以及通过自定义 OpenAI 兼容提供商接入的图像与音频。
- 附加能力:带每请求控制与自定义工具输出过滤器的提示词压缩,以及把提供商 HTTP 请求经由用户控制的流式应用层中继转发的 Fetch Relay。
- 平台:ghcr.io 镜像、macOS/Windows 的 Electron 桌面端、Google Play 的 Android 应用,以及使用 Node 内置 SQLite 驱动的实验性 Termux 安装。
把密钥交给它之前的采用清单
- 确认运行在 0.6.x——更早的版本线完全不再收到安全修复。
- 在 .env 中显式设置 ENCRYPTION_KEY 并妥善备份;丢失它等于丢失所有已存提供商密钥。
- 保持 HOST_BIND 未设置,让服务留在 127.0.0.1;确需放宽,就在前面加一台带 TLS 与认证的反向代理。
- 核对你的技术栈依赖的模型是否已出现在目录快照里——免费安装最多滞后 30 天。
- 检查新增的每家提供商是否符合 CONTRIBUTING.md 里项目自己的标准:无需信用卡、真正免费即可上手。
- 若从源码自建,运行 npm test;CONTRIBUTING.md 要求每个 PR 的 vitest 套件保持通过。
谁适合关注
适合关注
- 想为零成本原型获得免费推理容量、又不想在任何地方绑卡的个人开发者和学生。
- 编程智能体用户——docs/clients.md 为 Claude Code、Codex CLI、Cline、Continue、Aider、opencode、Cursor 提供了配方。
- 把服务留在 localhost 或可信局域网、并能持续更新 Docker 镜像的自托管用户。
- 需要把聊天、向量、图像、音频收进一个 OpenAI 兼容接口的人。
可以先跳过
- 需要多租户访问控制的团队——项目在设计上明确不提供。
- 计划把端点暴露到公网的人;该场景被明确划出安全范围。
- 要求 SLA 支持漏洞处理的组织——支持来自一名维护者,尽力而为,且无漏洞赏金。
- 不付费就需要新模型当天可用的用户;免费安装要等最多 30 天。
风险与注意事项
工程质量是真的,安全文档也少见地诚实,但一个由单人维护、只支持一条版本线、且持有全部凭据的服务,对个人使用之外的场景属于中等风险。
- SECURITY.md 自述为一个由一人维护的兴趣项目,确认以天计,且没有漏洞赏金。
- 安全修复只落在 0.6.x;0.5.x 尽力而为,0.4.x 及更早不支持,也没有回移植补丁。
- 服务存储你拥有的每一个提供商密钥,ENCRYPTION_KEY 或 .env 一旦泄漏,全部同时失守。
- 免费目录更新比实时 feed 滞后 30 天,配额或兼容性修复可能迟到。
- 提供商 API 密钥以 AES-256-GCM 加密落盘于 SQLite;ENCRYPTION_KEY 是唯一解密秘密,默认只有生成式开发回退值。
- 仪表盘账号使用 scrypt 口令散列加会话令牌;API 访问使用统一的 freellmapi-… bearer key。
- 网络默认 127.0.0.1;HOST_BIND=0.0.0.0 为附带警告的可选项,文档建议放宽暴露时前置带 TLS 与认证的反向代理。
- 加密数据库备份与密钥导入导出明确列入漏洞范围,密钥泄漏进 Docker 镜像层或日志同样在列。
- 报告渠道为 GitHub 私密漏洞报告,或以“[freellmapi security]”为题发邮件至 [email protected];修复发布前不建议开公开 issue。
- Electron 桌面应用的本地数据目录在范围内;上游提供商漏洞与刻意公网部署被排除在外。
替代方案比较
| 方案 | 适用场景 | 代价 |
|---|---|---|
LiteLLM | 想要一个广泛部署、由更大团队维护的 OpenAI 兼容代理,带提供商路由与消费控制。 | 开源(MIT),另有付费企业版 |
LocalAI | 更愿意在自己的硬件上跑开源权重模型,而不是聚合云端免费额度。 | 开源(MIT) |
OpenRouter | 想要零运维的托管多模型网关,按 token 付费。 | 按用量计价,含部分免费模型 |
Portkey | 团队需要带可观测性与护栏的托管 AI 网关。 | 商业版定价 |
直接使用提供商 SDK | 只用一两家提供商,不需要故障转移或统一接口。 | 各提供商授予的免费额度 |
这个趋势说明了什么
把免费容量当成真实的预算科目
每月 74 亿 token 足以零边际成本地跑原型、智能体和 side project——前提是上限被自动遵守。按 key 用量统计正是让这个数字可用而非纸面数字的那块拼图。
让一个真实负载通过 /v1 跑一周,然后查看按 key 的用量统计,数一数有多少提供商上限被逼近。
给编程智能体一个成本地板
文档为 Claude Code、Codex CLI、Cline、Continue、Aider、opencode、Cursor 提供配方,还有 /mcp 端点——而智能体是多数开发者最大的 token 消耗方。
把一个智能体以 auto: 路由策略接到 /v1,对比它一周的 token 消耗与当前付费 key 的账单。
目录时效性就是付费切口
项目卖的是时延而非功能:免费安装比实时 feed 晚 30 天看到新模型,premium 每年 19 美元当天可见。这个切分让你清楚知道自己买的是什么。
先确认你的技术栈依赖的具体模型是否已出现在月度快照里,再决定 premium 是否重要。
RepoDaily 判断
FreeLLMAPI 是少见的把提供商密钥当首要资产对待的聚合器:落盘加密、默认 localhost,并用一份点名自身局限的安全策略做了文档化。按设计用法——单用户、可信机器、0.6.x——34 个免费额度表现得像一个慷慨的端点;想把它当共享服务用,它会礼貌地拒绝。