工具GPT-Load支持多渠道Key池轮询代理服务！

https://github.com/tbphp/gpt-load

介绍

说明

这个项目可以支持所有OpenAI官方及兼容格式的渠道（目前测试过OpenAI官方，硅基，Chutes等渠道）还有Gemini渠道以及Anthropic渠道的Key池代理，智能拉黑和恢复机制。

优势

• 多渠道类型，任意分组：互相隔离，互不干扰。你甚至可以把Gemini的付费Key和免费Key进行不同的分组管理，以支持不同的管理方式。
• 集群架构：天然支持集群部署，没有啥问题是加机器解决不了的。
• 服务一线：直接用于我的公益站多个渠道的Key池负载，高并发稳定运行。并且也能根据公益站使用情况来反馈推进迭代，会长期稳定维护。
• 智能负载：Key池轮询大家应该都比较了解。不仅如此，上游地址也可以轮询。一个分组你可以配置多个上游代理地址，根据权重轮询进行负载。你可以配置官方接口、多个CF AI Gateway、Deno、或者其他Proxy，这不稳稳的！
• 透明代理：没有进行任何格式转换。所以你之前怎么请求上游的，现在只需要把地址改成GPT-Load的代理地址即可。零拷贝流式传输、连接池复用等机制让流式输出速度几乎和上游一致。
• 智能故障处理： Key的重试机制和智能拉黑以及自动检查恢复机制算是基础功能了。
• 密钥分离： 区分认证密钥和代理密钥，并且代理密钥支持系统配置的全局密钥和分组单独密钥，适合不同场景。

部署

目前就说最简单的Docker Compose部署吧。

安装：

mkdir -p gpt-load && cd gpt-load
wget https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/docker-compose.yml
wget -O .env https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/.env.example
docker compose up -d

几行代码就部署成功。

更新至最新版：

docker compose pull
docker compose down
docker compose up -d

最近才上线，应该会更新频繁，佬友们也尽量保持更新。

使用

管理端

• 访问 http://localhost:3001，使用 sk-123456登录就可以用了。（初始默认值，可以在.env环境配置里面修改）

• 进入密钥管理，新建分组。

  新建分组截图

  

  • 分组名称：取一个小写的名称。这是代理路由，每个分组都有唯一的代理地址：http://localhost:3001/proxy/{group_name}。也可以创建后直接在分组信息里面看到该分组的代理地址。
  • 渠道类型：目前支持openai或者gemini两种。
  • 上游地址：可以填官方API地址，例如Gemini的官方API地址(https://generativelanguage.googleapis.com)，如果你有其他代理，也都可以填写。并且可以配置多个，根据权重来进行轮询。
  • 高级配置：可以单独给分组设定配置参数（例如重试次数，拉黑阈值），覆盖系统配置。
  • 参数覆盖：就是New API里面的一样的功能，你可以在这儿配置Gemini的思考或者搜索,及其他任何你想覆盖的参数。不过你一定要非常了解上游的参数才行，否则不建议修改。

• 创建好分组就可以进行API调用了，你要获取分组的代理地址，见截图：

  分组信息截图

  

  点击地址就可以复制。

接口调用

使用上面获取到的分组地址，此处假设创建了一个名为gemini的分组来管理Gemini的Key池。
现在你只需要使用认证Key(默认sk-123456，可在.env文件修改)调用代理接口，替换掉你之前的直连上游的方式。

直连Gemini官方调用地址：
https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-pro:generateContent?key=AIza*****NQX-s

改为GPT-Load代理调用：
http://localhost:3001/proxy/gemini/v1beta/models/gemini-2.5-pro:generateContent?key=sk-123456

代理地址中的gemini为你的实际分组名称，sk-123456为你配置的环境变量AUTH_KEY。

参数配置

还有各种配置以及更详细的部署调用说明，由于篇幅有限，请直接查看项目README.md：https://github.com/tbphp/gpt-load/blob/main/README.md

也可以查看更详细的在线文档：https://www.gpt-load.com/docs