Расходы по дням
По прайсу OpenAI, разбивка по ключам
Ключи сегодня
Расход пулов по каждому ключу
Модели за период
Что сжирает больше всего
Пулы ключей
Упорядоченный набор ключей для участника: по умолчанию первый, при сбое, паузе или исчерпании — следующий.
Vector stores
Клиент пишет один общий ID, Buffet подставляет копию этого vector store на ключе, который обслуживает запрос. Ключ без своей копии для таких запросов пропускается.
Прокси
Страна определяется при проверке по IP выхода — так её видит OpenAI. Buffet сам проверяет все прокси каждые 5 минут.
| Прокси | Адрес | Состояние | Используют |
|---|
Группы прокси
Балансировщик для ключа: если прокси не отвечает, не принимает логин или OpenAI не обслуживает его страну, запрос сразу идёт через следующий. Упавший прокси пропускается, пока не оживёт.
Ключи
Через что каждый ключ ходит в OpenAI. Выбор сохраняется сразу.
| Ключ | Прокси или группа | Работает ли ключ |
|---|
Группы проверяются сверху вниз: модель попадает в первую подходящую. Лимиты считаются отдельно для каждого ключа и сбрасываются в 00:00 UTC.
| Ключ | Запросы | Токены | Средний запрос | $ по прайсу | $ к оплате | Доля |
|---|
| Время | Статус | Модель | Ключ · группа | Участник | Вход / кеш | Выход | Стоимость |
|---|
Маршрутизация
Как Buffet выбирает ключ и что пропускает
Контекст
Кто хранит историю диалога
Цены OpenAI
USD за 1M токенов. Первое совпадение шаблона побеждает.
| Модель / шаблон | Вход | Кеш | Выход | Вход >272K | Кеш >272K | Выход >272K | $ / мин | Мин на сессию |
|---|
Колонки «>272K» применяются, когда вход запроса больше 272 000 токенов. Пусто = такая же цена, как обычно. Стоимость — оценка по прайсу; точная сумма в счёте OpenAI.