Выбор провайдера ИИ
ReplyRabbit работает с облачными провайдерами, локальными серверами моделей и пользовательской конечной точкой, совместимой с OpenAI. Выбирайте по качеству черновиков, стоимости и тому, куда отправляется контент поддержки. Если не уверены, начните с OpenAI или Anthropic и измените позже в настройках почтового ящика.
Варианты провайдеров
Пять именованных провайдеров являются облачными сервисами, два работают локально, а пользовательский вариант подключается к серверу, который вы настраиваете. Облачные провайдеры выставляют счёт за токен (вы платите им напрямую). Стоимость пользовательского эндпоинта зависит от его оператора.
| Провайдер | Тип | Лучше всего для | Тарифы |
|---|---|---|---|
| OpenAI | Облако | Обычная отправная точка. Доступно на тарифе Free, так что вы можете попробовать ReplyRabbit с одним провайдером перед обновлением. | platform.openai.com |
| Anthropic | Облако | Модели Claude. Сильный универсальный выбор для естественных и аккуратных ответов поддержки. | anthropic.com |
| Google AI Studio | Облако | Модели Gemini, включая быстрые и недорогие варианты. | ai.google.dev |
| OpenRouter | Облако | Один API-ключ, множество моделей от разных поставщиков. Хорошо подходит для экспериментов и сравнения моделей без регистрации везде. | openrouter.ai |
| Z.AI | Облако | Модели GLM. Доступный облачный вариант с учётом затрат. | z.ai |
| Ollama (локально) | Локальный | Запускает модели на вашем собственном оборудовании (localhost:11434), поэтому ничего не покидает ваш сервер и нет стоимости за токен. | ollama.com |
| LM Studio (локально) | Локальный | Запускает модели на вашем собственном оборудовании (localhost:1234), приватно и без стоимости за токен. | lmstudio.ai |
| Пользовательский, совместимый с OpenAI | Ваш сервер или шлюз | Подключите ReplyRabbit к доступному серверу, который принимает поддерживаемые запросы в стиле OpenAI. | Зависит от вашего сервера |
Бесплатный уровень использует OpenAI
Облако или локально
Облачные провайдеры (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI) являются самым простым способом начать и обычно обеспечивают наилучшее качество черновиков. Вы платите за токен, а содержимое бесед, используемое для включённых функций ИИ, таких как черновики, следующие действия и AI Signals, покидает ваш сервер и отправляется в API этого поставщика.
Локальные провайдеры (Ollama, LM Studio) запускают модель на вашем собственном оборудовании. Ничего не покидает ваш сервер, и нет стоимости за токен. Компромисс в том, что вам нужна достаточно мощная машина, а качество черновиков зависит от локальной модели, которую вы запускаете. Локальные модели требуют платного тарифа (Pro или Team).
Пользовательский, совместимый с OpenAI подключается к выбранному вами серверу или шлюзу. Если он удалённый, содержимое поддержки покидает ваш хост FreeScout. Если он в вашей частной сети, FreeScout всё равно должен иметь возможность до него достучаться. Введите точные идентификаторы моделей и проверьте каждую нужную вам возможность. Конечная точка чата не гарантирует эмбеддинги или обработку изображений.
Кэширование промптов и бюджеты токенов
ReplyRabbit автоматически обрабатывает кэширование промптов провайдера, когда это безопасно для выбранного провайдера. Настройки почтового ящика для включения нет.
- OpenAI: ReplyRabbit отправляет безопасный ключ маршрутизации кэша для прямых запросов OpenAI, чтобы повторяющиеся промпты поддержки могли маршрутизироваться согласованно.
- Anthropic: ReplyRabbit использует кэширование промптов Claude только при вероятном повторном использовании в совпадающих запросах черновиков. Если Anthropic отклоняет управление кэшем, ReplyRabbit повторяет обычный промпт.
- Gemini, OpenRouter и Z.AI: ReplyRabbit записывает метаданные токенов кэша, когда провайдер их возвращает, но не навязывает общую настройку кэша через эти маршруты.
- Ollama и LM Studio: локальные модели не используют кеширование запросов провайдера. Они всё равно могут избежать оплаты облачных токенов, потому что генерация выполняется на вашем оборудовании.
- Пользовательский, совместимый с OpenAI: ReplyRabbit не предполагает, что механизмы управления кэшем промптов OpenAI работают на кастомном сервере.
Месячный бюджет токенов остаётся консервативным. ReplyRabbit считает общее количество входных и выходных токенов, даже если провайдер тарифицирует кэшированный ввод иначе, потому что кэшированные токены промпта всё равно используют контекст и могут учитываться в лимитах провайдера.
Что мне выбрать?
- Только начинаете: используйте OpenAI или Anthropic. Они дают хорошие результаты из коробки, а OpenAI доступен на плане Free, поэтому вы можете сначала попробовать ReplyRabbit.
- Хотите сравнить модели: используйте OpenRouter. Один API-ключ даёт вам доступ ко многим моделям от разных поставщиков, поэтому вы можете экспериментировать без отдельных аккаунтов.
- Конфиденциальность или контроль затрат важнее всего: используйте Ollama или LM Studio. Ваши данные клиентов никогда не покидают ваш сервер, и нет счёта за токены, ценой запуска модели на вашем собственном оборудовании (уровень Pro или Team).
- Уже запущен совместимый API-сервер: использовать Пользовательский, совместимый с OpenAI на Pro или Team. Сначала проверьте модель чата, затем задайте отдельные модели эмбеддингов и обработки изображений, только если ваш сервер их поддерживает.
Далее