Вибір провайдера ШІ
ReplyRabbit працює з хмарними постачальниками, локальними серверами моделей і власною кінцевою точкою, сумісною з OpenAI. Обирайте за якістю чернеток, вартістю та тим, куди надсилається вміст підтримки. Якщо ви не впевнені, почніть з OpenAI або Anthropic і змініть це пізніше в налаштуваннях поштової скриньки.
Варіанти постачальників
П'ять названих провайдерів є хмарними сервісами, два працюють локально, а користувацький варіант підключається до сервера, який ви налаштовуєте. Хмарні провайдери виставляють рахунок за токен (ви платите їм напряму). Витрати для користувацької кінцевої точки залежать від її оператора.
| Постачальник | Тип | Найкраще для | Ціноутворення |
|---|---|---|---|
| OpenAI | Хмара | Звичайна відправна точка. Доступно на безкоштовному тарифі, тож ви можете спробувати ReplyRabbit з одним провайдером перед оновленням. | platform.openai.com |
| Anthropic | Хмара | Моделі Claude. Надійний універсальний вибір для природних, уважних відповідей підтримки. | anthropic.com |
| Google AI Studio | Хмара | Моделі Gemini, зокрема швидкі та недорогі варіанти. | ai.google.dev |
| OpenRouter | Хмара | Один ключ API, багато моделей від різних постачальників. Добре для експериментів і порівняння моделей без реєстрації всюди. | openrouter.ai |
| Z.AI | Хмара | Моделі GLM. Потужний, економний хмарний варіант. | z.ai |
| Ollama (локальна) | Локальний | Запускає моделі на вашому власному обладнанні (localhost:11434), тому нічого не залишає ваш сервер і немає витрат за токен. | ollama.com |
| LM Studio (локально) | Локальний | Запускає моделі на вашому власному обладнанні (localhost:1234), приватно й без витрат за токен. | lmstudio.ai |
| Власний, сумісний з OpenAI | Ваш сервер або шлюз | Підключіть ReplyRabbit до доступного сервера, який приймає підтримувані запити в стилі OpenAI. | Залежить від вашого сервера |
Безкоштовний рівень використовує OpenAI
Хмара проти локального
Хмарні провайдери (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI) є найпростішим способом почати і зазвичай пропонують найвищу якість чернеток. Ви платите за токен, а вміст розмов, що використовується для ввімкнених AI-функцій, як-от чернетки, наступні дії та AI Signals, залишає ваш сервер і надсилається до API цього провайдера.
Локальні постачальники (Ollama, LM Studio) запускають модель на вашому власному обладнанні. Нічого не залишає ваш сервер, і немає витрат за токен. Компроміс у тому, що вам потрібна досить потужна машина, а якість чернеток залежить від локальної моделі, яку ви запускаєте. Локальні моделі потребують платного тарифу (Pro або Team).
Власний, сумісний з OpenAI підключається до сервера або шлюзу, який ви оберете. Якщо він віддалений, вміст підтримки залишає ваш хост FreeScout. Якщо він у вашій приватній мережі, FreeScout все одно має мати до нього доступ. Введіть точні ідентифікатори моделей і перевірте кожну потрібну вам можливість. Кінцева точка чату не гарантує вбудовування або розпізнавання зображень.
Кешування підказок і бюджети токенів
ReplyRabbit автоматично обробляє кешування запитів провайдера, коли це безпечно для вибраного провайдера. Немає налаштування поштової скриньки для ввімкнення.
- OpenAI: ReplyRabbit надсилає безпечний ключ маршрутизації кешу для прямих запитів OpenAI, щоб повторювані запити підтримки могли маршрутизуватися послідовно.
- Anthropic: ReplyRabbit використовує кешування запитів Claude лише тоді, коли бачить імовірне повторне використання в схожих запитах чернеток. Якщо Anthropic відхиляє керування кешем, ReplyRabbit повторює звичайний запит.
- Gemini, OpenRouter і Z.AI: ReplyRabbit записує метадані токенів кешу, коли провайдер їх повертає, але не нав'язує загальне налаштування кешу через ці маршрути.
- Ollama та LM Studio: локальні моделі не використовують кешування запитів провайдера. Вони все одно можуть уникнути оплати за токени в хмарі, оскільки генерація виконується на вашому обладнанні.
- Власний, сумісний з OpenAI: ReplyRabbit не припускає, що засоби керування кешем запитів OpenAI працюють на користувацькому сервері.
Місячний бюджет токенів залишається консервативним. ReplyRabbit рахує загальні вхідні та вихідні токени, навіть коли постачальник тарифікує кешовані вхідні дані інакше, бо кешовані токени підказки все одно використовують контекст і можуть зараховуватися до лімітів постачальника.
Що мені вибрати?
- Щойно почали: використовуйте OpenAI або Anthropic. Вони дають хороші результати одразу, а OpenAI доступний на рівні Free, тож ви можете спершу спробувати ReplyRabbit.
- Хочете порівняти моделі: використовуйте OpenRouter. Один API-ключ дає вам доступ до багатьох моделей від різних постачальників, тож ви можете експериментувати без окремих облікових записів.
- Конфіденційність або контроль витрат має найбільше значення: використовуйте Ollama або LM Studio. Ваші дані клієнтів ніколи не залишають ваш сервер, і немає рахунку за токени, ціною запуску моделі на вашому власному обладнанні (рівень Pro або Team).
- Уже запущено сумісний API-сервер: використовуйте Власний, сумісний з OpenAI на Pro або Team. Спершу перевірте модель чату, потім задайте окремі моделі вбудовування та розпізнавання зображень, лише якщо ваш сервер їх підтримує.
Далі