Wybór dostawcy AI
ReplyRabbit współpracuje z dostawcami w chmurze, lokalnymi serwerami modeli i niestandardowym punktem końcowym zgodnym z OpenAI. Wybierz na podstawie jakości szkiców, kosztu i tego, gdzie wysyłana jest treść wsparcia. Jeśli nie jesteś pewien, zacznij od OpenAI lub Anthropic i zmień to później w ustawieniach skrzynki.
Opcje dostawców
Pięciu nazwanych dostawców to usługi chmurowe, dwóch działa lokalnie, a opcja niestandardowa łączy się z serwerem, który skonfigurujesz. Dostawcy chmurowi rozliczają za token (płacisz im bezpośrednio). Koszty niestandardowego punktu końcowego zależą od jego operatora.
| Dostawca | Typ | Najlepsze dla | Cennik |
|---|---|---|---|
| OpenAI | Chmura | Zwykły punkt wyjścia. Dostępny w planie Free, więc możesz wypróbować ReplyRabbit z jednym dostawcą przed aktualizacją. | platform.openai.com |
| Anthropic | Chmura | Modele Claude. Mocny wszechstronny wybór do naturalnych, starannych odpowiedzi wsparcia. | anthropic.com |
| Google AI Studio | Chmura | Modele Gemini, w tym szybkie, niskokosztowe opcje. | ai.google.dev |
| OpenRouter | Chmura | Jeden klucz API, wiele modeli od różnych dostawców. Dobre do eksperymentowania i porównywania modeli bez rejestracji wszędzie. | openrouter.ai |
| Z.AI | Chmura | Modele GLM. Wydajna, oszczędna opcja chmurowa. | z.ai |
| Ollama (lokalnie) | Lokalny | Uruchamia modele na Twoim własnym sprzęcie (localhost:11434), więc nic nie opuszcza Twojego serwera i nie ma kosztu za token. | ollama.com |
| LM Studio (lokalne) | Lokalny | Uruchamia modele na Twoim własnym sprzęcie (localhost:1234), prywatnie i bez kosztu za token. | lmstudio.ai |
| Niestandardowy zgodny z OpenAI | Twój serwer lub brama | Połącz ReplyRabbit z osiągalnym serwerem, który akceptuje obsługiwane żądania w stylu OpenAI. | Zależy od Twojego serwera |
Warstwa darmowa używa OpenAI
Chmura vs lokalnie
Dostawcy chmurowi (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI) to najłatwiejszy sposób na rozpoczęcie i zwykle oferują najwyższą jakość szkiców. Płacisz za token, a treść rozmów wykorzystywana w włączonych funkcjach AI, takich jak szkice, następne działania i AI Signals, opuszcza Twój serwer i jest wysyłana do API tego dostawcy.
Dostawcy lokalni (Ollama, LM Studio) uruchamiają model na własnym sprzęcie. Nic nie opuszcza Twojego serwera i nie ma kosztu za token. Kompromisem jest to, że potrzebujesz odpowiednio wydajnej maszyny, a jakość szkiców zależy od uruchamianego modelu lokalnego. Modele lokalne wymagają płatnego planu (Pro lub Team).
Niestandardowy zgodny z OpenAI łączy się z wybranym przez Ciebie serwerem lub bramą. Jeśli jest zdalny, treść pomocy opuszcza Twój host FreeScout. Jeśli znajduje się w Twojej prywatnej sieci, FreeScout nadal musi mieć do niego dostęp. Wprowadź dokładne identyfikatory modeli i przetestuj każdą potrzebną funkcję. Punkt końcowy czatu nie gwarantuje osadzeń ani widzenia.
Buforowanie promptów i budżety tokenów
ReplyRabbit automatycznie obsługuje buforowanie promptów dostawcy, gdy jest to bezpieczne dla wybranego dostawcy. Nie ma ustawienia skrzynki, aby to włączyć.
- OpenAI: ReplyRabbit wysyła bezpieczny klucz routingu pamięci podręcznej dla bezpośrednich żądań OpenAI, aby powtarzane prompty wsparcia mogły być kierowane spójnie. Miesięczne rozliczanie budżetu tokenów pozostaje ostrożne.
- Anthropic: ReplyRabbit używa buforowania promptów Claude tylko wtedy, gdy widzi prawdopodobne ponowne użycie w pasujących żądaniach szkiców. Jeśli Anthropic odrzuci kontrolę buforowania, ReplyRabbit ponawia normalny prompt.
- Gemini, OpenRouter i Z.AI: ReplyRabbit zapisuje metadane tokenów pamięci podręcznej, gdy dostawca je zwraca, ale nie wymusza ogólnego ustawienia pamięci podręcznej przez te trasy.
- Ollama i LM Studio: modele lokalne nie korzystają z buforowania monitów dostawcy. Nadal mogą uniknąć rozliczeń w chmurze za token, ponieważ generowanie działa na Twoim sprzęcie.
- Niestandardowy zgodny z OpenAI: ReplyRabbit nie zakłada, że mechanizmy kontroli pamięci podręcznej promptów OpenAI działają na niestandardowym serwerze.
Miesięczny budżet tokenów pozostaje ostrożny. ReplyRabbit liczy łączne tokeny wejściowe i wyjściowe, nawet gdy dostawca rozlicza buforowane dane wejściowe inaczej, ponieważ buforowane tokeny promptu nadal zużywają kontekst i mogą liczyć się do limitów dostawcy.
Który powinienem wybrać?
- Dopiero zaczynasz: użyj OpenAI lub Anthropic. Dają dobre wyniki od razu po wyjęciu z pudełka, a OpenAI jest dostępne w planie Free, więc możesz najpierw wypróbować ReplyRabbit.
- Chcesz porównać modele: użyj OpenRouter. Jeden klucz API daje dostęp do wielu modeli od różnych dostawców, więc możesz eksperymentować bez osobnych kont.
- Najważniejsza jest prywatność lub kontrola kosztów: użyj Ollama lub LM Studio. Twoje dane klientów nigdy nie opuszczają Twojego serwera i nie ma rachunku za token, kosztem uruchamiania modelu na własnym sprzęcie (plan Pro lub Team).
- Masz już uruchomiony kompatybilny serwer API: użyj Niestandardowy zgodny z OpenAI w planie Pro lub Team. Najpierw zweryfikuj model czatu, a następnie ustaw osobne modele osadzeń i widzenia tylko wtedy, gdy Twój serwer je obsługuje.
Dalej