Een AI-provider kiezen
ReplyRabbit werkt met cloudproviders, lokale modelservers en een aangepast OpenAI-compatibel endpoint. Kies op basis van conceptkwaliteit, kosten en waar supportinhoud naartoe wordt gestuurd. Als je het niet zeker weet, begin dan met OpenAI of Anthropic en wijzig dit later in je mailboxinstellingen.
Providerkeuzes
Vijf genoemde providers zijn clouddiensten, twee draaien lokaal en de custom-optie verbindt met een server die je zelf configureert. Cloudproviders rekenen per token (je betaalt hen rechtstreeks). Kosten voor een custom-endpoint hangen af van de beheerder ervan.
| Provider | Type | Best voor | Prijzen |
|---|---|---|---|
| OpenAI | Cloud | Het gebruikelijke startpunt. Beschikbaar op het Free-plan, zodat je ReplyRabbit met één provider kunt uitproberen voordat je upgradet. | platform.openai.com |
| Anthropic | Cloud | Claude-modellen. Een sterke allround keuze voor natuurlijke, zorgvuldige supportantwoorden. | anthropic.com |
| Google AI Studio | Cloud | Gemini-modellen, inclusief snelle, goedkope opties. | ai.google.dev |
| OpenRouter | Cloud | Eén API-sleutel, veel modellen van verschillende leveranciers. Goed om te experimenteren en modellen te vergelijken zonder je overal aan te melden. | openrouter.ai |
| Z.AI | Cloud | GLM-modellen. Een capabele, kostenbewuste cloudoptie. | z.ai |
| Ollama (lokaal) | Lokaal | Draait modellen op je eigen hardware (localhost:11434), dus niets verlaat je server en er zijn geen kosten per token. | ollama.com |
| LM Studio (lokaal) | Lokaal | Draait modellen op je eigen hardware (localhost:1234), privé en zonder kosten per token. | lmstudio.ai |
| Aangepast OpenAI-compatibel | Je server of gateway | Verbind ReplyRabbit met een bereikbare server die ondersteunde OpenAI-achtige verzoeken accepteert. | Afhankelijk van uw server |
Free-tier gebruikt OpenAI
Cloud versus lokaal
Cloudproviders (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI) zijn de eenvoudigste manier om te beginnen en bieden meestal de beste conceptkwaliteit. Je betaalt per token, en de gespreksinhoud die wordt gebruikt voor ingeschakelde AI-functies, zoals concepten, volgende acties en AI Signals, verlaat je server en wordt naar de API van die provider verzonden.
Lokale providers (Ollama, LM Studio) voeren het model uit op je eigen hardware. Niets verlaat je server en er zijn geen kosten per token. De afweging is dat je een redelijk krachtige machine nodig hebt, en de conceptkwaliteit hangt af van het lokale model dat je gebruikt. Lokale modellen vereisen een betaald abonnement (Pro of Team).
Aangepast OpenAI-compatibel maakt verbinding met de server of gateway die je kiest. Als deze remote is, verlaat ondersteuningsinhoud je FreeScout-host. Als deze op je privénetwerk staat, moet FreeScout er nog steeds bij kunnen. Voer de exacte model-ID's in en test elke mogelijkheid die je nodig hebt. Een chat-endpoint garandeert geen embeddings of vision.
Prompt-caching en tokenbudgetten
ReplyRabbit regelt automatisch prompt-caching van de provider wanneer dat veilig is voor de geselecteerde provider. Er is geen mailboxinstelling om in te schakelen.
- OpenAI: ReplyRabbit stuurt een veilige cacherouteringssleutel voor directe OpenAI-verzoeken, zodat herhaalde supportprompts consistent kunnen worden gerouteerd.
- Anthropic: ReplyRabbit gebruikt Claude prompt caching alleen wanneer het waarschijnlijke hergebruik ziet bij overeenkomende conceptaanvragen. Als Anthropic cachebeheer weigert, probeert ReplyRabbit de normale prompt opnieuw.
- Gemini, OpenRouter en Z.AI: ReplyRabbit registreert metadata van cachetokens wanneer de provider deze retourneert, maar forceert via die routes geen generieke cache-instelling.
- Ollama en LM Studio: lokale modellen gebruiken geen provider-promptcaching. Ze kunnen nog steeds facturering per token in de cloud vermijden omdat generatie op je eigen hardware draait.
- Aangepast OpenAI-compatibel: ReplyRabbit gaat er niet van uit dat de prompt-cache-instellingen van OpenAI werken op een aangepaste server.
Het maandelijkse tokenbudget blijft conservatief. ReplyRabbit telt totale invoer- en uitvoertokens, zelfs wanneer een provider gecachte invoer anders factureert, omdat gecachte prompttokens nog steeds context gebruiken en kunnen meetellen voor providerlimieten.
Welke moet ik kiezen?
- Net begonnen: gebruik OpenAI of Anthropic. Ze geven direct goede resultaten en OpenAI is beschikbaar op de Free-tier zodat je ReplyRabbit eerst kunt uitproberen.
- Wil je modellen vergelijken: gebruik OpenRouter. Eén API-sleutel geeft je toegang tot veel modellen van verschillende leveranciers, zodat je kunt experimenteren zonder aparte accounts.
- Privacy of kostenbeheersing is het belangrijkst: gebruik Ollama of LM Studio. Je klantgegevens verlaten je server nooit en er is geen rekening per token, ten koste van het draaien van het model op je eigen hardware (Pro- of Team-tier).
- Heb je al een compatibele API-server draaien: gebruik Aangepast OpenAI-compatibel op Pro of Team. Controleer eerst het chatmodel en stel daarna aparte embedding- en vision-modellen in alleen als je server deze ondersteunt.
Volgende