Choix d'un fournisseur d'IA
ReplyRabbit fonctionne avec des fournisseurs cloud, des serveurs de modèles locaux et un point de terminaison personnalisé compatible OpenAI. Choisissez selon la qualité des brouillons, le coût et l'endroit où le contenu de support est envoyé. En cas de doute, commencez par OpenAI ou Anthropic et changez plus tard dans les paramètres de votre boîte aux lettres.
Choix de fournisseurs
Cinq fournisseurs nommés sont des services cloud, deux fonctionnent localement, et l'option personnalisée se connecte à un serveur que vous configurez. Les fournisseurs cloud facturent au jeton (vous les payez directement). Les coûts d'un point de terminaison personnalisé dépendent de son opérateur.
| Fournisseur | Type | Idéal pour | Tarifs |
|---|---|---|---|
| OpenAI | Cloud | Le point de départ habituel. Disponible sur le forfait Free, pour essayer ReplyRabbit avec un fournisseur avant de passer à un forfait supérieur. | platform.openai.com |
| Anthropic | Cloud | Modèles Claude. Un choix polyvalent solide pour des réponses de support naturelles et soignées. | anthropic.com |
| Google AI Studio | Cloud | Modèles Gemini, y compris des options rapides et économiques. | ai.google.dev |
| OpenRouter | Cloud | Une clé API, de nombreux modèles de différents fournisseurs. Idéal pour expérimenter et comparer des modèles sans s'inscrire partout. | openrouter.ai |
| Z.AI | Cloud | Modèles GLM. Une option cloud performante et économique. | z.ai |
| Ollama (Local) | Local | Exécute des modèles sur votre propre matériel (localhost:11434), rien ne quitte donc votre serveur et il n'y a aucun coût par token. | ollama.com |
| LM Studio (local) | Local | Exécute des modèles sur votre propre matériel (localhost:1234), privé et sans coût par token. | lmstudio.ai |
| Personnalisé compatible OpenAI | Votre serveur ou passerelle | Connectez ReplyRabbit à un serveur joignable qui accepte les requêtes de style OpenAI prises en charge. | Dépend de votre serveur |
L'offre gratuite utilise OpenAI
Cloud vs local
Fournisseurs cloud (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI) sont le moyen le plus simple de commencer et offrent généralement la meilleure qualité de brouillon. Vous payez par token, et le contenu des conversations utilisé pour les fonctionnalités IA activées, telles que les brouillons, les prochaines actions et les Signaux IA, quitte votre serveur et est envoyé à l'API de ce fournisseur.
Fournisseurs locaux (Ollama, LM Studio) exécutent le modèle sur votre propre matériel. Rien ne quitte votre serveur et il n'y a aucun coût par token. La contrepartie est que vous avez besoin d'une machine suffisamment performante, et la qualité des brouillons dépend du modèle local que vous exécutez. Les modèles locaux nécessitent une offre payante (Pro ou Team).
Personnalisé compatible OpenAI se connecte au serveur ou à la passerelle que vous choisissez. S'il est distant, le contenu de support quitte votre hôte FreeScout. S'il est sur votre réseau privé, FreeScout doit tout de même pouvoir l'atteindre. Saisissez les identifiants de modèle exacts et testez chaque capacité dont vous avez besoin. Un point de terminaison de chat ne garantit pas les embeddings ni la vision.
Mise en cache des prompts et budgets de tokens
ReplyRabbit gère automatiquement la mise en cache des prompts du fournisseur lorsque c'est sûr pour le fournisseur sélectionné. Aucun paramètre de boîte aux lettres ne permet de l'activer.
- OpenAI : ReplyRabbit envoie une clé de routage de cache sûre pour les requêtes OpenAI directes afin que les prompts de support répétés puissent être routés de manière cohérente.
- Anthropic : ReplyRabbit utilise la mise en cache des prompts Claude uniquement lorsqu'il détecte une réutilisation probable entre des demandes de brouillon correspondantes. Si Anthropic rejette le contrôle du cache, ReplyRabbit réessaie avec le prompt normal.
- Gemini, OpenRouter et Z.AI : ReplyRabbit enregistre les métadonnées de tokens de cache lorsque le fournisseur les renvoie, mais il ne force pas de paramètre de cache générique via ces routes.
- Ollama et LM Studio : les modèles locaux n'utilisent pas la mise en cache des prompts du fournisseur. Ils peuvent tout de même éviter la facturation cloud par token car la génération s'exécute sur votre matériel.
- Personnalisé compatible OpenAI : ReplyRabbit ne suppose pas que les contrôles de cache de prompt d'OpenAI fonctionnent sur un serveur personnalisé.
Le budget mensuel de jetons reste prudent. ReplyRabbit compte le total des jetons d'entrée et de sortie, même lorsqu'un fournisseur facture différemment l'entrée mise en cache, car les jetons de prompt mis en cache utilisent toujours du contexte et peuvent compter dans les limites du fournisseur.
Lequel choisir ?
- Pour bien démarrer : utilisez OpenAI ou Anthropic. Ils donnent de bons résultats dès le départ, et OpenAI est disponible dans le forfait Free pour que vous puissiez essayer ReplyRabbit d'abord.
- Pour comparer les modèles : utilisez OpenRouter. Une seule clé API vous donne accès à de nombreux modèles de différents fournisseurs, afin que vous puissiez expérimenter sans comptes séparés.
- La confidentialité ou le contrôle des coûts prime : utilisez Ollama ou LM Studio. Vos données clients ne quittent jamais votre serveur et il n'y a pas de facture par jeton, au prix de l'exécution du modèle sur votre propre matériel (niveau Pro ou Team).
- Vous utilisez déjà un serveur API compatible : utiliser Personnalisé compatible OpenAI sur Pro ou Team. Vérifiez d'abord le modèle de chat, puis définissez des modèles d'embedding et de vision séparés uniquement si votre serveur les prend en charge.
Suivant