Scelta di un provider AI
ReplyRabbit funziona con provider cloud, server di modelli locali e un endpoint personalizzato compatibile con OpenAI. Scegli in base alla qualità delle bozze, al costo e a dove vengono inviati i contenuti di supporto. Se non sei sicuro, inizia con OpenAI o Anthropic e cambialo in seguito nelle impostazioni della casella.
Scelte del provider
Cinque provider con nome sono servizi cloud, due funzionano in locale e l'opzione custom si collega a un server che configuri tu. I provider cloud fatturano per token (paghi direttamente loro). I costi per un endpoint custom dipendono dal suo operatore.
| Provider | Tipo | Ideale per | Prezzi |
|---|---|---|---|
| OpenAI | Cloud | Il punto di partenza abituale. Disponibile nel piano Free, così puoi provare ReplyRabbit con un provider prima di fare l'upgrade. | platform.openai.com |
| Anthropic | Cloud | Modelli Claude. Una scelta solida e versatile per risposte di supporto naturali e accurate. | anthropic.com |
| Google AI Studio | Cloud | Modelli Gemini, incluse opzioni veloci e a basso costo. | ai.google.dev |
| OpenRouter | Cloud | Una chiave API, molti modelli di fornitori diversi. Utile per sperimentare e confrontare modelli senza registrarsi ovunque. | openrouter.ai |
| Z.AI | Cloud | Modelli GLM. Un'opzione cloud capace e conveniente. | z.ai |
| Ollama (locale) | Locale | Esegue modelli sul tuo hardware (localhost:11434), quindi nulla lascia il tuo server e non c'è alcun costo per token. | ollama.com |
| LM Studio (locale) | Locale | Esegue modelli sul tuo hardware (localhost:1234), in privato e senza costo per token. | lmstudio.ai |
| Personalizzato compatibile con OpenAI | Il tuo server o gateway | Collega ReplyRabbit a un server raggiungibile che accetta richieste supportate in stile OpenAI. | Dipende dal tuo server |
Il piano Free usa OpenAI
Cloud vs locale
Provider cloud (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI) sono il modo più semplice per iniziare e di solito offrono la migliore qualità delle bozze. Paghi per token e il contenuto delle conversazioni utilizzato per le funzionalità AI abilitate, come bozze, azioni successive e Segnali AI, lascia il tuo server e viene inviato all'API di quel provider.
Provider locali (Ollama, LM Studio) eseguono il modello sul tuo hardware. Nulla lascia il tuo server e non c'è alcun costo per token. Il compromesso è che hai bisogno di una macchina ragionevolmente potente e la qualità delle bozze dipende dal modello locale che esegui. I modelli locali richiedono un piano a pagamento (Pro o Team).
Personalizzato compatibile con OpenAI si connette al server o al gateway che scegli. Se è remoto, il contenuto di supporto lascia il tuo host FreeScout. Se è sulla tua rete privata, FreeScout deve comunque poterlo raggiungere. Inserisci gli ID modello esatti e verifica ogni funzionalità di cui hai bisogno. Un endpoint chat non garantisce embeddings o visione.
Caching dei prompt e budget di token
ReplyRabbit gestisce automaticamente la cache dei prompt del provider quando è sicuro per il provider selezionato. Non c'è alcuna impostazione della casella di posta da attivare.
- OpenAI: ReplyRabbit invia una chiave di routing sicura per la cache per le richieste dirette a OpenAI, così i prompt di supporto ripetuti possono essere instradati in modo coerente.
- Anthropic: ReplyRabbit usa la cache dei prompt di Claude solo quando rileva un probabile riutilizzo tra richieste di bozza corrispondenti. Se Anthropic rifiuta il controllo della cache, ReplyRabbit riprova con il prompt normale.
- Gemini, OpenRouter e Z.AI: ReplyRabbit registra i metadati dei token della cache quando il provider li restituisce, ma non forza un'impostazione generica della cache attraverso quelle route.
- Ollama e LM Studio: i modelli locali non usano la cache dei prompt del provider. Possono comunque evitare la fatturazione cloud per token perché la generazione viene eseguita sul tuo hardware.
- Personalizzato compatibile con OpenAI: ReplyRabbit non presuppone che i controlli della cache dei prompt di OpenAI funzionino su un server personalizzato.
Il Budget mensile di token resta prudente. ReplyRabbit conta i token totali di input e output, anche quando un provider fattura l'input in cache diversamente, perché i token del prompt in cache usano comunque contesto e possono contare verso i limiti del provider.
Quale dovrei scegliere?
- Appena inizi: usa OpenAI o Anthropic. Danno buoni risultati fin da subito, e OpenAI è disponibile nel piano Free così puoi provare ReplyRabbit prima.
- Vuoi confrontare i modelli: usa OpenRouter. Una chiave API ti dà accesso a molti modelli di fornitori diversi, così puoi sperimentare senza account separati.
- La privacy o il controllo dei costi sono la priorità: usa Ollama o LM Studio. I dati dei tuoi clienti non lasciano mai il tuo server e non c'è alcuna fattura per token, al costo di eseguire il modello sul tuo hardware (piano Pro o Team).
- Hai già un server API compatibile in esecuzione: usa Personalizzato compatibile con OpenAI su Pro o Team. Verifica prima il modello chat, poi imposta modelli di embedding e visione separati solo se il tuo server li supporta.
Avanti