AI 제공자 선택
ReplyRabbit은 클라우드 제공자, 로컬 모델 서버, 사용자 지정 OpenAI 호환 엔드포인트와 함께 작동합니다. 초안 품질, 비용, 지원 콘텐츠가 전송되는 위치를 기준으로 선택하세요. 확실하지 않다면 OpenAI 또는 Anthropic으로 시작하고 나중에 메일박스 설정에서 변경하세요.
제공업체 선택지
다섯 개의 명명된 제공자는 클라우드 서비스이고, 두 개는 로컬에서 실행되며, 사용자 지정 옵션은 구성한 서버에 연결됩니다. 클라우드 제공자는 토큰당 청구합니다(직접 지불). 사용자 지정 엔드포인트 비용은 운영자에 따라 다릅니다.
| 제공업체 | 유형 | 적합 대상 | 요금제 |
|---|---|---|---|
| OpenAI | 클라우드 | 일반적인 시작점입니다. Free 티어에서 사용 가능하므로 업그레이드 전에 하나의 제공업체로 ReplyRabbit을 사용해 볼 수 있습니다. | platform.openai.com |
| Anthropic | 클라우드 | Claude 모델. 자연스럽고 신중한 지원 답변을 위한 강력한 종합 선택입니다. | anthropic.com |
| Google AI Studio | 클라우드 | 빠르고 저비용 옵션을 포함한 Gemini 모델. | ai.google.dev |
| OpenRouter | 클라우드 | 하나의 API 키로 여러 벤더의 다양한 모델을 사용합니다. 모든 곳에 가입하지 않고도 모델을 실험하고 비교하기에 좋습니다. | openrouter.ai |
| Z.AI | 클라우드 | GLM 모델. 유능하고 비용 효율적인 클라우드 옵션. | z.ai |
| Ollama (로컬) | 로컬 | 자체 하드웨어(localhost:11434)에서 모델을 실행하므로 아무것도 서버를 떠나지 않으며 토큰당 비용이 없습니다. | ollama.com |
| LM Studio (로컬) | 로컬 | 자체 하드웨어(localhost:1234)에서 모델을 실행하며, 토큰당 비용 없이 비공개로 운영됩니다. | lmstudio.ai |
| 사용자 정의 OpenAI 호환 | 당신의 서버 또는 게이트웨이 | ReplyRabbit을 지원되는 OpenAI 스타일 요청을 수락하는 접근 가능한 서버에 연결하세요. | 서버에 따라 다름 |
무료 티어는 OpenAI 사용
클라우드 vs 로컬
클라우드 제공자 (OpenAI, Anthropic, Google AI Studio, OpenRouter, Z.AI)는 시작하기 가장 쉬운 방법이며 보통 최고의 초안 품질을 제공합니다. 토큰당 비용을 지불하며, 초안, 다음 작업, AI Signals 등 활성화된 AI 기능에 사용되는 대화 내용은 서버를 떠나 해당 제공업체의 API로 전송됩니다.
로컬 제공자 (Ollama, LM Studio)는 자체 하드웨어에서 모델을 실행합니다. 아무것도 서버를 떠나지 않으며 토큰당 비용이 없습니다. 대신 상당히 성능이 좋은 기기가 필요하고 초안 품질은 실행하는 로컬 모델에 따라 달라집니다. 로컬 모델은 유료 등급(Pro 또는 Team)이 필요합니다.
사용자 정의 OpenAI 호환 선택한 서버 또는 게이트웨이에 연결합니다. 원격인 경우 지원 콘텐츠가 FreeScout 호스트를 벗어납니다. 사설 네트워크에 있는 경우에도 FreeScout가 해당 서버에 접근할 수 있어야 합니다. 정확한 모델 ID를 입력하고 필요한 각 기능을 테스트하세요. 채팅 엔드포인트가 임베딩이나 비전을 보장하지는 않습니다.
프롬프트 캐싱 및 토큰 예산
ReplyRabbit은 선택한 제공자에 안전할 때 제공자 프롬프트 캐싱을 자동으로 처리합니다. 켜는 메일함 설정은 없습니다.
- OpenAI: ReplyRabbit는 직접 OpenAI 요청에 안전한 캐시 라우팅 키를 보내 반복되는 지원 프롬프트가 일관되게 라우팅될 수 있도록 합니다.
- Anthropic: ReplyRabbit은 일치하는 초안 요청 간에 재사용 가능성이 높다고 판단될 때만 Claude 프롬프트 캐싱을 사용합니다. Anthropic이 캐시 제어를 거부하면 ReplyRabbit은 일반 프롬프트로 재시도합니다.
- Gemini, OpenRouter 및 Z.AI: ReplyRabbit는 제공자가 반환할 때 캐시 토큰 메타데이터를 기록하지만 해당 경로를 통해 일반 캐시 설정을 강제하지 않습니다.
- Ollama 및 LM Studio: 로컬 모델은 제공자 프롬프트 캐싱을 사용하지 않습니다. 생성이 하드웨어에서 실행되므로 토큰당 클라우드 청구를 피할 수 있습니다.
- 사용자 정의 OpenAI 호환: ReplyRabbit은 OpenAI의 프롬프트 캐시 제어가 사용자 지정 서버에서 작동한다고 가정하지 않습니다.
월간 토큰 예산은 보수적으로 유지됩니다. ReplyRabbit은 제공자가 캐시된 입력에 다르게 청구하더라도 총 입력 및 출력 토큰을 계산합니다. 캐시된 프롬프트 토큰은 여전히 컨텍스트를 사용하며 제공자 한도에 포함될 수 있기 때문입니다.
어떤 것을 선택해야 하나요?
- 이제 시작하는 경우: OpenAI 또는 Anthropic을 사용하세요. 즉시 좋은 결과를 제공하며, OpenAI는 Free 티어에서 사용할 수 있어 ReplyRabbit을 먼저 사용해 볼 수 있습니다.
- 모델을 비교하려면: OpenRouter를 사용하세요. 하나의 API 키로 여러 벤더의 다양한 모델에 접근할 수 있어 별도 계정 없이 실험할 수 있습니다.
- 개인정보 또는 비용 관리가 가장 중요할 때: Ollama 또는 LM Studio를 사용하세요. 고객 데이터는 서버를 떠나지 않으며 토큰당 청구가 없지만, 자체 하드웨어에서 모델을 실행해야 합니다(Pro 또는 Team 티어).
- 이미 호환되는 API 서버를 실행 중인 경우: 사용 사용자 정의 OpenAI 호환 Pro 또는 Team에서. 먼저 채팅 모델을 확인한 다음, 서버가 지원하는 경우에만 별도의 임베딩 및 비전 모델을 설정하세요.
다음