Інтеграція Ollama
Працює з Ollama
Використовуйте цей посібник, щоб налаштувати Ollama як локального AI-провайдера для ReplyRabbit у FreeScout. Ollama дозволяє ReplyRabbit запитувати AI-чернетки в моделі, що працює на вашому власному обладнанні.
Шукаєте огляд?
Огляд
Ollama це варіант локального провайдера в ReplyRabbit. Локальні провайдери не потребують ключа API. Натомість ReplyRabbit потрібен URL локального сервера та назва моделі, яка існує на сервері Ollama.
Типова URL-адреса Ollama: http://localhost:11434. Використовуйте цей URL, якщо ваша встановлена версія ReplyRabbit не документує іншого підтримуваного локального налаштування.
Передумови
Перед початком переконайтеся, що у вас є:
- Робоче встановлення FreeScout.
- ReplyRabbit встановлено та активовано.
- ReplyRabbit Pro або Team, що включає локальних постачальників.
- Ollama встановлено та запущено там, де ReplyRabbit може до нього дістатися.
- Модель, встановлена в Ollama.
Якщо ви ще обираєте між хмарними та локальними провайдерами, прочитайте Вибір провайдера ШІ.
Вимоги до локального налаштування
Ollama має бути доступною для PHP-процесу, який запускає FreeScout. ReplyRabbit за замовчуванням встановлює Ollama на http://localhost:11434; використовуйте інший URL лише тоді, коли ваша встановлена версія документує таке налаштування.
Не припускайте, що довільні імена хостів або порти LAN будуть прийняті. Використовуйте URL-адресу за замовчуванням, якщо ваша встановлена збірка ReplyRabbit не документує інше підтримуване налаштування.
Підключити Ollama
Запустіть Ollama
Запустіть Ollama і переконайтеся, що потрібна вам модель доступна на локальному сервері.Відкрити налаштування ReplyRabbit
У FreeScout відкрийте поштову скриньку, перейдіть до Налаштування, і виберіть ReplyRabbit.Вибрати Ollama
У Постачальник ШІ картці виберіть Ollama (локальна).Підтвердьте URL сервера
Використовуватиhttp://localhost:11434якщо ваша встановлена версія ReplyRabbit не документує іншу підтримувану URL-адресу Ollama.Вибрати або ввести модель
Виберіть варіант моделі або скористайтеся полем власної моделі. Модель має існувати на запущеному сервері Ollama.Зберегти й перевірити
Збережіть налаштування, відкрийте розмову FreeScout і згенеруйте чернетку. Перегляньте результат, перш ніж використовувати Ollama на завантаженій поштовій скриньці.
Примітки щодо конфігурації
- Ключ API: не потрібно для Ollama.
- URL сервера: за замовчуванням
http://localhost:11434. - Модель: має збігатися з назвою встановленої моделі Ollama.
- Якість: залежить від моделі та обладнання, яке ви використовуєте.
- Бюджет: використання токенів усе ще може записуватися ReplyRabbit, але сам Ollama не стягує плату за токен.
Варіанти використання
- Тримайте генерацію ШІ на обладнанні, яке ви контролюєте.
- Перевірте якість локальної моделі перед використанням для робочої поштової скриньки.
- Уникайте оплати хмарного провайдера за токен для підтримуваних локальних робочих процесів.
Усунення несправностей
| Симптом | Що перевірити |
|---|---|
| Недійсна URL-адреса Ollama | Використовувати http://localhost:11434 якщо ваша встановлена версія не документує іншу підтримувану локальну URL-адресу. |
| Модель не знайдено | Переконайтеся, що назва моделі існує в Ollama і відповідає налаштуванню ReplyRabbit. |
| Час очікування генерації чернетки вичерпано | Спробуйте меншу модель, перевірте ресурси сервера та переконайтеся, що Ollama запущено. |
| Якість результату слабка | Перевірте сильнішу локальну модель або перемкніть поштову скриньку назад на хмарного провайдера. |
| Ollama вимкнено в налаштуваннях | Переконайтеся, що поштова скринька на ReplyRabbit Pro або Team. |
Для ширших виправлень дивіться Усунення несправностей ReplyRabbit.
Примітки щодо конфіденційності та безпеки
Ollama зберігає генерацію локально, коли сервер і модель працюють на вашому власному обладнанні. Це може допомогти з локальністю даних, але вам все одно потрібно захистити машину, FreeScout і будь-які локальні сервіси, які мають доступ до контенту підтримки.
Якщо ви відкриваєте Ollama за межі localhost, переконайтеся, що ваша версія ReplyRabbit підтримує таке налаштування і що кінцева точка недоступна для недовірених користувачів.
Наступні кроки
- Перегляньте Інтеграція Ollama для FreeScout сторінку, коли вам потрібен огляд робочого процесу та покупки.
- Порівняйте компроміси локального та хмарного в Вибір провайдера ШІ.
- Продовжити з Як налаштувати ReplyRabbit якщо контекст компанії, приклади або бюджети все ще потребують уваги.
Часті запитання
Чи вимагає Ollama ключ API?
Ні. ReplyRabbit використовує URL сервера Ollama та назву моделі замість ключа API хмарного провайдера.
Який URL Ollama мені використовувати?
Використовуйте http://localhost:11434, якщо ваша встановлена версія ReplyRabbit не документує іншого підтримуваного локального налаштування.
Чи можу я використовувати будь-яку назву моделі?
Назва моделі має відповідати моделі, доступній на вашому запущеному сервері Ollama.
Чи доступний Ollama на безкоштовному тарифі?
Ні. Локальні провайдери доступні на ReplyRabbit Pro та Team.