Ollama-integraatio
Toimii yhdessä Ollama
Käytä tätä opasta Ollaman määrittämiseen paikalliseksi AI-tarjoajaksi ReplyRabbitille FreeScoutissa. Ollama antaa ReplyRabbitin pyytää AI-luonnoksia mallilta, joka toimii omalla laitteistollasi.
Etsitkö yleiskatsausta?
Yleiskatsaus
Ollama on paikallinen palveluntarjoajavaihtoehto ReplyRabbitissa. Paikalliset palveluntarjoajat eivät vaadi API-avainta. Sen sijaan ReplyRabbit tarvitsee paikallisen palvelimen URL-osoitteen ja mallin nimen, joka on olemassa Ollama-palvelimella.
Oletusarvoinen Ollama-URL-osoite on http://localhost:11434. Käytä kyseistä URL-osoitetta, ellet asennetun ReplyRabbit-versiosi dokumentaatiossa mainita muuta tuettua paikallista asetusta.
Edellytykset
Ennen kuin aloitat, varmista, että sinulla on:
- Toimiva FreeScout-asennus.
- ReplyRabbit asennettuna ja aktivoituna.
- ReplyRabbit Pro tai Team, joka sisältää paikalliset tarjoajat.
- Ollama asennettuna ja käynnissä siellä, missä ReplyRabbit voi tavoittaa sen.
- Ollamaan asennettu malli.
Jos valitset vielä pilvi- ja paikallisten tarjoajien välillä, lue Tekoälypalveluntarjoajan valitseminen.
Paikallisen asennuksen vaatimukset
Ollaman on oltava FreeScoutia ajavan PHP-prosessin tavoitettavissa. ReplyRabbit asettaa Ollaman oletuksena osoitteeseen http://localhost:11434; käytä toista URL-osoitetta vain, kun asennettu versiosi dokumentoi kyseisen asennuksen.
Älä oleta, että mielivaltaiset LAN-isäntänimet tai portit hyväksytään. Käytä oletus-URL-osoitetta, ellet asennetun ReplyRabbit-versiosi dokumentaatiossa kuvata muuta tuettua asetusta.
Yhdistä Ollama
Käynnistä Ollama
Käynnistä Ollama ja varmista, että haluamasi malli on saatavilla paikallisessa palvelimessa.Avaa ReplyRabbit-asetukset
Avaa FreeScoutissa postilaatikko, siirry kohtaan Asetukset, ja valitse ReplyRabbit.Valitse Ollama
Kohdassa AI-palveluntarjoaja kortti, valitse Ollama (paikallinen).Vahvista palvelimen URL-osoite
Käytähttp://localhost:11434ellet asennettu ReplyRabbit-versiosi dokumentoi toista tuettua Ollama-URL-osoitetta.Valitse tai syötä malli
Valitse mallivaihtoehto tai käytä mukautetun mallin kenttää. Mallin on oltava olemassa käynnissä olevassa Ollama-palvelimessa.Tallenna ja testaa
Tallenna asetukset, avaa FreeScout-keskustelu ja luo luonnos. Tarkista tulos ennen Ollaman käyttöä vilkkaassa postilaatikossa.
Määritysmuistiinpanot
- API-avain: ei vaadita Ollamalle.
- Palvelimen URL-osoite: oletuksena
http://localhost:11434. - Malli: on vastattava asennetun Ollama-mallin nimeä.
- Laatu: riippuu mallista ja käyttämästäsi laitteistosta.
- Budjetti: tokenien käyttö voidaan silti kirjata ReplyRabbitissa, mutta Ollama itse ei veloita tokenia kohden.
Käyttötapaukset
- Pidä AI-tuotanto laitteistossa, jota hallitset.
- Testaa paikallisen mallin laatua ennen sen käyttöä tuotantopostilaatikossa.
- Vältä tokenikohtaista pilvipalveluntarjoajan laskutusta tuetuissa paikallisissa työnkuluissa.
Vianmääritys
| Oire | Mitä tarkistaa |
|---|---|
| Virheellinen Ollama-URL | Käytä http://localhost:11434 ellet asennettu versiosi dokumentoi toista tuettua paikallista URL-osoitetta. |
| Mallia ei löytynyt | Vahvista, että mallin nimi on olemassa Ollamassa ja vastaa ReplyRabbit-asetusta. |
| Luonnosten luonti aikakatkaistaan | Kokeile pienempää mallia, tarkista palvelimen resurssit ja varmista, että Ollama on käynnissä. |
| Tulosteen laatu on heikko | Testaa vahvempaa paikallista mallia tai vaihda postilaatikko takaisin pilvipalveluntarjoajaan. |
| Ollama on poistettu käytöstä asetuksissa | Vahvista, että postilaatikko on ReplyRabbit Pro- tai Team-suunnitelmassa. |
Laajempia korjauksia varten katso ReplyRabbitin vianmääritys.
Tietosuoja- ja turvallisuushuomiot
Ollama pitää generoinnin paikallisena, kun palvelin ja malli ajetaan omalla laitteistollasi. Se voi auttaa tietojen paikallisuudessa, mutta sinun on silti suojattava kone, FreeScout ja kaikki paikalliset palvelut, jotka voivat päästä käsiksi tukisisältöön.
Jos altistat Ollaman localhostin ulkopuolelle, varmista, että ReplyRabbit-versiosi tukee kyseistä kokoonpanoa ja että päätepiste ei ole epäluotettavien käyttäjien tavoitettavissa.
Seuraavat vaiheet
- Tarkista Ollama-integraatio FreeScoutille sivulla, kun tarvitset työnkulun ja oston yleiskatsauksen.
- Vertaa paikallisia ja pilvikompromisseja kohdassa Tekoälypalveluntarjoajan valitseminen.
- Jatka kohteella Miten ReplyRabbit määritetään jos yrityskonteksti, esimerkit tai budjetit vaativat vielä huomiota.
UKK
Vaatiiko Ollama API-avaimen?
Ei. ReplyRabbit käyttää Ollama-palvelimen URL-osoitetta ja mallin nimeä pilvipalveluntarjoajan API-avaimen sijaan.
Mitä Ollama-URL-osoitetta minun pitäisi käyttää?
Käytä http://localhost:11434, ellet asennetun ReplyRabbit-version dokumentaatiossa ole toisin määritetty muuta tuettua paikallista asetusta.
Voinko käyttää mitä tahansa mallinimeä?
Mallin nimen on vastattava mallia, joka on saatavilla käynnissä olevassa Ollama-palvelimessasi.
Onko Ollama saatavilla ilmaisella tasolla?
Ei. Paikalliset palveluntarjoajat ovat saatavilla ReplyRabbit Prossa ja Teamissa.