Jan is een gratis opensource-app (Apache-2.0) van Menlo Research die taalmodellen offline op je pc draait en ook met cloud-API's kan verbinden.
Beoordeel Jan
Gemiddeld 0,0 · beoordelingen: 0
Bedankt! Je beoordeling is opgeslagen; je kunt die nog wijzigen. De beoordeling kon niet worden opgeslagen. Probeer het later opnieuw. Vandaag zijn er te veel beoordelingen vanaf je netwerk gegeven. Probeer het morgen opnieuw. Het gemiddelde verschijnt na 5 beoordelingen.
Over Jan
Jan 0.8.4 is een opensource chat-app van Menlo Research voor Windows, in de stijl van ChatGPT. Je kunt Jan gratis downloaden en er taalmodellen mee offline op je eigen computer draaien; wie wil, koppelt daarnaast een cloud-API. De code staat onder de licentie Apache-2.0 op GitHub.
Wat is Jan?
Jan wil een vertrouwde chatervaring bieden zonder dat je gesprekken standaard naar een clouddienst gaan. Onder de motorkap gebruikt de app llama.cpp om modellen lokaal te laten rekenen. Je kiest in de app een model, downloadt het en begint te chatten, met gesprekken die op je eigen schijf blijven staan. Wie meer rekenkracht of een groter model nodig heeft, voegt in de instellingen een API-sleutel van een clouddienst toe en wisselt per gesprek tussen lokaal en online. Daarnaast draait Jan een lokale API-server die compatibel is met OpenAI, zodat andere programma's je lokale model kunnen aanspreken. Voor wie privacy belangrijk vindt, is dat een logische combinatie: dagelijkse vragen lokaal, en alleen als het nodig is naar de cloud. Houd er rekening mee dat de modellen niet in Jan zelf zitten; je downloadt ze los, elk met een eigen licentie.
Systeemvereisten
Jan werkt op Windows 10 of nieuwer, en ook op macOS en Linux. Voor kleine modellen, tot ongeveer 3B parameters, is 8 GB werkgeheugen genoeg; grotere modellen vragen meer. Een videokaart is optioneel: Jan kan NVIDIA, AMD en Intel Arc gebruiken via Vulkan. Alle details staan in de systeemvereisten op GitHub.
Downloaden en installeren
- Ga naar jan.ai en download de Windows-versie; het installatiebestand is ongeveer 55 MB.
- Installeer en open Jan.
- Kies in de modellenhub een klein model en download het.
- Start een gesprek, of voeg onder instellingen een cloudaanbieder toe.
Nieuwe versies en wijzigingen vind je bij de releases.
Welk model kies je?
Begin met een klein model dat ruim binnen je werkgeheugen past; dan reageert Jan vlot en leer je de app kennen. Werkt dat goed en wil je betere antwoorden, probeer dan een groter model en kijk of je pc het bijhoudt. De modellenhub toont per model hoe groot het is. Voor zware taken die je laptop niet aankan, is een cloud-API in hetzelfde venster een uitwijkmogelijkheid.
Privacy en veiligheid
Lokale gesprekken verlaten je pc niet. Kies je een cloud-API, dan gelden de voorwaarden van die dienst en gaan je vragen wel naar buiten. Bewaar API-sleutels zorgvuldig en deel ze niet. Laat de lokale API-server alleen draaien als je hem nodig hebt.
Voor- en nadelen
- Pluspunt: opensource onder Apache-licentie.
- Pluspunt: offline chatten met lokale modellen.
- Pluspunt: optioneel koppelen aan cloud-API's.
- Minpunt: grote modellen vragen veel geheugen.
- Minpunt: modellen apart downloaden.
- Minpunt: minder functies voor documenten dan gespecialiseerde apps.
Alternatieven
LM Studio is een gratis, maar gesloten app met een uitgebreide modelcatalogus. Ollama draait modellen via opdrachtregel en API, en AnythingLLM en GPT4All zijn sterker in chatten met je eigen bestanden.