Ollama

Ollama er et program, man installerer på sin egen maskine eller server, og som derefter henter og kører åbne sprogmodeller lokalt. Det pakker modelfiler, opsætning og et lille API sammen, så en model kan startes med en enkelt kommando og kaldes fra egne scripts på samme måde som en skytjeneste. Teksten forlader ikke maskinen undervejs. Modellerne hentes fra et offentligt bibliotek med færdige pakker.

For en webshop er den mest oplagte brug at afprøve modeller på rigtige data, før der skal aftaler på plads, eller at behandle følsomme tekster internt. Regn med, at svarene bliver langsommere og lidt svagere end hos de store tjenester, medmindre maskinen har et ordentligt grafikkort. Mål svartiden på jeres egen hardware, før I lover noget. Brug det til at teste, og tag beslutningen om drift bagefter.