Két projekt, egy sablon
Miért érdemes az Ollamát és az Open WebUI-t magadnak üzemeltetni
Az Ollama lehúzza a nyílt modelleket és egy helyi API mögött szolgálja ki őket. Egyetlen parancs elindítja a Llamát, a Qwent, a Gemmát, a DeepSeeket vagy a gpt-osst. A 11434-es porton lévő endpoint az OpenAI formátumot beszéli, így a legtöbb meglévő kliens kód egy URL csere után már rá is mutat. A projekt MIT licenc alatt van.
Az Open WebUI az a chat felület, ami ugyanabban a sablonban érkezik. Kezeli a belépéseket, a dokumentum feltöltést RAG-hoz és a csoportonkénti jogosultságokat. Ráadásul bármelyik OpenAI kompatibilis backenddel beszél, tehát nem kell, hogy csak az Ollama álljon mögötte. Ha mindkettőt a saját VPS-eden futtatod, a promptok, a feltöltött dokumentumok és a modell súlyok olyan lemezen maradnak, amit te bérelsz, nem egy szolgáltató.