Zwei Projekte, ein Template
Warum du Ollama und Open WebUI selbst hosten solltest
Ollama zieht offene Modelle und stellt sie hinter einer lokalen API bereit. Ein einziger Befehl bringt Llama, Qwen, Gemma, DeepSeek oder gpt-oss zum Laufen. Der Endpoint auf Port 11434 spricht das OpenAI Format, also zeigt der meiste vorhandene Client Code nach einer URL Änderung einfach darauf. Das Projekt steht unter MIT Lizenz.
Open WebUI ist die Chatoberfläche, die im selben Template mitkommt. Sie kümmert sich um Logins, Dokumenten Upload für RAG und Rechte pro Gruppe. Sie redet außerdem mit jedem OpenAI kompatiblen Backend, Ollama muss also nicht das Einzige dahinter sein. Beides auf deinem eigenen VPS zu betreiben hält die Prompts, die hochgeladenen Dokumente und die Modellgewichte auf einer Platte, die du mietest, statt auf der eines Anbieters.