Eigenprojekt

Lokale KI-Infrastruktur mit Ollama & Qdrant

RAG-Anwendungen auf eigenen Dokumenten, vollständig on-prem mit Ollama und der Vektordatenbank Qdrant.

Branche

KI-Infrastruktur

Ausgangslage

Cloud-KI-Dienste kommen für Dokumente und Daten, die das Haus nicht verlassen dürfen, oft nicht infrage. Trotzdem soll die Suche in eigenen Dokumenten so gut funktionieren wie mit einem Cloud-Modell.

Lösung

Vollständig lokal betriebene KI-Infrastruktur auf Basis von Ollama und der Vektordatenbank Qdrant, containerisiert mit Docker. Ermöglicht RAG-Anwendungen auf eigenen Dokumenten, ohne dass Daten an externe Cloud-KI-Dienste gehen.

Ergebnis

Dokumentensuche mit nachvollziehbaren Quellenangaben, vollständig on-prem, DSGVO- und EU-AI-Act-bewusst aufgebaut.

Tools

Ollama, Qdrant, Docker, RAG