Zielsetzung

Ziel des Projekts war es, große und heterogene Datenbestände aus unterschiedlichen Unternehmenssystemen strukturiert aufzubereiten und für LLM-gestützte Wissensabfragen sowie ML-basierte Analyseverfahren nutzbar zu machen.

Umsetzung

Ein zentraler Bestandteil der Lösung ist ein RAG-basierter Wissensassistent, der über eine Chat-Schnittstelle Zugriff auf interne Wissensquellen ermöglicht. Hierfür wurden performante Connectoren entwickelt, die Unternehmensdaten in eine Vektor-Datenbank überführen und so eine semantische Suche und kontextbasierte LLM-Abfragen ermöglichen.

Parallel dazu haben die Verantwortlichen eine skalierbare Data-Engineering-Architektur für ein Machine-Learning-gestütztes Frühwarnsystem aufgebaut. Die Lösung verarbeitet große Datenmengen aus einem Data Lake, transformiert diese über ETL/ELT-Pipelines und stellt sie zuverlässig für analytische Systeme und ML-Modelle bereit.

Durch den Einsatz moderner Big-Data-Technologien sowie gezielte Performance-Optimierungen konnte eine Plattform geschaffen werden, die sowohl Generative-AI-Workloads als auch datenintensive Analyseprozesse effizient unterstützt.

Der entwickelte Wissensassistent wird im Unternehmen produktiv eingesetzt und unterstützt mehrere tausend Nutzer bei der schnellen Erschließung interner Wissensbestände.

TechStack

Python, FastAPI, Uvicorn, Databricks, Apache Spark, PySpark, Vespa, Azure Data Lake, SQL, Postgres, SQLAlchemy, Pydantic, Alembic, Pandas, Snowflake, Azure DevOps, React, TypeScript