Evaluation von RAG-Systemen ohne/mit erweitertem Goldstandard
Evaluation von RAG-Systemen ohne/mit erweitertem Goldstandard
Evaluation von RAG-Systemen ohne/mit erweitertem Goldstandard
Evaluation von RAG-Systemen ohne/mit erweitertem Goldstandard
viadee Unternehmensberatung AG
Beratung, Consulting
Köln
Art der Beschäftigung: Vollzeit
Vor OrtEvaluation von RAG-Systemen ohne/mit erweitertem Goldstandard
Über diesen Job
Motivation
Ziel der Arbeit
Metamorphes Testen für RAG-Retrieval evaluieren: Theoretische und praktische Untersuchung von metamorphem Testen zur Bewertung der Retrieval-Robustheit von End-to-End-RAG-Systemen als Ergänzung/Alternative zu statischen Goldstandards.
Domänenspezifische metamorphe Relationen definieren: Komplexe, enterprise-relevante metamorphe Relationen (z. B. Akronym-Erweiterung, Keywordifizierung, zeitliche Verschiebungen, Entity Swaps, Negationen/Quantoren) festlegen und implementieren.
Skalierte Evaluation durchführen: Einen kleinen Basis-Goldstandard als Anker aufbauen und die Erweiterung durch metamorphe Varianten vergleichen.
Fehlerprofile ableiten & gezielte Verbesserungen testen: Anhand von metamorphen Relationen Auswertungen zur Identifikation von Fragilitätsmustern erstellen und prüfen, wie diese als Feedbacksignal für Modellwahl, Retrieval-Konfiguration (z. B. hybrid) oder Promptverbesserung genutzt werden können.