Qualitätsmanagement für Software-Projekte

Qualitätsmanagement für Software-Projekte

Posts 1-4 of 4
  • Wolfgang Ulbrich
    Wolfgang Ulbrich
    The company name is only visible to registered members.
    Grundprobleme bei der Datenqualität
    Es kann immer wieder beobachtet werden, dass nicht nur die Qualität der Software einem Degenerierungsprozess ('Verschlimmbesserung') unterliegt sondern dass dies auch für die Qualität der Daten gilt. Speziell bei anstehenden Migrationen macht sich dieses Problem oft sehr unangenehm bemerkbar.
    Folgende ausgewählte Probleme der Datenqualität können u.a. auftreten:
    · Missbrauch von Datenelementen mit ursprünglich nicht vorgesehenen Inhalten (möglicherweise auch undokumentiert, Verletzung der Datenhygiene)
    · Dubletten z.B. bei Adressen
    · 'Überlistung' der in der Datenbank vorgesehenen Formate durch Redefinitionen
    · Datenelemente sind nicht gefüllt, obwohl es eigentlich erwartet wird
    · Der Inhalt ist zwar formatgerecht aber die Inhalte sind nicht oder nicht mehr zulässig (z.B. Änderungen der zulässigen Wertebereiche, Softwarefehler).
    · Datenelemente sind syntaktisch richtig gefüllt aber im semantischen/fachlichen Kontext ist ihr Inhalt unzulässig.
    Ich würde gern diskutieren u.a. über
    - Analysemöglichkeiten der Daten mit einer Bewertung der Datenqualität
    - Reparaturen bzw. Bereinigungen der Daten
    - Abgleiche zwischen Datenbeständen
    • 04 Oct 2005, 06:39 am
  • Niels Weigel
    Niels Weigel    Premium Member
    The company name is only visible to registered members.
    Re: Grundprobleme bei der Datenqualität
    Sehr geehrter Herr Ulbrich,

    ich stimme ihnen vollkommen zu, daß man eine Software-Qualitätssicherung nicht entkoppelt von einer Daten-Qualitätssicherung betrachten darf.

    Ich komme zwar mehr aus dem Bereich des Datenqualitätsmanagement, stoße aber in jedem Projekt darauf, nach der eigentlichen Messung der Datenqualität mit Hilfe sogenannter DQ-Regeln noch die Fehlerursachen vor der verbesserung zu analysieren.

    Diese "Root cause analysis" führt wahrlich immer häufig auch zu einer Programmanalyse. Manche Datenfehler liegen tatsächlich in versteckten Business-Regeln (if countrycode = DE then length ZIPCODE= 4) oder fehlerhaften Business-Prozessen im Programmcode verborgen.

    Manche systematische Fehler im Programmcode finden sie bei schlechter Dokumentation erst durch eine sogenannte Regelinduktion in den zugehörigen Tabellen.

    Mit besten Grüßen,

    Niels Weigel
    FUZZY! Informatik AG

    Wolfgang Ulbrich schrieb:
    Es kann immer wieder beobachtet werden, dass nicht nur die Qualität der Software einem Degenerierungsprozess ('Verschlimmbesserung') unterliegt sondern dass dies auch für die Qualität der Daten gilt. Speziell bei anstehenden Migrationen macht sich dieses Problem oft sehr unangenehm bemerkbar.
    Folgende ausgewählte Probleme der Datenqualität können u.a. auftreten: · Missbrauch von Datenelementen mit ursprünglich nicht vorgesehenen Inhalten (möglicherweise auch undokumentiert, Verletzung der Datenhygiene)
    · Dubletten z.B. bei Adressen
    · 'Überlistung' der in der Datenbank vorgesehenen Formate durch Redefinitionen
    · Datenelemente sind nicht gefüllt, obwohl es eigentlich erwartet wird
    · Der Inhalt ist zwar formatgerecht aber die Inhalte sind nicht oder nicht mehr zulässig (z.B. Änderungen der zulässigen Wertebereiche, Softwarefehler).
    · Datenelemente sind syntaktisch richtig gefüllt aber im semantischen/fachlichen Kontext ist ihr Inhalt unzulässig.
    Ich würde gern diskutieren u.a. über
    - Analysemöglichkeiten der Daten mit einer Bewertung der Datenqualität
    - Reparaturen bzw. Bereinigungen der Daten - Abgleiche zwischen Datenbeständen
    • 17 Oct 2005, 3:59 pm
  • Wolfgang Zuser
    Wolfgang Zuser    Group moderator
    The company name is only visible to registered members.
    Re: Grundprobleme bei der Datenqualität
    Wir setzen exakt für diese Fragestellungen eine von uns entwickelte Methode namens VDX ein (Visuelle Daten eXploration) ein.

    Wir visualisieren dabei Daten mit Hilfe von einfachen Statistik-Tools in einfachen Grafiken und stellen dabei vor allem auch Zusammenhänge zwischen Attributen der Daten dar. Anhand dieser Grafiken lassen sich dann Probleme z.T. exakt ablesen, z.T. lassen sich zumindest potentielle fehlerbehaftete Datensätze zumindest eingrenzen.

    Einen aktuellen Bericht zu diesem Thema finden Sie hier: http://www.report.at/artikel.asp?mid=1&kid=1&aid=888...

    Mehr Information und Erfahrungswerte kann ich Ihnen natürlich noch per Mail zukommen lassen.
    • 13 Nov 2005, 7:12 pm
  • Jens Spaniel
    Jens Spaniel
    The company name is only visible to registered members.
    Re: Grundprobleme bei der Datenqualität
    Hallo Herr Ulbrich,

    schade, dass sich in diesem Thread seit Monaten nichts mehr tut. Das Problem der Datenqualität dürfte dennoch für viele akut sein.

    Wenn auch die von Ihnen angesprochenen Adressdubletten für ein Unternehmen nachteilig sind, so hat eine schlechte Datenqualität durch ganz andere Techniken heute viel ernstzunehmendere Folgen: Meta-Daten.

    Während in früheren IT-Zeitaltern die Hardcodierung dem Entwickler die Hoheit über Programmablauf und Business Rules gab, steuern heute zunehmend Meta-Daten den Programmablauf. SAP hat dies mit R/2 vorgemacht. Viele haben es nachgemacht. Die Folge: ein Dschungel an Systemtabellen.

    Bevor das jetzt danach klingt, als sei ich ein Befürworter der Hardcodierung, möchte ich betonen, dass ich ein Verfechter von generischen Lösungen bin. Allerdings macht ein Designer hier nur einen guten Job, wenn er neben einem guten Programm- und Tabellendesign Folgendem Beachtung schenkt:
    - eine gute Dokumentation der Meta-Daten, einschließlich Beispielen
    - einen ausgefeilten Testplan erstellt, um die Konsistenz der Meta-Daten überprüfen zu können.
    Und alles hilft natürlich nur dann, wenn dieser Testplan bei jeder Änderung der Meta-Daten evaluiert wird.
    Außerdem sollten folgende Fragen betrachtet werden:
    - Erfüllt die generische Lösungen die Anforderungen an die Programmperformance?
    - Ist die generische Lösung für Entwickler-, Supportler- und Anwender verständlich?

    Gruß
    Jens Spaniel
    • 05 Jun 2006, 12:45 pm