Suchen

Warum Metadaten beim Testdatenmanagement wichtig sind

| Autor / Redakteur: Martin Winkler * / Dipl.-Ing. (FH) Hendrik Härter

Tests sind das Fundament moderner Forschungs- und Entwicklungsprozesse. Damit Entwickler aus den Daten wertvolle Erkenntnisse ziehen können, ist ein systematisches Datenmanagement notwendig. Dabei spielen Metadaten eine entscheidende Rolle.

Firmen zum Thema

Messdaten auswerten: Um aus den Daten wichtige Erkenntnisse zu ziehen, ist systematisches Datenmanagement notwendig.
Messdaten auswerten: Um aus den Daten wichtige Erkenntnisse zu ziehen, ist systematisches Datenmanagement notwendig.
(Bild: measX)

Treffen Forscher und Entwickler eine Entscheidung, so begründen sie diese anhand von Daten. Beispiele sind Material- und Funktionsprüfungen, Dauererprobungen und Zertifizierungstests, die richtungsweisende Impulse liefern und Entwicklungsschritte absichern. Dank verbesserter Sensor-, Mess- und Prüftechnik fallen nicht nur immer größere Datenmengen aus Prüfständen oder Simulationen an, sondern das Testen selbst wird komplexer.

Die gewonnenen Messdaten sind unter wechselnden Fragestellungen auszuwerten. Erschwerend kommt hinzu, dass F&E-Abteilungen und Testcenter in immer kürzerer Zeit und unter enormem Kostendruck neue Entwicklungen auf den Markt bringen müssen. Hier spielt das Datenmanagement eine wichtige Rolle. Die Qualität eines Tests hängt maßgeblich von der Güte der zugrundeliegenden Datenbasis ab.

Warum Metadaten so wichtig sind

Eine valide Datenbasis wird nicht nur von der Belastbarkeit der ermittelten Rohdaten bestimmt. Entscheidend ist außerdem, ob die Daten aussagekräftig sind und ob gut mit ihnen gearbeitet werden kann. Kernaufgabe des Datenmanagements ist es, den Informationsgehalt, die Auffindbarkeit und Nutzbarkeit der Testdaten zu gewährleisten. Dabei spielen die Metadaten eine Schlüsselrolle, welche den Messdaten als zusätzliche Beschreibung mitgegeben werden. Erst durch sie gewinnen die meist numerischen Werte an Bedeutung, lassen sich eindeutig zuordnen, interpretieren und in eine sinnhafte Beziehung zu anderen Werten setzen.

Metainformationen sind zwingend erforderlich, damit in der Datenflut sortiert, gefiltert und gesucht werden kann. Grundsätzlich gilt: Je mehr relevante beschreibende Attribute mitgeführt werden, desto größer ist der Informationsgehalt der Versuchsdaten und desto vielseitiger können sie – auch projekt- oder abteilungsübergreifend – genutzt werden. Es lohnt sich also, sich intensiv mit den Metadaten zu beschäftigen.

Etablierte Modelle geben eine Struktur

Welche Metadaten einen Versuch umfassend dokumentieren, variiert von Testaufgabe zu Testaufgabe. Obligatorisch sind Angaben zu Datum, Uhrzeit, Versuchsnummer und Prüfer, aber auch Informationen zum Prüfstandsaufbau, zum Prüfling und zum Prüfablauf mit allen wichtigen Parametern. Angenommen, es handelt sich um einen Test an einem Verbrennungsmotor, dann sind neben vielen anderen Merkmalen Informationen zu Motortyp, Kraftstoff, Einspritzsystemen und Softwareständen unbedingt erforderlich. Außerdem ist es sinnvoll, die verwendete Kraftstoffcharge oder die Seriennummern der Komponenten direkt mit festzuhalten. Auch die Bezeichnungen, Seriennummern und Kalibrierdaten der eingesetzten Sensoren und Messgeräte könnten wichtig bei der Suche nach Problemen werden.

Für die Dokumentation eines solchen Tests kommen gut und gerne hunderte Attribute zusammen. Nicht alle sind von Anfang an bekannt, Metadaten kommen in allen Phasen des Testprozesses hinzu – von der Testplanung bis zur Auswertung. Um den Überblick zu behalten, müssen Metadaten eindeutig benannt und sinnvoll organisiert sein. Zur Strukturierung kann man sich an Datenmodellen orientieren, wie dem ASAM-ODS-Standard für die automobile Messtechnik.

Ein fein granulares Metadatenmodell

Der ASAM-ODS-Standard gibt optionale Kategorien für beschreibende Informationen vor, die anwendungsübergreifend nutzbar sind. Welche Kategorien passen und wie fein granular das Modell der Metadaten letztendlich aufgebaut wird, ist abhängig vom Projekt. Empfehlenswert ist ein Repository, also ein Verzeichnis sämtlicher zu speichernder Informationen, in dem jedes Attribut einen eindeutigen, möglichst sprechenden Namen erhält, exakt beschrieben wird und einem Datentyp (numerisch oder textuell) zugeordnet ist. Je nach Attribut sind weitere Angaben erforderlich. Dazu gehören beispielsweise Einheiten oder zulässige Werte. Für den internationalen Einsatz können im Repository direkt nationalsprachliche Bezeichner und Beschreibungen vorgesehen werden.

Metadaten entstehen während des gesamten Testprozesses.
Metadaten entstehen während des gesamten Testprozesses.
(Bild: measX)

Eine projektübergreifend festgelegte Struktur der Metadaten mit konsistenter Nomenklatur sorgt für ein gemeinsames Verständnis der Testdaten und erleichtert es, sie mehrfach zu nutzen: Im Beispiel könnte ein Test der Verbrennungsfachleute ohne weiteres von den Kollegen aus dem Thermomanagement verwendet werden, um das Kühlverhalten des Motors in bestimmten Lastsituationen zu untersuchen.

Datenbank oder Dateisystem – wohin mit den Daten?

Ein zentraler Aspekt des Datenmanagements ist die Datenablage. Für Datenmodelle mit komplexen Strukturen bietet sich eine relationale Datenbank nach dem ASAM-ODS-Standard an. Er bietet Leitlinien für die Tabellenstrukturierung und die physikalische Ablage der Daten sowie Schnittstellen für den Zugriff. Allerdings erfordert er für Datenbank und Serverdienste eine komplexe Infrastruktur und Pflege. Deutlich weniger aufwändig als eine solche Datenbanklösung ist die dateibasierte Datenablage, bei der die mit Metadaten angereicherten Messdatendateien in einem Verzeichnissystem abgespeichert werden. Möglich sind beliebige Dateiformate, die das Mitführen beschreibender Daten unterstützen.

Verbreitet sind ferner Ablagekonzepte, bei denen die beschreibenden Attribute in anderen Datenbeständen verwaltet werden. Viele Testlabore führen zum Beispiel digitale Laborbücher in Form von Excel-Tabellen oder separaten Datenbanken, in denen Versuche und Prüflinge gelistet und beschrieben sind. Über Versuchs- oder Prüflingsnummern wird in den Messdateien auf diese Listen lediglich verwiesen.

Unabhängig von der Entscheidung zwischen Datenbank und Dateisystem stellt sich angesichts zunehmender Vernetzung die Frage, ob die Daten direkt in die Cloud gespeichert werden sollen. Das ist, ebenso wie Sicherheits- und Zugriffskonzepte, jeweils projekt- oder kundenspezifisch zu entscheiden.

Bei der Suche in den Datenbeständen kommt die ganze Stärke der Metainformationen zum Tragen. Bei einer Datenbank können Datenmanagementtools direkt auf integrierte Such- und Filterfunktionen zugreifen. Dateisysteme bieten diese Möglichkeit nicht. Hier werden Daten über spezialisierte Indiziersysteme gefunden, die alle Attribute in den überwachten Verzeichnissen automatisiert erfassen, sammeln und als Suchkriterien zur Verfügung stellen. Ein Indiziersystem verarbeitet beliebige Dateiformate und integriert auch externe Datenbestände wie die genannten Laborbücher.

Metadaten als steuernde Kraft im Prüfprozess

Idealerweise wird bereits bei der Definition des Testablaufs berücksichtigt, welche Daten und Informationen für die Auswertung erforderlich oder hilfreich sein könnten. Bei der Entwicklung der Prüfstandsautomatisierung wird festgelegt, wie die Attribute bestimmt werden – entweder direkt aus dem Prüfsystem heraus oder durch interaktive Eingabe durch den Benutzer.

Sollen Daten aus bestehenden Prüfständen, Altdaten oder Fremddaten, beispielsweise aus Simulationen, in die Datenbasis integriert werden, müssen die notwendigen beschreibenden Attribute nachträglich eingepflegt werden. Am einfachsten und sichersten geht das über einen einmaligen Import- oder Konvertierungsprozess, bei dem die Datensätze – idealerweise automatisiert – gelesen, ergänzt, bereinigt und dann wieder neu geschrieben oder als Arbeitskopie abgelegt werden.

Für die konkrete Planung von Tests und Testreihen gibt es spezialisierte Versuchsplanungssysteme, die den kompletten Prozess abbilden; insbesondere im Bereich der statistischen Versuchsplanung und dem sogenannten Design of Experiments (DoE) ist dies hilfreich. In sehr vielen Fällen reicht es aber aus, die entwickelte Datenstruktur für die Planung zu nutzen: Bei einem neuen Test wird der Messdatensatz direkt mit allen erforderlichen Beschreibungsvariablen angelegt. Vor der Messung brauchen diese Felder nur noch vervollständigt und beispielsweise durch konkrete Seriennummern oder exakte Maße ergänzt zu werden.

Während des Prüfablaufs wird die vorbereitete Datenstruktur automatisch mit gemessenen Werten oder ersten berechneten Kennwerten gefüllt. Die angereicherten Testdaten lassen sich anschließend direkt interaktiv oder vollautomatisch, angestoßen über konfigurierbare Trigger, auswerten und für die Entscheidungsfindung nutzen.

Automatisch auswerten und Künstliche Intelligenz

Unabhängig von Branche und Produkt – hochwertige Tests erfordern ein Datenmanagement, das mithilfe von Metadaten die Aussagekraft, Auffindbarkeit, flexible Nutzbarkeit und Wiederverwendbarkeit der Mess- und Testdaten sicherstellt. Je weitsichtiger die Datenbasis vorbereitet wird, desto effizienter sind die Prozesse und desto größer sind die Möglichkeiten, aus den Daten genau die Informationen abzuleiten, die begründete Entscheidungen ermöglichen.

Vollautomatisierte Auswertungen, auch mit Methoden der Künstlichen Intelligenz (KI), bestimmen mehr und mehr den Mess- und Prüfalltag. Gerade hierfür ist ein konsequentes Datenmanagement mit standardisierten, automatisch auslesbaren Datenstrukturen unverzichtbar. Stimmt die Vorarbeit, werden die nachfolgenden Schritte einfacher, schneller und auch sicherer.

Interview mit Martin Winkler

Martin Winkler, measX: Die Datenerzeugung ist kein Selbstzweck. Mit den Messdaten will der Entwickler die Funktionseigenschaften eines Prüflings kennenlernen.
Martin Winkler, measX: Die Datenerzeugung ist kein Selbstzweck. Mit den Messdaten will der Entwickler die Funktionseigenschaften eines Prüflings kennenlernen.
(Bild: MeasX)

Mit den Metadaten werden die gewonnenen Messdaten erst interpretierbar. Können Sie bitte ein praktisches Beispiel geben!

Gerne. Oft fängt das Problem schon damit an, dass Prüfling und Prüfbedingungen nicht im Datensatz hinterlegt sind. Unmittelbar nach dem Test sind diese Informationen noch allen Beteiligten präsent. Etwas später weiß das keiner mehr, so dass die Daten eigentlich nicht mehr nutzbar sind. Es sei denn, man findet diese Informationen noch in Aufzeichnungen oder Excel-Tabellen.

Für die Beurteilung von Messdaten muss ich außerdem genau wissen, welches Testprogramm gefahren wurde. Wenn einem Datensatz beispielsweise nicht zu entnehmen ist, welche Sollwertvorgaben eingestellt waren, kann ich ihn nicht wirklich beurteilen oder gar mit anderen Datensätzen vergleichen.

Warum ist das Vorhalten von Metadaten und das Einhalten von Standards in einem Projektgeschäft so wichtig?

Ich möchte eine Eindeutigkeit schaffen. Um Tests und die daraus gewonnen Kennwerte vergleichen zu können, müssen sie stets unter gleichen Randbedingungen erstellt werden. Wenn ich nicht vorschreibe, wie der Test im Detail abläuft und wie er hinterher beschrieben werden muss, macht es jeder so, wie er denkt. Nicht falsch, aber immer anders. Die Standardisierung von Testabläufen und verbindliche Vorgaben für die Beschreibung relevanter Parameter helfen hier ungemein.

Die Datenablage ist nicht unbedingt trivial und sollte durchdacht sein. Worauf sollte man unbedingt achten?

Zuallererst sollte man sich Gedanken zum Datenaufkommen machen. Welche Datenmengen entstehen? Wo entstehen sie und wie werden sie später genutzt? Interessieren mich die Daten kontinuierlich und zeitnah oder brauche ich sie erst nach dem kompletten Test? Die Antworten entscheiden dann über die Datenablage in Datenbank, Dateisystem, Cloud oder möglichen Mischformen. Berücksichtigt werden müssen natürlich außerdem die Anforderungen an die IT-Infrastruktur sowie an Pflege und Wartung.

Bevor ich mit einem Test beginne: Warum sollte ich mir Gedanken um den Test und die Testreihen machen?

Wichtig ist, dass Sie bei der Testgestaltung daran denken, was Sie nachher mit den Daten anfangen möchten. Denn die Datenerzeugung ist kein Selbstzweck. Manchmal muss mit einem Test ein möglichst breites Spektrum erfasst werden, um die kompletten Funktionseigenschaften eines Prüflings kennenzulernen. Es kann aber auch sein, dass gewisse Eigenschaften sehr genau unter verschiedensten Randbedingungen oder über eine bestimmte Zeit hinweg untersucht werden sollen.

Wichtig ist außerdem, dass Sie die Randbedingungen und Testphasen gleich mit den Daten erfassen. Werden beispielsweise verschiedene Temperaturstufen angefahren, können diese Stufen zwar auch später aus den gemessenen Ist-Temperaturen erschlossen werden. Besser und sicherer ist es jedoch, die Soll-Temperaturen direkt mit aufzuzeichnen. Gleiches gilt für Messzyklen. Obwohl man die zwar gut mit dem Auge erkennen kann, sollte man die Zyklusnummer in einem Kanal mitschreiben. In unserem Auswertesystem X-Frame nutzen wir diese zusätzlichen Informationen. So können wir beispielsweise Testphasen voneinander separieren und Zyklen direkt miteinander vergleichen. Auch einer vollautomatisierten Auswertung steht dann nichts mehr im Wege.

Dieser Beitrag ist im Sonderheft Messtechnik, Sensorik und Test II der ELEKTRONIKPRAXIS (Download PDF) erschienen.

* Martin Winkler ist Abteilungsleiter Testdatenmanagement bei measX in Aachen.

(ID:46824488)