4.2 Etappe 2 Datenverarbeitung
Resources are missing for this theme.
Im zweiten Schritt geht es um die Datenverarbeitung. Rohdaten sind selten sofort nutzbar, sie müssen erst aufbereitet werden, bevor man sie sinnvoll auswerten kann.
Viele Daten liegen zunächst unstrukturiert vor, als Reports, E-Mails oder offene Umfrageantworten.
Anschließend werden die Daten bereinigt: Duplikate werden entfernt, Plausibilitätschecks durchgeführt und Inkonsistenzen behoben. Daten aus verschiedenen Quellen sprechen oft nicht dieselbe Sprache; ein klassisches Beispiel sind unterschiedliche Kalenderwochen-Strukturen, die erst angeglichen werden müssen. Beim Datamapping wird festgelegt, welche Kategorien zusammengehören. Wichtig dabei ist, dass die Prozesse automatisiert laufen sollten, denn bei manueller Datenverarbeitung passieren häufiger Fehler und es kostet unnötig Zeit.
Für die Datenverarbeitung gibt es verschiedene spezialisierte Tools:
- BigQuery [Google]
- MS Fabric [Microsoft]
- Databricks
- Dataiku
Welches Tool das richtige ist, hängt von Ihrer bestehenden IT-Landschaft ab. Viele Unternehmen setzen auf Microsoft- oder Google-Ökosysteme, andere auf spezialisierte Plattformen wie Databricks.
Die verarbeiteten Daten landen schließlich strukturiert im Data Warehouse bereinigt und bereit für die weitere Verwendung.
Datamapping in der Praxis:
Sie wollen Verkaufszahlen von Rossmann, dm, Müller und Amazon vergleichen. Problem: Jeder Händler nutzt eine andere Kalenderwochen-Struktur, Amazon rechnet anders als der deutsche Einzelhandel. Ohne Datamapping landen Woche 23 von Amazon und Woche 23 von Rossmann in derselben Zeile, obwohl sie unterschiedliche Zeiträume abdecken.
Gleiches gilt für Markennamen: In Studie A steht “Coca-Cola,” in Studie B “Coke,” in den Verkaufsdaten “Coca Cola” [ohne Bindestrich]. Datamapping sorgt dafür, dass alle drei Schreibweisen als dieselbe Marke erkannt und zusammengeführt werden.