Quick Guide: Research Tech

4.1 Etappe 1 Datenerfassung

Resources are missing for this theme.

Bei der Datenerfassung geht es darum, wie die Daten in das System kommen. Da gibt es verschiedene Möglichkeiten:

  • Schnittstellen [APIs]: Eine Schnittstelle verbindet zwei Systeme technisch miteinander, worüber Daten ausgetauscht werden können. Syndicated-Data-Provider liefern zum Beispiel Verkaufszahlen direkt über eine Datenbank-API, das System fragt sie ab und schreibt sie in die eigene Datenbank. Gleiches gilt für DIY-Tools wie SurveyMonkey oder Institute, von denen Rohdaten direkt abgerufen werden.
  • Austausch-Server: Externe Dienstleister und interne Teams legen strukturierte und unstrukturierte Daten auf einer gemeinsamen Ablage ab. Wichtig dabei: eine konsistente Einhaltung der Data Governance [z. B. einheitliche Namenskonventionen, Versionierung etc.].
  • Eingabesysteme: Daten werden manuell über Formulare in SharePoint, Excel oder andere Tools erfasst.

Datenerfassung in der Praxis:

Das Marktforschungsteam eines FMCG-Unternehmens führt monatlich ein Brand-Tracking durch. Die Daten kommen aus verschiedenen Quellen: SurveyMonkey liefert wöchentlich Umfragedaten per automatisiertem Export als CSV-Datei in einen SharePoint-Ordner. Nielsen stellt Verkaufs­zahlen über eine API bereit, das System fragt sie täglich ab und schreibt sie direkt in die Datenbank. Salesforce ist per Datenbank-API angebunden, sodass Kundensegmente und Kaufhistorie automatisch einfließen. Social-Media-Erwähnungen kommen monatlich als Report per E-Mail und werden manuell hochgeladen und via LLM ausgelesen.

Alle Daten landen zunächst im Data Lake. Von dort aus startet die Verarbei­tung, bevor sie im Data Warehouse für Analysen bereitstehen.