Datenqualität mit dbt Test sichern
Verlässliche Daten sind die Grundlage jeder Marketing-Entscheidung. In diesem Beitrag zeigen wir, wie Sie mit dbt-Tests und Freshness-Checks dafür sorgen, dass Ihre Dashboards jederzeit korrekt und aktuell sind.
Im ersten Artikel unserer dbt-Blogpost-Serie für BI Manager, Data Analysts, Analytics Engineers & Co. haben wir untersucht, wie dbt komplexe SQL-Workflows vereinfacht und damit die Verwaltung und Skalierung von Marketing-Daten-Pipelines erleichtert. In diesem Beitrag sehen wir uns an, wie dbt durch Tests und Aktualitäts-Checks Ihre Daten noch zuverlässiger werden lassen.
Nichts untergräbt das Vertrauen von Marketing- und Sales-Teams schneller als fehlerhafte Dashboards oder inkonsistente KPIs. Doch die Sicherstellung der Datenqualität über mehrere Plattformen hinweg ist unglaublich schwierig, vor allem wenn man sich auf benutzerdefinierte SQL-Skripte und manuelle Prüfungen verlässt.
Mit dbt können Sie Datenqualität auf ein neues Level heben und in Standardprozesse integrieren. Wir zeigen Ihnen, wie die Tests Teil Ihrer Transformations-Pipeline werden.
dbt-Test: Wie Sie Ihre Datenqualität automatisiert absichern
In dbt definieren Sie Datentests direkt in .yml-Dateien neben Ihren Modellen. Sie müssen kein benutzerdefiniertes SQL schreiben oder separate Überwachungstools einrichten. Diese Tests prüfen auf allgemeine Probleme wie:
- unique: stellt sicher, dass es keine Duplikate in Schlüsselspalten gibt (z. B. Kampagnen-IDs)
- not_null: Stellt sicher, dass kritische Felder (wie Ausgaben oder Konversionen) immer ausgefüllt sind
- accepted_values: Überprüft, ob eine Spalte nur erwartete Einträge enthält (z. B. channel = „facebook“, „google“)
- relationships: Erzwingt referentielle Integrität über Tabellen hinweg (z.B. campaign_id existiert sowohl in der spend- als auch in der impressions-Tabelle)
Für komplexere Validierungen integriert dbt das Paket dbt_utils, eine Bibliothek mit wiederverwendbaren Test-Makros. Dies ist besonders leistungsfähig in der Marketing-Analytik, wo mehrere Plattformen in einen einzigen Funnel oder ein Attributionsmodell einfließen.
Aktualität prüfen mit Freshness-Checks
Neben der Datenqualität ist auch die Datenaktualität entscheidend, beispielsweise wenn Dashboards regelmäßig in kurzen Abständen aktualisiert werden oder in Kundenterminen aktuelle Ergebnisse erwartet werden.
dbt kann monitoren, wie „frisch“ Ihre Datenquellen sind. Durch das Festlegen von Aktualitätserwartungen in der Datei sources.yml können Sie zum Beispiel kennzeichnen, wenn eine Quellentabelle nicht aktualisiert wurde (z. B. GA4-Daten, die in den letzten 48 Stunden fehlten) und Warnungen auslösen, wenn Pipelines unterbrochen werden oder Kampagnendaten verzögert werden. So wird sichergestellt, dass Reportings nicht durch unerwartete Datenlücken unterbrochen werden.
Hier ein beispielhafter Code:
sources:
- name: data_stack_sources
database: db
schema: raw
tables:
- name: facebook_ads
freshness:
warn_after: { count: 24, period: hour }
error_after: { count: 48, period: hour }
loaded_at_field: updated_at
tests:
- dbt_utils.unique_combination_of_columns:
combination_of_columns:
- campaign_id
- date
- not_null:
column_name: campaign_idFazit: Mit dbt können Sie Vertrauen in Ihre Marketing-Daten sichern
Marketing- und Vertriebsteams brauchen verlässliche KPIs. Mit den integrierten Test- und Aktualitätsfunktionen von dbt schaffen Sie die Grundlage dafür: automatisiert und skalierbar.
Als Boutique-Beratung mit fast 20 Jahren Erfahrung im Bereich Marketing Analytics unterstützen wir unsere Kund:innen genau dabei: saubere Daten, nachvollziehbare Transformationen, bessere Entscheidungen. Sie wollen wissen, wie gut Ihre Marketing-Daten aufgestellt sind? Wir helfen Ihnen gerne beim Aufbau robuster, vertrauenswürdiger Datenpipelines.