{"id":12220,"date":"2025-10-08T11:52:33","date_gmt":"2025-10-08T11:52:33","guid":{"rendered":"https:\/\/www.hopmann.com\/blog\/\/"},"modified":"2025-10-10T13:08:39","modified_gmt":"2025-10-10T13:08:39","slug":"dlt-skalierung-multi-pipeline-secrets-management","status":"publish","type":"blog","link":"https:\/\/www.hopmann.com\/de\/blog\/dlt-skalierung-multi-pipeline-secrets-management\/","title":{"rendered":"dlt Skalierung: Multi-Pipeline &#038; Secrets Management"},"content":{"rendered":"<hr>\n<ul>\n<li><a href=\"#\">social<\/a>\n<\/li>\n<\/ul>\n<hr>\n<div>\n<p><em>Dieser Beitrag zur dlt Skalierung ist Teil unserer <a href=\"https:\/\/www.hopmann.com\/de\/blog\/marketing-datenpipeline-mit-dlt-skalieren\/\">Blog Post Serie zu dlt<\/a> und setzt Grundkenntnisse in <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-in-der-modernen-marketing-datenlandschaft\/\">Airflow<\/a>, <a href=\"https:\/\/www.hopmann.com\/de\/projekte\/case-study-cloud-kosten-monitoring-aws-snowflake\/\">AWS und Snowflake<\/a> voraus. Wenn du neu bei dlt bist, empfehlen wir, zuerst unseren ersten Beitrag zu lesen, in dem wir erkl\u00e4ren, warum wir dlt eingef\u00fchrt und wie wir es in unseren <a href=\"https:\/\/www.hopmann.com\/de\/marketing-analytics\/marketing-data-stack\/\">Data Stack<\/a> integriert haben.<\/em><\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Hopmann-Blogpost-Serie-dlt.png\" alt=\"Hopmann Blogpost Serie dlt\"><\/p>\n<h2>Die Herausforderung: dlt skalieren<\/h2>\n<div>\n<p>dlt funktioniert hervorragend, solange man eine einzige Umgebung nutzt oder wenn mehrere Pipelines dieselben Quellen und Ziele teilen. In solchen F\u00e4llen reicht eine einzelne <em>.toml<\/em>-Konfiguration oder Umgebungsvariablen mit Zugangsdaten, Schema-Definitionen und Zielsystemen v\u00f6llig aus. Lokale L\u00e4ufe sind damit reibungslos und vorhersehbar.<\/p>\n<p><strong>Die Realit\u00e4t sieht allerdings oftmals anders aus:<\/strong><\/p>\n<ul>\n<li>Wir betreiben Dutzende gleichzeitiger dlt-Pipelines.<\/li>\n<li>Wir integrieren Dutzende Marketingquellen \u2013 viele davon mit mehreren Accounts und jeweils eigenen Zugangsdaten.<\/li>\n<li>Wir verwalten mehrere <a href=\"https:\/\/www.hopmann.com\/de\/technologien\/snowflake\/\">Snowflake<\/a>-Zielsysteme.<\/li>\n<li>Die Pipelines werden \u00fcber <a href=\"https:\/\/aws.amazon.com\/de\/managed-workflows-for-apache-airflow\/\" target=\"_blank\" rel=\"noopener\">MWAA (Managed Airflow)<\/a> orchestriert, der Code liegt in GitHub und wird \u00fcber S3 bereitgestellt.<\/li>\n<\/ul>\n<p>In diesem Setup wurden dlt\u2019s empfohlene statische .toml-Konfigurationen und der Einsatz von Umgebungsvariablen schnell zum Skalierungsengpass. Der One-size-fits-all-Ansatz konnte die Vielfalt an Quellen, Zielen und parallelen L\u00e4ufen in unserer Cloud-Umgebung schlicht nicht abbilden.<\/p>\n<\/div>\n<h2>Wo es anfing, schwierig zu werden<\/h2>\n<div>\n<p>Als wir versuchten, dlt \u00fcber eine einzelne Umgebung hinaus zu skalieren, wurden die Grenzen statischer .toml-Dateien deutlich:<\/p>\n<\/div>\n<h3>1. Parameter Store Limits<\/h3>\n<div>\n<p>AWS begrenzt die Gr\u00f6\u00dfe gespeicherter Parameter. Das Hinzuf\u00fcgen zahlreicher explizit benannter Zugangsdaten in eine .toml-Datei brachte uns an diese Grenze. Unsere tempor\u00e4re L\u00f6sung war, Zugangsdaten \u00fcber Pipelines hinweg zu teilen. Dies l\u00f6ste das n\u00e4chste Problem aus.<\/p>\n<\/div>\n<h3>2. Destination Switching<\/h3>\n<div>\n<p>Wir mussten zwischen verschiedenen <a href=\"https:\/\/www.hopmann.com\/de\/technologien\/snowflake\/\">Snowflake<\/a>-Umgebungen wechseln. In einer statischen Konfiguration bedeutete das Workarounds wie das Wiederverwenden von Pipeline-Namen. Dies verursachte wiederum Konflikte mit dem State Management von dlt.<\/p>\n<\/div>\n<h3>3. Pipeline-Name-Konflikte<\/h3>\n<div>\n<p>dlt verkn\u00fcpft den Pipeline-State mit dem Pipeline-Namen. Um Pipelines parallel laufen zu lassen, brauchten wir eindeutige Namen. Doch in der statischen Konfiguration konnten Secrets nicht korrekt aufgel\u00f6st werden, wenn Namen nicht \u00fcbereinstimmten.<\/p>\n<\/div>\n<h3>4. Parallele Schreibvorg\u00e4nge<\/h3>\n<div>\n<p>Mehrere Pipelines mit demselben Namen f\u00fchrten zu Race Conditions. W\u00e4hrend der Laufzeit \u00fcberschrieben sich Konfigurationen gegenseitig: Pipeline A nutzte pl\u00f6tzlich Secrets von Pipeline B, was zu unvorhersehbarem Verhalten und schwer nachvollziehbaren Fehlern f\u00fchrte.<\/p>\n<\/div>\n<h2>\u00dcberdenken, wie wir mit Secrets umgehen<\/h2>\n<div>\n<p>Eines war klar: Statische <em>.toml<\/em>-Dateien sind in einem Multi-Pipeline-Setup keine L\u00f6sung. Bei Dutzenden parallelen Runs, individuellen Zugangsdaten und unterschiedlichen Zielsystemen brauchten wir einen dynamischen, pipeline-spezifischen Ansatz.<\/p>\n<p><strong>Unsere L\u00f6sung:<\/strong> Secrets zur Laufzeit generieren und direkt in jede DLT-Pipeline injizieren, anstatt globale Umgebungsvariablen oder vordefinierte Konfigurationsdateien zu nutzen.<\/p>\n<\/div>\n<h3>Vorteile dieser L\u00f6sung<\/h3>\n<div>\n<ul>\n<li><strong>Isolierung pro Pipeline:<\/strong> Jede Airflow-Task ruft nur die Zugangsdaten ab, die sie wirklich ben\u00f6tigt, und weist sie dlt.secrets zu.<\/li>\n<li><strong>Sichere gleichzeitige Ausf\u00fchrung:<\/strong> Da dlt.secrets pro Python-Prozess im Speicher lebt, kann keine Pipeline die Zugangsdaten einer anderen \u00fcberschreiben.<\/li>\n<li><strong>Dynamische Konfiguration:<\/strong> Pipelines k\u00f6nnen unterschiedliche Buckets, Snowflake-Umgebungen oder API-Credentials ansprechen, ohne sich gegenseitig zu beeinflussen.<\/li>\n<li><strong>Kein globaler Zustand, keine Disk Writes:<\/strong> Secrets werden nur zur Laufzeit verwaltet und verschwinden, sobald der Airflow-Task abgeschlossen ist. Dies ist sicherer in einer mandantenf\u00e4higen Ausf\u00fchrungsumgebung.<\/li>\n<\/ul>\n<\/div>\n<div>\n<p><em><strong>Hinweis:<\/strong> dlt unterst\u00fctzt derzeit nativ Google Cloud Secrets Manager, aber noch nicht AWS Parameter Store. Das kann sich in k\u00fcnftigen Versionen \u00e4ndern. Pr\u00fcfen Sie daher bitte immer die aktuelle Dokumentation, wenn Sie andere Secret-Backends nutzen m\u00f6chten.<\/em><\/p>\n<p>Auch wenn Umgebungsvariablen in containerisierten Umgebungen Standard sind, ist unser Ansatz in einem konkurrierenden MWAA-Setup mit unterschiedlichen Werten pro DAG sicherer und stabiler. Tempor\u00e4re Secrets im Speicher werden nie auf die Festplatte geschrieben, und AWS SSM Parameter Store bleibt die \u201eSingle Source of Truth\u201c.<\/p>\n<p>Da alles innerhalb einer Airflow-Task l\u00e4uft, bleiben keine Zugangsdaten nach Abschluss des Tasks bestehen. Sie werden vollst\u00e4ndig aus dem Speicher gel\u00f6scht.<\/p>\n<\/div>\n<h2>Unser Ansatz zur dlt Skalierung<\/h2>\n<div>\n<ul>\n<li>Alle Zugangsdaten sicher im <strong>AWS Parameter Store<\/strong> speichern<\/li>\n<li><strong>Airflow Connections<\/strong> zur Verwaltung der Snowflake-Credentials verwenden<\/li>\n<li>Tempor\u00e4re <strong>AWS Session Tokens<\/strong> zur Laufzeit abrufen<\/li>\n<li>Secrets dynamisch mit <strong>dlt.secrets<\/strong> injizieren<\/li>\n<li><strong>Konfigurationen pro Pipeline<\/strong> zur Laufzeit generieren, keine statischen .toml-Dateien notwendig<\/li>\n<\/ul>\n<p><strong>Beispielhafte (gek\u00fcrzte) Version unserer Funktion zur Secrets-Injektion, die unmittelbar vor dem Erstellen der dlt-Pipeline ausgef\u00fchrt wird:<\/strong><\/p>\n<\/div>\n<pre><code>def set_dlt_secrets(snowflake_conn_id: str) -&gt; None:\r\n    &quot;&quot;&quot;\r\n    Loads AWS and Snowflake credentials into dlt secrets from Airflow connection metadata.\r\n\r\n    dlt's filesystem destination uses boto3 by default, but manually setting\r\n    dlt.secrets[&quot;destination.filesystem.credentials.*&quot;] overrides that chain.\r\n    If any credential is defined, the rest becomes mandatory, so we set them all explicitly.\r\n    &quot;&quot;&quot;\r\n    import boto3\r\n    from airflow.hooks.base import BaseHook\r\n    import json\r\n    import dlt\r\n\r\n    # Fetch Snowflake connection from Airflow\r\n    snowflake_conn = BaseHook.get_connection(snowflake_conn_id)\r\n    snowflake_extra = json.loads(snowflake_conn.extra) if snowflake_conn.extra else {}\r\n\r\n    # Retrieve temporary AWS credentials from session\r\n    session = boto3.Session()\r\n    credentials = session.get_credentials().get_frozen_credentials()\r\n    logger.info(&quot;\ud83d\udd11 Successfully retrieved AWS temporary credentials&quot;)\r\n\r\n    # Set dlt secrets for S3\r\n    dlt.secrets[&quot;destination.filesystem.bucket_url&quot;] = f&quot;s3:\/\/{bucket_name}&quot;\r\n    dlt.secrets[&quot;destination.filesystem.credentials.aws_access_key_id&quot;] = credentials.access_key\r\n    dlt.secrets[&quot;destination.filesystem.credentials.aws_secret_access_key&quot;] = credentials.secret_key\r\n    dlt.secrets[&quot;destination.filesystem.credentials.aws_session_token&quot;] = credentials.token\r\n    dlt.secrets[&quot;destination.filesystem.credentials.aws_default_region&quot;] = &quot;eu-central-1&quot;\r\n\r\n    # Set dlt secrets for Snowflake external stage\r\n<\/code><\/pre>\n<h3>Ergebnisse dieses Ansatzes<\/h3>\n<div>\n<p>Dieser Ansatz erm\u00f6glichte <strong>vollst\u00e4ndige Pipeline-Isolation<\/strong> und eliminierte Konfigurationskonflikte. Jede Airflow-DAG erh\u00e4lt nun ihre eigene kurzlebig Konfiguration, die nur die Secrets enth\u00e4lt, die sie f\u00fcr diesen Run ben\u00f6tigt.<\/p>\n<p><strong>Dadurch konnten wir:<\/strong><\/p>\n<ul>\n<li>Eindeutige Pipenamen vergeben<\/li>\n<li>Secrets sauber pro Pipeline trennen<\/li>\n<li>Beliebig viele parallele Pipelines betreiben, die Amazon Managed Workflow for Apache Airflow (MWAA) unabh\u00e4ngig orchestriert<\/li>\n<\/ul>\n<\/div>\n<h2>Was waren unsere Learnings zur dlt Skalierung?<\/h2>\n<div>\n<p>Die Skalierung von dlt zwang uns, unser Secrets- und Konfigurationsmanagement neu zu denken:<\/p>\n<ul>\n<li><strong>dlt\u2019s Standardkonfiguration ist auf Einfachheit, nicht Skalierung ausgelegt.<\/strong> <em>.toml<\/em> funktioniert lokal, aber nicht unter hoher Parallelit\u00e4t.<\/li>\n<li><strong>Dynamische Konfiguration ist der Schl\u00fcssel:<\/strong> Pipeline-spezifische Secrets und Configs vermeiden Konflikte.<\/li>\n<li><strong>AWS Parameter Store<\/strong> funktioniert hervorragend, solange man nicht versucht, alles in einer gro\u00dfen Datei zu b\u00fcndeln.<\/li>\n<li><strong>Isolation ist die Grundlage:<\/strong> Jede Pipeline sollte ihre Secrets und Schemata unabh\u00e4ngig verwalten.<\/li>\n<li><strong>MWAA<\/strong> bringt Einschr\u00e4nkungen mit sich, die statische Konfigurationen unpraktisch machen, aber die dynamische Generierung l\u00f6st dies elegant.<\/li>\n<\/ul>\n<\/div>\n<h2>Was als N\u00e4chstes kommt<\/h2>\n<div>\n<p>Im n\u00e4chsten Beitrag besch\u00e4ftigen wir uns mit dem Thema Schema-Persistenz und -Evolution. Marketingdaten \u00e4ndern sich st\u00e4ndig, und manchmal werden dlt\u2019s clevere Automatismen zu einer Herausforderung, wenn sich Schemas laufend weiterentwickeln.<\/p>\n<p>Falls Sie in der Zwischenzeit Hilfe mit der Skalierung Ihrer Datenprojekte ben\u00f6tigen, sind wir nat\u00fcrlich jederzeit gerne f\u00fcr Sie da.<\/p>\n<\/div>\n<p><p>\n        <a href=\"\/de\/kontakt\/\">Melden Sie sich<\/a>\n    <\/p>\n<\/p>\n<hr>\n<p><p>\n        Vorheriger Artikel    <\/p>\n<\/p>\n<p><p>\n        N\u00e4chster Artikel    <\/p>\n<\/p>\n<hr>\n<div>Neueste Artikel<\/div>\n<div>\n<\/div>\n<div>Kategorien<\/div>\n<div>\n<\/div>\n<p><!--more--><br \/>\n<!-- {\"type\":\"layout\",\"children\":[{\"type\":\"section\",\"props\":{\"animation\":\"slide-bottom-medium\",\"animation_delay\":\"50\",\"height\":\"page\",\"image_position\":\"center-center\",\"padding\":\"large\",\"padding_remove_top\":true,\"style\":\"default\",\"title_breakpoint\":\"xl\",\"title_position\":\"top-left\",\"title_rotation\":\"left\",\"vertical_align\":\"\",\"width\":\"large\"},\"children\":[{\"type\":\"row\",\"props\":{\"column_gap\":\"large\",\"layout\":\"2-3,1-3\",\"padding_remove_horizontal\":false,\"row_gap\":\"large\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_large\":\"2-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"margin_remove_bottom\":true,\"title_element\":\"div\",\"title_style\":\"text-meta\"},\"source_extended\":{\"props\":{\"content\":{\"composed\":{\"value\":\"{{ sources.6b78 }}: {{ sources.46d0 }}\",\"sources\":{\"6b78\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}},\"46d0\":{\"name\":\"field.subline\",\"query\":{\"name\":\"#parent\"}},\"6ef0\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}}}}},{\"type\":\"headline\",\"props\":{\"margin\":\"small\",\"margin_remove_top\":false,\"title_element\":\"h1\",\"title_style\":\"h1\"},\"source_extended\":{\"props\":{\"content\":{\"name\":\"title\",\"query\":{\"name\":\"#parent\"}}}}},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_bottom\":true}},{\"type\":\"fragment\",\"props\":{\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 8px;\\n    margin-bottom: 8px;\\n}\",\"layout\":\"1-2,1-2\",\"margin\":\"large\",\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"panel\",\"props\":{\"content_column_breakpoint\":\"m\",\"icon_width\":80,\"image_align\":\"left\",\"image_border\":\"circle\",\"image_grid_breakpoint\":\"\",\"image_grid_column_gap\":\"small\",\"image_grid_row_gap\":\"medium\",\"image_grid_width\":\"auto\",\"image_height\":40,\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"image_width\":40,\"link_style\":\"default\",\"link_text\":\"Read more\",\"margin\":\"\",\"meta_align\":\"below-title\",\"meta_element\":\"div\",\"meta_style\":\"text-meta\",\"title_align\":\"top\",\"title_element\":\"h3\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_style\":\"text-small\"},\"source_extended\":{\"props\":{\"image\":{\"name\":\"field.foto.url\",\"query\":{\"name\":\"#parent\"}},\"title\":{\"composed\":{\"value\":\"\",\"sources\":[],\"conditions\":[]}},\"content\":{\"composed\":{\"value\":\"{{ sources.5d02 }}, {{ sources.67e8 }}\",\"sources\":{\"5d02\":{\"name\":\"field.autor\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\"}},\"67e8\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}},\"content_en_us\":{\"composed\":{\"value\":\"{{ sources.cce3 }} on {{ sources.4656 }}\",\"sources\":{\"4656\":{\"name\":\"date\",\"query\":{\"name\":\"blogs.singleBlog\"},\"filters\":{\"date\":\"\"}},\"cce3\":{\"filters\":{\"search\":\"\"},\"name\":\"field.autor\",\"query\":{\"name\":\"blogs.singleBlog\"}}},\"conditions\":[]}}}},\"name\":\"Verfasser\"}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"yooessentials_social_sharing\",\"props\":{\"class\":\"social-sharing-blog\",\"grid\":\"horizontal\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"image_svg_inline\":true,\"link_style\":\"link\",\"margin\":\"default\",\"text_align\":\"right\"},\"children\":[{\"type\":\"yooessentials_social_sharing_item\",\"props\":{\"link_target\":\"_blank\",\"link_target_height\":\"\",\"link_target_width\":\"\",\"network\":\"linkedin\"}}],\"name\":\"Teilen\"}]}]}]},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Start \\\/\\\/ ---\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p><em>Dieser Beitrag zur dlt Skalierung ist Teil unserer <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/marketing-datenpipeline-mit-dlt-skalieren\\\/\\\">Blog Post Serie zu dlt<\\\/a> und setzt Grundkenntnisse in <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-in-der-modernen-marketing-datenlandschaft\\\/\\\">Airflow<\\\/a>, <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/projekte\\\/case-study-cloud-kosten-monitoring-aws-snowflake\\\/\\\">AWS und Snowflake<\\\/a> voraus. Wenn du neu bei dlt bist, empfehlen wir, zuerst unseren ersten Beitrag zu lesen, in dem wir erkl\\u00e4ren, warum wir dlt eingef\\u00fchrt und wie wir es in unseren <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">Data Stack<\\\/a> integriert haben.<\\\/em><\\\/p>\",\"content_en_us\":\"\n\n<p><em>This post about running dlt at scale is part of our <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/marketing-data-pipeline-scaling-with-dlt\\\/\\\">dlt blog post series<\\\/a>. It assumes familiarity with <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-in-the-modern-marketing-data-landscape\\\/\\\">Airflow<\\\/a>, <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/projects\\\/case-study-cloud-cost-monitoring-aws-snowflake\\\/\\\">AWS, and Snowflake<\\\/a>. If you\\u2019re new to dlt, start with our first post where we cover why we adopted it and how we integrated it into our <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">data stack<\\\/a>.<\\\/em><\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"},\"name\":\"Lead-Text\"},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Hopmann-Blogpost-Serie-dlt.png\",\"image_alt\":\"Hopmann Blogpost Serie dlt\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Die Herausforderung: dlt skalieren\",\"content_en_us\":\"The Challenge: Running dlt at Scale\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>dlt funktioniert hervorragend, solange man eine einzige Umgebung nutzt oder wenn mehrere Pipelines dieselben Quellen und Ziele teilen. In solchen F\\u00e4llen reicht eine einzelne <em>.toml<\\\/em>-Konfiguration oder Umgebungsvariablen mit Zugangsdaten, Schema-Definitionen und Zielsystemen v\\u00f6llig aus. Lokale L\\u00e4ufe sind damit reibungslos und vorhersehbar.<\\\/p>\\n\n\n<p><strong>Die Realit\\u00e4t sieht allerdings oftmals anders aus:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li>Wir betreiben Dutzende gleichzeitiger dlt-Pipelines.<\\\/li>\\n\n\n<li>Wir integrieren Dutzende Marketingquellen \\u2013 viele davon mit mehreren Accounts und jeweils eigenen Zugangsdaten.<\\\/li>\\n\n\n<li>Wir verwalten mehrere <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/technologien\\\/snowflake\\\/\\\">Snowflake<\\\/a>-Zielsysteme.<\\\/li>\\n\n\n<li>Die Pipelines werden \\u00fcber <a href=\\\"https:\\\/\\\/aws.amazon.com\\\/de\\\/managed-workflows-for-apache-airflow\\\/\\\">MWAA (Managed Airflow)<\\\/a> orchestriert, der Code liegt in GitHub und wird \\u00fcber S3 bereitgestellt.<\\\/li>\\n<\\\/ul>\\n\n\n<p>In diesem Setup wurden dlt\\u2019s empfohlene statische .toml-Konfigurationen und der Einsatz von Umgebungsvariablen schnell zum Skalierungsengpass. Der One-size-fits-all-Ansatz konnte die Vielfalt an Quellen, Zielen und parallelen L\\u00e4ufen in unserer Cloud-Umgebung schlicht nicht abbilden.<\\\/p>\",\"content_en_us\":\"\n\n<p>dlt works exceptionally well when you have a single environment or when pipelines share the same sources and destinations. In these scenarios, using a single <em>.toml<\\\/em> config or environment variables containing credentials, schema definitions, and destination settings is enough, and local runs are smooth and predictable.<\\\/p>\\n\n\n<p><strong>But that\\u2019s often not reality:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li>We run dozens of concurrent dlt pipelines.<\\\/li>\\n\n\n<li>We integrate with dozens of marketing sources, many with multiple accounts each using unique credentials.<\\\/li>\\n\n\n<li>We maintain multiple Snowflake destinations.<\\\/li>\\n\n\n<li>Pipelines orchestrated via <a href=\\\"https:\\\/\\\/aws.amazon.com\\\/de\\\/managed-workflows-for-apache-airflow\\\/\\\">MWAA (Managed Airflow)<\\\/a>, with code stored in GitHub and deployed through S3<\\\/li>\\n<\\\/ul>\\n\n\n<p>In this setup, dlt\\u2019s recommended static .toml configuration and suggested use of environmental variables quickly became a scaling bottleneck. The one-size-fits-all approach could not handle the diversity of sources, destinations, and concurrent pipeline runs in our cloud orchestration environment.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Wo es anfing, schwierig zu werden\",\"content_en_us\":\"Where Things Broke Down\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Als wir versuchten, dlt \\u00fcber eine einzelne Umgebung hinaus zu skalieren, wurden die Grenzen statischer .toml-Dateien deutlich:<\\\/p>\",\"content_en_us\":\"\n\n<p>Once we tried to scale dlt beyond a single environment, the limitations of a static .toml configuration became apparent:<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"1. Parameter Store Limits\",\"content_en_us\":\"1. Parameter Store Limits\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>AWS begrenzt die Gr\\u00f6\\u00dfe gespeicherter Parameter. Das Hinzuf\\u00fcgen zahlreicher explizit benannter Zugangsdaten in eine .toml-Datei brachte uns an diese Grenze. Unsere tempor\\u00e4re L\\u00f6sung war, Zugangsdaten \\u00fcber Pipelines hinweg zu teilen. Dies l\\u00f6ste das n\\u00e4chste Problem aus.<\\\/p>\",\"content_en_us\":\"\n\n<p>AWS caps the size of stored parameters. Packing dozens of explicitly named credentials into one .toml file pushed us over those limits. Our temporary workaround was to share credentials across pipelines to reduce duplication. That decision triggered the next issue.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"2. Destination Switching\",\"content_en_us\":\"2. Destination Switching\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Wir mussten zwischen verschiedenen <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/technologien\\\/snowflake\\\/\\\">Snowflake<\\\/a>-Umgebungen wechseln. In einer statischen Konfiguration bedeutete das Workarounds wie das Wiederverwenden von Pipeline-Namen. Dies verursachte wiederum Konflikte mit dem State Management von dlt.<\\\/p>\",\"content_en_us\":\"\n\n<p>We needed to switch between different Snowflake environments, but managing them inside one static config required tricks like reusing pipeline names, which conflicted with dlt\\u2019s state management and introduced complexity.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"3. Pipeline-Name-Konflikte\",\"content_en_us\":\"3. Pipeline Name Conflicts\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>dlt verkn\\u00fcpft den Pipeline-State mit dem Pipeline-Namen. Um Pipelines parallel laufen zu lassen, brauchten wir eindeutige Namen. Doch in der statischen Konfiguration konnten Secrets nicht korrekt aufgel\\u00f6st werden, wenn Namen nicht \\u00fcbereinstimmten.<\\\/p>\",\"content_en_us\":\"\n\n<p>dlt links pipeline state to the pipeline name. To run pipelines concurrently, we needed unique pipeline names, but the static config didn\\u2019t allow secrets to resolve properly when names didn\\u2019t match.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"4. Parallele Schreibvorg\\u00e4nge\",\"content_en_us\":\"4. Concurrent Writes\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Mehrere Pipelines mit demselben Namen f\\u00fchrten zu Race Conditions. W\\u00e4hrend der Laufzeit \\u00fcberschrieben sich Konfigurationen gegenseitig: Pipeline A nutzte pl\\u00f6tzlich Secrets von Pipeline B, was zu unvorhersehbarem Verhalten und schwer nachvollziehbaren Fehlern f\\u00fchrte.<\\\/p>\",\"content_en_us\":\"\n\n<p>Multiple pipelines sharing the same pipeline names caused race conditions. Mid-run, configs would overwrite each other, leading to unpredictable results, as Pipeline A\\u2019s secrets sometimes bled into Pipeline B\\u2019s run. This led to unpredictable behavior and difficult-to-debug issues.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"\\u00dcberdenken, wie wir mit Secrets umgehen\",\"content_en_us\":\"Rethinking How We Handle Secrets\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Eines war klar: Statische <em>.toml<\\\/em>-Dateien sind in einem Multi-Pipeline-Setup keine L\\u00f6sung. Bei Dutzenden parallelen Runs, individuellen Zugangsdaten und unterschiedlichen Zielsystemen brauchten wir einen dynamischen, pipeline-spezifischen Ansatz.<\\\/p>\\n\n\n<p><strong>Unsere L\\u00f6sung:<\\\/strong> Secrets zur Laufzeit generieren und direkt in jede DLT-Pipeline injizieren, anstatt globale Umgebungsvariablen oder vordefinierte Konfigurationsdateien zu nutzen.<\\\/p>\",\"content_en_us\":\"\n\n<p>It became clear that static <em>.toml<\\\/em> files were not going to work in our environment. With dozens of pipelines running concurrently, each needing unique credentials and targeting different destinations, we needed a dynamic, per-pipeline approach.<\\\/p>\\n\n\n<p><strong>Our solution:<\\\/strong> generate and inject secrets at runtime, directly into each DLT pipeline, rather than relying on global environment variables or pre-defined config files.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Vorteile dieser L\\u00f6sung\",\"content_en_us\":\"Key benefits of this solution\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<ul>\\n\n\n<li><strong>Isolierung pro Pipeline:<\\\/strong> Jede Airflow-Task ruft nur die Zugangsdaten ab, die sie wirklich ben\\u00f6tigt, und weist sie dlt.secrets zu.<\\\/li>\\n\n\n<li><strong>Sichere gleichzeitige Ausf\\u00fchrung:<\\\/strong> Da dlt.secrets pro Python-Prozess im Speicher lebt, kann keine Pipeline die Zugangsdaten einer anderen \\u00fcberschreiben.<\\\/li>\\n\n\n<li><strong>Dynamische Konfiguration:<\\\/strong> Pipelines k\\u00f6nnen unterschiedliche Buckets, Snowflake-Umgebungen oder API-Credentials ansprechen, ohne sich gegenseitig zu beeinflussen.<\\\/li>\\n\n\n<li><strong>Kein globaler Zustand, keine Disk Writes:<\\\/strong> Secrets werden nur zur Laufzeit verwaltet und verschwinden, sobald der Airflow-Task abgeschlossen ist. Dies ist sicherer in einer mandantenf\\u00e4higen Ausf\\u00fchrungsumgebung.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<ul>\\n\n\n<li><strong>Per-pipeline isolation:<\\\/strong> Each DAG\\\/task fetches only the credentials it needs from AWS Parameter Store and assigns them to dlt.secrets.<\\\/li>\\n\n\n<li><strong>Safe concurrent execution:<\\\/strong> Since dlt.secrets lives in memory per Python process, there is no risk of one pipeline overwriting another\\u2019s credentials.<\\\/li>\\n\n\n<li><strong>Dynamic configuration:<\\\/strong> Pipelines can target different buckets, Snowflake environments, or API credentials without interfering with each other.<\\\/li>\\n\n\n<li><strong>No global state or disk writes:<\\\/strong> Unlike environment variables, you are explicitly controlling secrets at runtime, which is safer in a multi-tenant execution environment. and disappear once the Airflow task completes.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p><em><strong>Hinweis:<\\\/strong> dlt unterst\\u00fctzt derzeit nativ Google Cloud Secrets Manager, aber noch nicht AWS Parameter Store. Das kann sich in k\\u00fcnftigen Versionen \\u00e4ndern. Pr\\u00fcfen Sie daher bitte immer die aktuelle Dokumentation, wenn Sie andere Secret-Backends nutzen m\\u00f6chten.<\\\/em><\\\/p>\\n\n\n<p>Auch wenn Umgebungsvariablen in containerisierten Umgebungen Standard sind, ist unser Ansatz in einem konkurrierenden MWAA-Setup mit unterschiedlichen Werten pro DAG sicherer und stabiler. Tempor\\u00e4re Secrets im Speicher werden nie auf die Festplatte geschrieben, und AWS SSM Parameter Store bleibt die \\u201eSingle Source of Truth\\u201c.<\\\/p>\\n\n\n<p>Da alles innerhalb einer Airflow-Task l\\u00e4uft, bleiben keine Zugangsdaten nach Abschluss des Tasks bestehen. Sie werden vollst\\u00e4ndig aus dem Speicher gel\\u00f6scht.<\\\/p>\",\"content_en_us\":\"\n\n<p><em><strong>Note:<\\\/strong> dlt currently supports Google Cloud Secrets Manager natively, but not AWS Parameter Store. This may change in future releases, so please always check the latest dlt documentation if you plan to rely on other secret backends.<\\\/em><\\\/p>\\n\n\n<p>Even though environment variables are standard practice for containerized workflows, in concurrent multi-DAG MWAA setups where values differ per DAG, our approach is actually more secure and reliable. Temporary secrets in memory never touch disk, and AWS SSM Parameter Store remains the source of truth.<\\\/p>\\n\n\n<p>Also, since this is running inside an Airflow task, none of the credentials persist beyond the task\\u2019s execution. Once the task finishes, everything is cleared from memory.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Unser Ansatz zur dlt Skalierung\",\"content_en_us\":\"Our Approach for Running dlt at Scale\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<ul>\\n\n\n<li>Alle Zugangsdaten sicher im <strong>AWS Parameter Store<\\\/strong> speichern<\\\/li>\\n\n\n<li><strong>Airflow Connections<\\\/strong> zur Verwaltung der Snowflake-Credentials verwenden<\\\/li>\\n\n\n<li>Tempor\\u00e4re <strong>AWS Session Tokens<\\\/strong> zur Laufzeit abrufen<\\\/li>\\n\n\n<li>Secrets dynamisch mit <strong>dlt.secrets<\\\/strong> injizieren<\\\/li>\\n\n\n<li><strong>Konfigurationen pro Pipeline<\\\/strong> zur Laufzeit generieren, keine statischen .toml-Dateien notwendig<\\\/li>\\n<\\\/ul>\\n\n\n<p><strong>Beispielhafte (gek\\u00fcrzte) Version unserer Funktion zur Secrets-Injektion, die unmittelbar vor dem Erstellen der dlt-Pipeline ausgef\\u00fchrt wird:<\\\/strong><\\\/p>\",\"content_en_us\":\"\n\n<ul>\\n\n\n<li>Store all credentials securely in <strong>AWS Parameter Store<\\\/strong>.<\\\/li>\\n\n\n<li>Use <strong>Airflow connections<\\\/strong> to manage Snowflake credentials.<\\\/li>\\n\n\n<li>Fetch temporary <strong>AWS session tokens<\\\/strong> at runtime.<\\\/li>\\n\n\n<li>Dynamically inject secrets directly into dlt using <strong>dlt.secrets<\\\/strong>.<\\\/li>\\n\n\n<li><strong>Generate configs on the fly per pipeline<\\\/strong>, no static .toml files needed.<\\\/li>\\n<\\\/ul>\\n\n\n<p><strong>Here\\u2019s a simplified version of our secrets injection function, which is run just before creating the dlt pipeline:<\\\/strong><\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"code\",\"props\":{\"content\":\"def set_dlt_secrets(snowflake_conn_id: str) -> None:\\n    \\\"\\\"\\\"\\n    Loads AWS and Snowflake credentials into dlt secrets from Airflow connection metadata.\\n\\n    dlt's filesystem destination uses boto3 by default, but manually setting\\n    dlt.secrets[\\\"destination.filesystem.credentials.*\\\"] overrides that chain.\\n    If any credential is defined, the rest becomes mandatory, so we set them all explicitly.\\n    \\\"\\\"\\\"\\n    import boto3\\n    from airflow.hooks.base import BaseHook\\n    import json\\n    import dlt\\n\\n    # Fetch Snowflake connection from Airflow\\n    snowflake_conn = BaseHook.get_connection(snowflake_conn_id)\\n    snowflake_extra = json.loads(snowflake_conn.extra) if snowflake_conn.extra else {}\\n\\n    # Retrieve temporary AWS credentials from session\\n    session = boto3.Session()\\n    credentials = session.get_credentials().get_frozen_credentials()\\n    logger.info(\\\"\\ud83d\\udd11 Successfully retrieved AWS temporary credentials\\\")\\n\\n    # Set dlt secrets for S3\\n    dlt.secrets[\\\"destination.filesystem.bucket_url\\\"] = f\\\"s3:\\\/\\\/{bucket_name}\\\"\\n    dlt.secrets[\\\"destination.filesystem.credentials.aws_access_key_id\\\"] = credentials.access_key\\n    dlt.secrets[\\\"destination.filesystem.credentials.aws_secret_access_key\\\"] = credentials.secret_key\\n    dlt.secrets[\\\"destination.filesystem.credentials.aws_session_token\\\"] = credentials.token\\n    dlt.secrets[\\\"destination.filesystem.credentials.aws_default_region\\\"] = \\\"eu-central-1\\\"\\n\\n    # Set dlt secrets for Snowflake external stage\\n\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Ergebnisse dieses Ansatzes\",\"content_en_us\":\"Outcome of this approach\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Dieser Ansatz erm\\u00f6glichte <strong>vollst\\u00e4ndige Pipeline-Isolation<\\\/strong> und eliminierte Konfigurationskonflikte. Jede Airflow-DAG erh\\u00e4lt nun ihre eigene kurzlebig Konfiguration, die nur die Secrets enth\\u00e4lt, die sie f\\u00fcr diesen Run ben\\u00f6tigt.<\\\/p>\\n\n\n<p><strong>Dadurch konnten wir:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li>Eindeutige Pipenamen vergeben<\\\/li>\\n\n\n<li>Secrets sauber pro Pipeline trennen<\\\/li>\\n\n\n<li>Beliebig viele parallele Pipelines betreiben, die Amazon Managed Workflow for Apache Airflow (MWAA) unabh\\u00e4ngig orchestriert<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>This approach unlocked a <strong>full pipeline isolation<\\\/strong> and eliminated configuration conflicts. Every Airflow DAG working with dlt now gets its own fresh, ephemeral config, containing only the secrets it needs for that run.<\\\/p>\\n\n\n<p><strong>This allowed us to:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li>Give each pipeline a unique name.<\\\/li>\\n\n\n<li>Keep secrets isolated per pipeline.<\\\/li>\\n\n\n<li>Scale to as many concurrent pipelines as we wanted without collisions, letting the Amazon Managed Workflow for Apache Airflow (MWAA) simply orchestrates independent tasks.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Was waren unsere Learnings zur dlt Skalierung?\",\"content_en_us\":\"What were our Learnings for Running dlt at Scale?\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Die Skalierung von dlt zwang uns, unser Secrets- und Konfigurationsmanagement neu zu denken:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>dlt\\u2019s Standardkonfiguration ist auf Einfachheit, nicht Skalierung ausgelegt.<\\\/strong> <em>.toml<\\\/em> funktioniert lokal, aber nicht unter hoher Parallelit\\u00e4t.<\\\/li>\\n\n\n<li><strong>Dynamische Konfiguration ist der Schl\\u00fcssel:<\\\/strong> Pipeline-spezifische Secrets und Configs vermeiden Konflikte.<\\\/li>\\n\n\n<li><strong>AWS Parameter Store<\\\/strong> funktioniert hervorragend, solange man nicht versucht, alles in einer gro\\u00dfen Datei zu b\\u00fcndeln.<\\\/li>\\n\n\n<li><strong>Isolation ist die Grundlage:<\\\/strong> Jede Pipeline sollte ihre Secrets und Schemata unabh\\u00e4ngig verwalten.<\\\/li>\\n\n\n<li><strong>MWAA<\\\/strong> bringt Einschr\\u00e4nkungen mit sich, die statische Konfigurationen unpraktisch machen, aber die dynamische Generierung l\\u00f6st dies elegant.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>Running dlt at scale forced us to rethink how we manage secrets and configs:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>dlt\\u2019s defaults favor simplicity, not scale:<\\\/strong> <em>.toml<\\\/em> files work for local setups but break under concurrency.<\\\/li>\\n\n\n<li><strong>Dynamic configuration is key:<\\\/strong> Per-pipeline secrets and configs eliminate collisions.<\\\/li>\\n\n\n<li><strong>AWS Parameter Store works well<\\\/strong> when you avoid bundling everything into one large file.<\\\/li>\\n\n\n<li><strong>Isolation is the foundation:<\\\/strong> Every pipeline should manage its own secrets and schema independently.<\\\/li>\\n\n\n<li><strong>MWAA<\\\/strong> introduces constraints that make static configs impractical, but dynamic generation solves them elegantly.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Was als N\\u00e4chstes kommt\",\"content_en_us\":\"What\\u2019s Next\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Im n\\u00e4chsten Beitrag besch\\u00e4ftigen wir uns mit dem Thema Schema-Persistenz und -Evolution. Marketingdaten \\u00e4ndern sich st\\u00e4ndig, und manchmal werden dlt\\u2019s clevere Automatismen zu einer Herausforderung, wenn sich Schemas laufend weiterentwickeln.<\\\/p>\\n\n\n<p>Falls Sie in der Zwischenzeit Hilfe mit der Skalierung Ihrer Datenprojekte ben\\u00f6tigen, sind wir nat\\u00fcrlich jederzeit gerne f\\u00fcr Sie da.<\\\/p>\",\"content_en_us\":\"\n\n<p>In our next post, we\\u2019ll cover another challenge we faced: schema persistence and evolution. Marketing data demands change constantly, and sometimes dlt\\u2019s helpful tricks become a hindrance when handling shifting schemas.<\\\/p>\\n\n\n<p>If you need help scaling your data projects in the meantime, we are of course always happy to assist you.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"default\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"default\",\"content\":\"Melden Sie sich\",\"content_en_us\":\"Get in touch\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon_align\":\"left\",\"link\":\"de\\\/kontakt\\\/\",\"link_en_us\":\"https:\\\/\\\/www.hopmann.com\\\/en\\\/contact\\\/\",\"link_title\":\"Melden Sie sich\",\"link_title_en_us\":\"Get in touch\"}}]},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Ende \\\/\\\/ ---\"},{\"type\":\"fragment\",\"props\":{\"margin\":\"default\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 70px;\\n}\",\"margin_remove_bottom\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\"}}]}]},{\"type\":\"row\",\"props\":{\"class\":\"blog-pager\",\"layout\":\"1-2,1-2\",\"margin\":\"small\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"class\":\"blog-pager\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"Vorheriger Artikel\",\"content_en_us\":\"Previous article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-left\",\"icon_align\":\"left\"},\"source\":{\"query\":{\"name\":\"blogs.singlePreviousBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\",\"text_align\":\"right\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"N\\u00e4chster Artikel\",\"content_en_us\":\"Next article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-right\",\"icon_align\":\"right\"},\"source\":{\"query\":{\"name\":\"blogs.singleNextBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]},{\"type\":\"row\",\"props\":{\"margin_remove_top\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}}]}]}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky\":\"column\",\"position_sticky_breakpoint\":\"m\",\"position_sticky_offset\":\"120\",\"width_large\":\"1-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Neueste Artikel\",\"content_en_us\":\"Latest articles\",\"margin_remove_bottom\":false,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\"}},{\"type\":\"grid\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"articles-sm\",\"content\":\"Neueste Artikel\",\"content_column_breakpoint\":\"m\",\"filter_align\":\"left\",\"filter_all\":true,\"filter_grid_breakpoint\":\"m\",\"filter_grid_width\":\"auto\",\"filter_position\":\"top\",\"filter_style\":\"tab\",\"grid_default\":\"1\",\"grid_divider\":true,\"grid_medium\":\"\",\"grid_row_gap\":\"small\",\"icon_width\":80,\"image_align\":\"top\",\"image_grid_breakpoint\":\"\",\"image_grid_width\":\"auto\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"item_animation\":true,\"lightbox_bg_close\":true,\"link_style\":\"default\",\"link_text\":\"\",\"margin\":\"default\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"meta_align\":\"above-title\",\"meta_element\":\"div\",\"meta_style\":\"text-small\",\"panel_expand\":false,\"panel_image_no_padding\":true,\"panel_link\":true,\"show_content\":true,\"show_hover_image\":true,\"show_hover_video\":true,\"show_image\":true,\"show_link\":true,\"show_meta\":true,\"show_title\":true,\"show_video\":true,\"title_align\":\"top\",\"title_element\":\"div\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_margin\":\"remove\"},\"children\":[{\"type\":\"grid_item\",\"props\":{\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"source\":{\"query\":{\"name\":\"blogs.customBlogs\",\"arguments\":{\"users\":[],\"users_operator\":\"IN\",\"offset\":0,\"limit\":5,\"order\":\"date\",\"order_direction\":\"DESC\",\"terms\":[],\"blog_kategorie_operator\":\"IN\"}},\"props\":{\"title\":{\"filters\":{\"search\":\"\"},\"name\":\"title\"},\"meta\":{\"filters\":{\"search\":\"\"},\"name\":\"field.subline\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]},{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Kategorien\",\"content_en_us\":\"Categories\",\"margin\":\"large\",\"margin_remove_bottom\":true,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\",\"yooessentials_access_conditions\":[{\"type\":\"yooessentials_access_dynamic\",\"id\":\"ci_AD8A0F\",\"props\":{\"condition\":\"!\",\"reversed\":true},\"source_extended\":{\"props\":{\"value\":{\"name\":\"blog_kategorieString\",\"query\":{\"name\":\"#parent\"}}}}}],\"yooessentials_access_mode\":\"AND\"}},{\"type\":\"list\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"tag-list\",\"column_breakpoint\":\"m\",\"content\":\"Kategorien\",\"image_align\":\"left\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"list_element\":\"ul\",\"list_horizontal_separator\":\"\",\"list_type\":\"horizontal\",\"margin\":\"small\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"show_image\":true,\"show_link\":true},\"children\":[{\"type\":\"list_item\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\",\"field\":{\"name\":\"blog_kategories\",\"directives\":[{\"name\":\"slice\",\"arguments\":{\"offset\":0}}]}},\"props\":{\"content\":{\"filters\":{\"search\":\"\"},\"name\":\"name\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]}],\"name\":\"Blog V8 - 10\\\/25\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\"}}}],\"version\":\"4.5.28\",\"yooessentialsVersion\":\"2.4.7\"} --><\/p>\n","protected":false},"featured_media":11643,"template":"","blog-kategorie":[57,56],"class_list":["post-12220","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-kategorie-data-engineering","blog-kategorie-deep-dive"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12220","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"version-history":[{"count":0,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12220\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media\/11643"}],"wp:attachment":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media?parent=12220"}],"wp:term":[{"taxonomy":"blog-kategorie","embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog-kategorie?post=12220"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}