{"id":12209,"date":"2025-10-09T12:20:11","date_gmt":"2025-10-09T12:20:11","guid":{"rendered":"https:\/\/www.hopmann.com\/blog\/\/"},"modified":"2025-10-09T13:02:39","modified_gmt":"2025-10-09T13:02:39","slug":"airflow-linkedin-dag-in-der-praxis","status":"publish","type":"blog","link":"https:\/\/www.hopmann.com\/de\/blog\/airflow-linkedin-dag-in-der-praxis\/","title":{"rendered":"LinkedIn DAG in der Praxis"},"content":{"rendered":"<hr>\n<ul>\n<li><a href=\"#\">social<\/a>\n<\/li>\n<\/ul>\n<hr>\n<div>\n<p><strong>Modulare Tasks &amp; Dynamische Generierung<\/strong><\/p>\n<p>Im ersten Beitrag unserer <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-in-der-modernen-marketing-datenlandschaft\/\">Airflow Blogpost-Serie<\/a> haben wir die moderne Marketing-Datenlandschaft betrachtet und erl\u00e4utert, warum Orchestrierung das Herzst\u00fcck eines skalierbaren Data Stacks ist. Jetzt wird es praktisch.<\/p>\n<p>In diesem Beitrag zum Thema <strong>LinkedIn DAG<\/strong> zeigen wir, wie ein produktionsreifer Airflow-DAG (Directed Acyclic Graph) f\u00fcr die Verarbeitung von LinkedIn-Daten in Snowflake aufgebaut ist. Dabei geht es darum, wie man Tasks so gestaltet, dass sie <strong>modular, wiederverwendbar und dynamisch generiert<\/strong> sind.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Hopmann-Blogpost-Serie-Airflow.png\" alt=\"Hopmann Blogpost Serie Airflow\"><\/p>\n<h2>Warum das DAG-Design entscheidend ist<\/h2>\n<div>\n<p>Airflow erm\u00f6glicht es, Workflows als Directed Acyclic Graphs (DAGs) zu definieren. Doch nicht jeder DAG ist gleich aufgebaut:<\/p>\n<ul>\n<li>Schlecht gestaltete DAGs sind schwer zu warten.<\/li>\n<li>Zu komplexe Tasks erschweren das Debugging.<\/li>\n<li>Lineare Pipelines f\u00fchren zu langen Laufzeiten und frustrierten Stakeholder:innen.<\/li>\n<\/ul>\n<p>Ein gutes DAG-Design hingegen sorgt daf\u00fcr, dass Pipelines:<\/p>\n<ul>\n<li><strong>Skalierbar<\/strong> sind (mehr Endpoints, Kund:innen oder Kampagnen problemlos verarbeiten).<\/li>\n<li><strong>Wartbar<\/strong> bleiben (einfach zu debuggen und zu erweitern).<\/li>\n<li><strong>Resilient<\/strong> sind (Fehler abfangen und automatisch neu starten).<\/li>\n<\/ul>\n<\/div>\n<h3>Tipp: Tasks klein und zielgerichtet halten<\/h3>\n<div>\n<p>Ein Airflow-Task l\u00e4sst sich mit einer Person am Flie\u00dfband vergleichen: <strong>Sie sollte eine Aufgabe haben \u2013 und diese zuverl\u00e4ssig erledigen.<\/strong><\/p>\n<p>Im Beispiel unseres LinkedIn-DAGs haben wir die Aufgaben klar getrennt:<\/p>\n<ul>\n<li><strong>Access Token abrufen:<\/strong> Ein Task, der ausschlie\u00dflich f\u00fcr die Authentifizierung zust\u00e4ndig ist.<\/li>\n<\/ul>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_LinkedIn-DAG_Get-Access-Token.png\" alt=\"Airflow_LinkedIn DAG_Get-Access-Token\"><\/p>\n<div>\n<ul>\n<li><strong>Daten abrufen:<\/strong> Ein Task pro LinkedIn-Endpoint, der die Ergebnisse in S3 schreibt.<\/li>\n<\/ul>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_LinkedIn-DAG_Load-Data.png\" alt=\"Airflow_LinkedIn DAG_Load-Data\"><\/p>\n<div>\n<ul>\n<li><strong>Daten laden:<\/strong> Eine TaskGroup, die zun\u00e4chst \u00fcber einen S3 Sensor pr\u00fcft, ob die Daten in S3 verf\u00fcgbar sind, und anschlie\u00dfend per Snowflake Operator die Daten in Snowflake l\u00e4dt.<\/li>\n<\/ul>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_LinkedIn-DAG_Load-Data.png\" alt=\"Airflow_LinkedIn DAG_Load-Data\"><\/p>\n<div>\n<p>Diese Modularit\u00e4t zahlt sich aus, wenn ein Fehler auftritt. Statt den gesamten DAG neu auszuf\u00fchren oder sich durch einen riesigen \u201eAlles-in-einem\u201c-Task zu arbeiten, kann einfach ein einzelner Schritt erneut gestartet werden.<\/p>\n<\/div>\n<h3>Dynamische Task-Generierung mit Konfigurationsdateien<\/h3>\n<div>\n<p>Marketing-APIs wie LinkedIn bieten oft mehrere Endpoints (z. B. Ads, Campaigns, Creatives, Spend usw.). W\u00fcrde man jeden einzelnen manuell im DAG hinterlegen, entst\u00fcnde schnell redundanter und schwer wartbarer Code.<\/p>\n<p>Eine effizientere L\u00f6sung: Die Endpoints werden in einer <strong>YAML-Konfigurationsdatei<\/strong> definiert, und Airflow <strong>generiert automatisch<\/strong> die entsprechenden <strong>Tasks<\/strong>.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_LinkedIn-DAG_Dynamik-Task-Generation.png\" alt=\"Airflow_LinkedIn DAG_Dynamik-Task-Generation\"><\/p>\n<div>\n<p><strong>Die Vorteile davon sind:<\/strong><\/p>\n<ul>\n<li><strong>DRY-Prinzip:<\/strong> Kein wiederholtes Kopieren von Python-Operatoren f\u00fcr jeden Endpoint.<\/li>\n<li><strong>Wiederverwendbarkeit:<\/strong> Neue Endpoints lassen sich durch ein einfaches Update der Konfigurationsdatei hinzuf\u00fcgen, ohne den DAG-Code anzupassen.<\/li>\n<li><strong>Flexibilit\u00e4t:<\/strong> Ein einzelner Endpoint kann separat erneut ausgef\u00fchrt werden, ohne die restlichen Tasks zu beeinflussen.<\/li>\n<\/ul>\n<p>Dieses Vorgehen sorgt f\u00fcr Skalierbarkeit \u2013 insbesondere in einer Welt, in der sich Marketingplattformen und APIs st\u00e4ndig weiterentwickeln.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_LinkedIn-DAG_Code.png\" alt=\"Airflow_LinkedIn DAG_Code\"><\/p>\n<h2>Wie es weitergeht<\/h2>\n<div>\n<p>Mit modularen und dynamisch generierten Tasks ist die Grundlage f\u00fcr eine skalierbare LinkedIn-Ingestions-Pipeline gelegt. Doch f\u00fcr produktionsreife Datenpipelines braucht es mehr als sauberes Design \u2013 sie m\u00fcssen auch <strong>robust<\/strong> sein.<\/p>\n<p>Im n\u00e4chsten Beitrag geht es darum, wie sich DAGs durch <strong>Logging, Alerting und Fehlerbehandlung<\/strong> so absichern lassen, dass Probleme fr\u00fch erkannt werden und Marketing- und Sales-Teams sich nicht mehr wundern m\u00fcssen, warum <a href=\"https:\/\/www.hopmann.com\/de\/marketing-analytics\/marketing-dashboards-reports\/\">Dashboards<\/a> versp\u00e4tet sind.<\/p>\n<\/div>\n<p><p>\n        <a href=\"\/de\/business-analytics\/data-engineering\/\">Unsere Data Engineering Leistungen<\/a>\n    <\/p>\n<\/p>\n<hr>\n<p><p>\n        Vorheriger Artikel    <\/p>\n<\/p>\n<p><p>\n        N\u00e4chster Artikel    <\/p>\n<\/p>\n<hr>\n<div>Neueste Artikel<\/div>\n<div>\n<\/div>\n<div>Kategorien<\/div>\n<div>\n<\/div>\n<p><!--more--><br \/>\n<!-- {\"type\":\"layout\",\"children\":[{\"type\":\"section\",\"props\":{\"animation\":\"slide-bottom-medium\",\"animation_delay\":\"50\",\"height\":\"page\",\"image_position\":\"center-center\",\"padding\":\"large\",\"padding_remove_top\":true,\"style\":\"default\",\"title_breakpoint\":\"xl\",\"title_position\":\"top-left\",\"title_rotation\":\"left\",\"vertical_align\":\"\",\"width\":\"large\"},\"children\":[{\"type\":\"row\",\"props\":{\"column_gap\":\"large\",\"layout\":\"2-3,1-3\",\"padding_remove_horizontal\":false,\"row_gap\":\"large\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_large\":\"2-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"margin_remove_bottom\":true,\"title_element\":\"div\",\"title_style\":\"text-meta\"},\"source_extended\":{\"props\":{\"content\":{\"composed\":{\"value\":\"{{ sources.6b78 }}: {{ sources.46d0 }}\",\"sources\":{\"6b78\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}},\"46d0\":{\"name\":\"field.subline\",\"query\":{\"name\":\"#parent\"}},\"6ef0\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}}}}},{\"type\":\"headline\",\"props\":{\"margin\":\"small\",\"margin_remove_top\":false,\"title_element\":\"h1\",\"title_style\":\"h1\"},\"source_extended\":{\"props\":{\"content\":{\"name\":\"title\",\"query\":{\"name\":\"#parent\"}}}}},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_bottom\":true}},{\"type\":\"fragment\",\"props\":{\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 8px;\\n    margin-bottom: 8px;\\n}\",\"layout\":\"1-2,1-2\",\"margin\":\"large\",\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"panel\",\"props\":{\"content_column_breakpoint\":\"m\",\"icon_width\":80,\"image_align\":\"left\",\"image_border\":\"circle\",\"image_grid_breakpoint\":\"\",\"image_grid_column_gap\":\"small\",\"image_grid_row_gap\":\"medium\",\"image_grid_width\":\"auto\",\"image_height\":40,\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"image_width\":40,\"link_style\":\"default\",\"link_text\":\"Read more\",\"margin\":\"\",\"meta_align\":\"below-title\",\"meta_element\":\"div\",\"meta_style\":\"text-meta\",\"title_align\":\"top\",\"title_element\":\"h3\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_style\":\"text-small\"},\"source_extended\":{\"props\":{\"image\":{\"name\":\"field.foto.url\",\"query\":{\"name\":\"#parent\"}},\"title\":{\"composed\":{\"value\":\"\",\"sources\":[],\"conditions\":[]}},\"content\":{\"composed\":{\"value\":\"{{ sources.5d02 }}, {{ sources.67e8 }}\",\"sources\":{\"5d02\":{\"name\":\"field.autor\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\"}},\"67e8\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}},\"content_en_us\":{\"composed\":{\"value\":\"{{ sources.cce3 }} on {{ sources.4656 }}\",\"sources\":{\"4656\":{\"name\":\"date\",\"query\":{\"name\":\"blogs.singleBlog\"},\"filters\":{\"date\":\"\"}},\"cce3\":{\"filters\":{\"search\":\"\"},\"name\":\"field.autor\",\"query\":{\"name\":\"blogs.singleBlog\"}}},\"conditions\":[]}}}},\"name\":\"Verfasser\"}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"yooessentials_social_sharing\",\"props\":{\"class\":\"social-sharing-blog\",\"grid\":\"horizontal\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"image_svg_inline\":true,\"link_style\":\"link\",\"margin\":\"default\",\"text_align\":\"right\"},\"children\":[{\"type\":\"yooessentials_social_sharing_item\",\"props\":{\"link_target\":\"_blank\",\"link_target_height\":\"\",\"link_target_width\":\"\",\"network\":\"linkedin\"}}],\"name\":\"Teilen\"}]}]}]},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Start \\\/\\\/ ---\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p><strong>Modulare Tasks &amp; Dynamische Generierung<\\\/strong><\\\/p>\\n\n\n<p>Im ersten Beitrag unserer <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-in-der-modernen-marketing-datenlandschaft\\\/\\\">Airflow Blogpost-Serie<\\\/a> haben wir die moderne Marketing-Datenlandschaft betrachtet und erl\\u00e4utert, warum Orchestrierung das Herzst\\u00fcck eines skalierbaren Data Stacks ist. Jetzt wird es praktisch.<\\\/p>\\n\n\n<p>In diesem Beitrag zum Thema <strong>LinkedIn DAG<\\\/strong> zeigen wir, wie ein produktionsreifer Airflow-DAG (Directed Acyclic Graph) f\\u00fcr die Verarbeitung von LinkedIn-Daten in Snowflake aufgebaut ist. Dabei geht es darum, wie man Tasks so gestaltet, dass sie <strong>modular, wiederverwendbar und dynamisch generiert<\\\/strong> sind.<\\\/p>\",\"content_en_us\":\"\n\n<p><strong>Modular Tasks &amp; Dynamic Generation<\\\/strong><\\\/p>\\n\n\n<p>In the first post of our <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-in-the-modern-marketing-data-landscape\\\/\\\">Airflow blog series<\\\/a>, we explored the modern marketing data landscape and why orchestration is at the heart of a scalable data stack. Now, let\\u2019s get practical.<\\\/p>\\n\n\n<p>In this post about <strong>LinkedIn DAG<\\\/strong>, we\\u2019ll walk through a production-grade Airflow DAG (Directed Acyclic Graph) for ingesting LinkedIn data into Snowflake. Along the way, we\\u2019ll cover how to design tasks that are<strong> modular, reusable, and dynamically generated<\\\/strong>.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"},\"name\":\"Lead-Text\"},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Hopmann-Blogpost-Serie-Airflow.png\",\"image_alt\":\"Hopmann Blogpost Serie Airflow\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Warum das DAG-Design entscheidend ist\",\"content_en_us\":\"Why DAG Design Matters\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Airflow erm\\u00f6glicht es, Workflows als Directed Acyclic Graphs (DAGs) zu definieren. Doch nicht jeder DAG ist gleich aufgebaut:<\\\/p>\\n\n\n<ul>\\n\n\n<li>Schlecht gestaltete DAGs sind schwer zu warten.<\\\/li>\\n\n\n<li>Zu komplexe Tasks erschweren das Debugging.<\\\/li>\\n\n\n<li>Lineare Pipelines f\\u00fchren zu langen Laufzeiten und frustrierten Stakeholder:innen.<\\\/li>\\n<\\\/ul>\\n\n\n<p>Ein gutes DAG-Design hingegen sorgt daf\\u00fcr, dass Pipelines:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Skalierbar<\\\/strong> sind (mehr Endpoints, Kund:innen oder Kampagnen problemlos verarbeiten).<\\\/li>\\n\n\n<li><strong>Wartbar<\\\/strong> bleiben (einfach zu debuggen und zu erweitern).<\\\/li>\\n\n\n<li><strong>Resilient<\\\/strong> sind (Fehler abfangen und automatisch neu starten).<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>Airflow lets us define workflows as Directed Acyclic Graphs (DAGs). But not all DAGs are created equal:<\\\/p>\\n\n\n<ul>\\n\n\n<li>Poorly designed DAGs become hard to maintain.<\\\/li>\\n\n\n<li>Overly complex tasks make debugging painful.<\\\/li>\\n\n\n<li>Sequential pipelines can cause slow runtimes and frustrated stakeholders.<\\\/li>\\n<\\\/ul>\\n\n\n<p>Good DAG design, on the other hand, makes pipelines:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Scalable<\\\/strong> (able to handle more endpoints, clients, or campaigns).<\\\/li>\\n\n\n<li><strong>Maintainable<\\\/strong> (easy to debug and extend).<\\\/li>\\n\n\n<li><strong>Resilient<\\\/strong> (fail gracefully, retry automatically).<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Tipp: Tasks klein und zielgerichtet halten\",\"content_en_us\":\"Tipp: Keep Tasks Small and Purposeful\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Ein Airflow-Task l\\u00e4sst sich mit einer Person am Flie\\u00dfband vergleichen: <strong>Sie sollte eine Aufgabe haben \\u2013 und diese zuverl\\u00e4ssig erledigen.<\\\/strong><\\\/p>\\n\n\n<p>Im Beispiel unseres LinkedIn-DAGs haben wir die Aufgaben klar getrennt:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Access Token abrufen:<\\\/strong> Ein Task, der ausschlie\\u00dflich f\\u00fcr die Authentifizierung zust\\u00e4ndig ist.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>Think of an Airflow task like a single worker on an assembly line: it should <strong>do one thing, and do it well.<\\\/strong><\\\/p>\\n\n\n<p>For example, in our LinkedIn DAG, we split responsibilities across simple tasks:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Get access token:<\\\/strong> one task dedicated to authentication.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_LinkedIn-DAG_Get-Access-Token.png\",\"image_alt\":\"Airflow_LinkedIn DAG_Get-Access-Token\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":true}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<ul>\\n\n\n<li><strong>Daten abrufen:<\\\/strong> Ein Task pro LinkedIn-Endpoint, der die Ergebnisse in S3 schreibt.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<ul>\\n\n\n<li><strong>Fetch data:<\\\/strong> one task per LinkedIn endpoint, writing results to S3.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":false,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_LinkedIn-DAG_Load-Data.png\",\"image_alt\":\"Airflow_LinkedIn DAG_Load-Data\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":true}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<ul>\\n\n\n<li><strong>Daten laden:<\\\/strong> Eine TaskGroup, die zun\\u00e4chst \\u00fcber einen S3 Sensor pr\\u00fcft, ob die Daten in S3 verf\\u00fcgbar sind, und anschlie\\u00dfend per Snowflake Operator die Daten in Snowflake l\\u00e4dt.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<ul>\\n\n\n<li><strong>Load data:<\\\/strong> a TaskGroup containing S3 sensor to check if the data is available in S3 and a Snowflake Operator that load data into Snowflake.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":false,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_LinkedIn-DAG_Load-Data.png\",\"image_alt\":\"Airflow_LinkedIn DAG_Load-Data\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":true}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Diese Modularit\\u00e4t zahlt sich aus, wenn ein Fehler auftritt. Statt den gesamten DAG neu auszuf\\u00fchren oder sich durch einen riesigen \\u201eAlles-in-einem\\u201c-Task zu arbeiten, kann einfach ein einzelner Schritt erneut gestartet werden.<\\\/p>\",\"content_en_us\":\"\n\n<p>This modularity pays off when something breaks. Instead of rerunning an entire DAG or sifting through a massive \\u201cdo-everything\\u201d task, you can retry a single step.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Dynamische Task-Generierung mit Konfigurationsdateien\",\"content_en_us\":\"Dynamic Task Generation with Configs\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h3\",\"title_style\":\"h3\"},\"name\":\"H3\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Marketing-APIs wie LinkedIn bieten oft mehrere Endpoints (z. B. Ads, Campaigns, Creatives, Spend usw.). W\\u00fcrde man jeden einzelnen manuell im DAG hinterlegen, entst\\u00fcnde schnell redundanter und schwer wartbarer Code.<\\\/p>\\n\n\n<p>Eine effizientere L\\u00f6sung: Die Endpoints werden in einer <strong>YAML-Konfigurationsdatei<\\\/strong> definiert, und Airflow <strong>generiert automatisch<\\\/strong> die entsprechenden <strong>Tasks<\\\/strong>.<\\\/p>\",\"content_en_us\":\"\n\n<p>Marketing APIs like LinkedIn often have multiple endpoints (ads, campaigns, creatives, spend, etc.). Hardcoding each one into your DAG is a recipe for duplication and maintenance headaches.<\\\/p>\\n\n\n<p>Instead, you can define endpoints in a <strong>YAML config file<\\\/strong> and let Airflow <strong>dynamically generate tasks<\\\/strong> for each one.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_LinkedIn-DAG_Dynamik-Task-Generation.png\",\"image_alt\":\"Airflow_LinkedIn DAG_Dynamik-Task-Generation\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p><strong>Die Vorteile davon sind:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>DRY-Prinzip:<\\\/strong> Kein wiederholtes Kopieren von Python-Operatoren f\\u00fcr jeden Endpoint.<\\\/li>\\n\n\n<li><strong>Wiederverwendbarkeit:<\\\/strong> Neue Endpoints lassen sich durch ein einfaches Update der Konfigurationsdatei hinzuf\\u00fcgen, ohne den DAG-Code anzupassen.<\\\/li>\\n\n\n<li><strong>Flexibilit\\u00e4t:<\\\/strong> Ein einzelner Endpoint kann separat erneut ausgef\\u00fchrt werden, ohne die restlichen Tasks zu beeinflussen.<\\\/li>\\n<\\\/ul>\\n\n\n<p>Dieses Vorgehen sorgt f\\u00fcr Skalierbarkeit \\u2013 insbesondere in einer Welt, in der sich Marketingplattformen und APIs st\\u00e4ndig weiterentwickeln.<\\\/p>\",\"content_en_us\":\"\n\n<p><strong>The benefits of this are:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>DRY code<\\\/strong> (no copy-pasting Python operators for every endpoint).<\\\/li>\\n\n\n<li><strong>Reusability<\\\/strong> (add new endpoints by updating the config, not the DAG code).<\\\/li>\\n\n\n<li><strong>Flexibility<\\\/strong> (re-run for one endpoint without touching others).<\\\/li>\\n<\\\/ul>\\n\n\n<p>This pattern lets you scale gracefully as APIs evolve \\u2014 a reality in the fast-changing world of marketing platforms.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_LinkedIn-DAG_Code.png\",\"image_alt\":\"Airflow_LinkedIn DAG_Code\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Wie es weitergeht\",\"content_en_us\":\"What\\u2019s Next\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Mit modularen und dynamisch generierten Tasks ist die Grundlage f\\u00fcr eine skalierbare LinkedIn-Ingestions-Pipeline gelegt. Doch f\\u00fcr produktionsreife Datenpipelines braucht es mehr als sauberes Design \\u2013 sie m\\u00fcssen auch <strong>robust<\\\/strong> sein.<\\\/p>\\n\n\n<p>Im n\\u00e4chsten Beitrag geht es darum, wie sich DAGs durch <strong>Logging, Alerting und Fehlerbehandlung<\\\/strong> so absichern lassen, dass Probleme fr\\u00fch erkannt werden und Marketing- und Sales-Teams sich nicht mehr wundern m\\u00fcssen, warum <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/marketing-dashboards-reports\\\/\\\">Dashboards<\\\/a> versp\\u00e4tet sind.<\\\/p>\",\"content_en_us\":\"\n\n<p>By keeping tasks modular and generating them dynamically, you\\u2019ve laid the foundation for a scalable LinkedIn ingestion pipeline. But production data pipelines need more than clean design \\u2014 they need <strong>resilience<\\\/strong>.<\\\/p>\\n\n\n<p>In the next post, we\\u2019ll explore how to make DAGs robust with<strong> logging, alerting, and error handling<\\\/strong> so that failures are caught early and Marketing and Sales teams aren\\u2019t left wondering anymore why <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/marketing-dashboards-reports\\\/\\\">dashboards<\\\/a> are late.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"default\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"default\",\"content\":\"Unsere Data Engineering Leistungen\",\"content_en_us\":\"Our Data Engineering services\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon_align\":\"left\",\"link\":\"de\\\/business-analytics\\\/data-engineering\\\/\",\"link_en_us\":\"https:\\\/\\\/www.hopmann.com\\\/de\\\/business-analytics\\\/data-engineering\\\/\",\"link_title\":\"Unsere Data Engineering Leistungen\",\"link_title_en_us\":\"Our Data Engineering services\"}}]},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Ende \\\/\\\/ ---\"},{\"type\":\"fragment\",\"props\":{\"margin\":\"default\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 70px;\\n}\",\"margin_remove_bottom\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\"}}]}]},{\"type\":\"row\",\"props\":{\"class\":\"blog-pager\",\"layout\":\"1-2,1-2\",\"margin\":\"small\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"class\":\"blog-pager\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"Vorheriger Artikel\",\"content_en_us\":\"Previous article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-left\",\"icon_align\":\"left\"},\"source\":{\"query\":{\"name\":\"blogs.singlePreviousBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\",\"text_align\":\"right\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"N\\u00e4chster Artikel\",\"content_en_us\":\"Next article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-right\",\"icon_align\":\"right\"},\"source\":{\"query\":{\"name\":\"blogs.singleNextBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]},{\"type\":\"row\",\"props\":{\"margin_remove_top\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}}]}]}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky\":\"column\",\"position_sticky_breakpoint\":\"m\",\"position_sticky_offset\":\"120\",\"width_large\":\"1-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Neueste Artikel\",\"content_en_us\":\"Latest articles\",\"margin_remove_bottom\":false,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\"}},{\"type\":\"grid\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"articles-sm\",\"content\":\"Neueste Artikel\",\"content_column_breakpoint\":\"m\",\"filter_align\":\"left\",\"filter_all\":true,\"filter_grid_breakpoint\":\"m\",\"filter_grid_width\":\"auto\",\"filter_position\":\"top\",\"filter_style\":\"tab\",\"grid_default\":\"1\",\"grid_divider\":true,\"grid_medium\":\"\",\"grid_row_gap\":\"small\",\"icon_width\":80,\"image_align\":\"top\",\"image_grid_breakpoint\":\"\",\"image_grid_width\":\"auto\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"item_animation\":true,\"lightbox_bg_close\":true,\"link_style\":\"default\",\"link_text\":\"\",\"margin\":\"default\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"meta_align\":\"above-title\",\"meta_element\":\"div\",\"meta_style\":\"text-small\",\"panel_expand\":false,\"panel_image_no_padding\":true,\"panel_link\":true,\"show_content\":true,\"show_hover_image\":true,\"show_hover_video\":true,\"show_image\":true,\"show_link\":true,\"show_meta\":true,\"show_title\":true,\"show_video\":true,\"title_align\":\"top\",\"title_element\":\"div\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_margin\":\"remove\"},\"children\":[{\"type\":\"grid_item\",\"props\":{\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"source\":{\"query\":{\"name\":\"blogs.customBlogs\",\"arguments\":{\"users\":[],\"users_operator\":\"IN\",\"offset\":0,\"limit\":5,\"order\":\"date\",\"order_direction\":\"DESC\",\"terms\":[],\"blog_kategorie_operator\":\"IN\"}},\"props\":{\"title\":{\"filters\":{\"search\":\"\"},\"name\":\"title\"},\"meta\":{\"filters\":{\"search\":\"\"},\"name\":\"field.subline\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]},{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Kategorien\",\"content_en_us\":\"Categories\",\"margin\":\"large\",\"margin_remove_bottom\":true,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\",\"yooessentials_access_conditions\":[{\"type\":\"yooessentials_access_dynamic\",\"id\":\"ci_AD8A0F\",\"props\":{\"condition\":\"!\",\"reversed\":true},\"source_extended\":{\"props\":{\"value\":{\"name\":\"blog_kategorieString\",\"query\":{\"name\":\"#parent\"}}}}}],\"yooessentials_access_mode\":\"AND\"}},{\"type\":\"list\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"tag-list\",\"column_breakpoint\":\"m\",\"content\":\"Kategorien\",\"image_align\":\"left\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"list_element\":\"ul\",\"list_horizontal_separator\":\"\",\"list_type\":\"horizontal\",\"margin\":\"small\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"show_image\":true,\"show_link\":true},\"children\":[{\"type\":\"list_item\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\",\"field\":{\"name\":\"blog_kategories\",\"directives\":[{\"name\":\"slice\",\"arguments\":{\"offset\":0}}]}},\"props\":{\"content\":{\"filters\":{\"search\":\"\"},\"name\":\"name\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]}],\"name\":\"Blog V8 - 10\\\/25\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\"}}}],\"version\":\"4.5.28\",\"yooessentialsVersion\":\"2.4.7\"} --><\/p>\n","protected":false},"featured_media":11912,"template":"","blog-kategorie":[57,56],"class_list":["post-12209","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-kategorie-data-engineering","blog-kategorie-deep-dive"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12209","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"version-history":[{"count":1,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12209\/revisions"}],"predecessor-version":[{"id":12210,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12209\/revisions\/12210"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media\/11912"}],"wp:attachment":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media?parent=12209"}],"wp:term":[{"taxonomy":"blog-kategorie","embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog-kategorie?post=12209"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}