{"id":12230,"date":"2025-10-15T07:08:01","date_gmt":"2025-10-15T07:08:01","guid":{"rendered":"https:\/\/www.hopmann.com\/blog\/\/"},"modified":"2025-10-15T10:13:54","modified_gmt":"2025-10-15T10:13:54","slug":"workflows-in-airflow-klarheit-skalierung","status":"publish","type":"blog","link":"https:\/\/www.hopmann.com\/de\/blog\/workflows-in-airflow-klarheit-skalierung\/","title":{"rendered":"Workflows in Airflow: Klarheit und Skalierung"},"content":{"rendered":"<hr>\n<ul>\n<li><a href=\"#\">social<\/a>\n<\/li>\n<\/ul>\n<hr>\n<div>\n<p>In unserem letzten Beitrag der <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-in-der-modernen-marketing-datenlandschaft\/\">Airflow Blog-Serie<\/a> haben wir gezeigt, wie Sie <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-resilienz-logging-alerting\/\">Airflow-DAGs mit Logging, Retries und Alerting<\/a> robuster machen. Doch Resilienz alleine hilft wenig, wenn die Workflows in Airflow un\u00fcbersichtlich sind.<\/p>\n<p>Stellen Sie sich vor, Sie haben Ihre erste Airflow-Pipeline gebaut. Sie ruft Kampagnendaten von <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-linkedin-dag-in-der-praxis\/\">LinkedIn<\/a> ab, l\u00e4dt sie in <a href=\"https:\/\/www.hopmann.com\/de\/technologien\/snowflake\/\">Snowflake<\/a> und fertig. Anfangs l\u00e4uft alles rund. Doch sobald die Pipeline w\u00e4chst, d.h. mehr Endpunkte, mehr Kund:innen, mehr zus\u00e4tzliche Elemente, wirkt sie weniger wie eine saubere Produktionslinie und mehr wie ein verworrenes Spinnennetz. Genau hier spielt Struktur eine entscheidende Rolle. Die Art, wie Sie Workflows in Airflow gestalten, ist nicht nur eine Stilfrage. Sie beeinflusst direkt, wie verst\u00e4ndlich, schnell und zuverl\u00e4ssig Ihre Pipelines sind.<\/p>\n<p>In diesem Beitrag beleuchten wir bew\u00e4hrte Muster f\u00fcr die Strukturierung von Workflows in Airflow, insbesondere in Marketing-Pipelines.<\/p>\n<\/div>\n<h2>Lineare Workflows in Airflow: Einfach, aber begrenzt<\/h2>\n<div>\n<p>Das einfachste Design ist eine gerade Linie.<\/p>\n<p>Es ist ideal f\u00fcr <strong>kleine Pipelines <\/strong>oder Schritte, die direkt voneinander abh\u00e4ngen. Zum Beispiel:<\/p>\n<ul>\n<li>LinkedIn-API-Token abrufen<\/li>\n<li>Kampagnendaten abrufen<\/li>\n<li>Kampagnendaten nach Snowflake laden<\/li>\n<\/ul>\n<p>Dieser Ansatz ist klar und leicht nachvollziehbar. Wenn Ihre Tasks wirklich aufeinander aufbauen, ist das perfekt. Doch mit wachsender Pipeline zeigt sich die Schw\u00e4che. M\u00fcssen Sie Dutzende Endpunkte nacheinander abfragen, dauert der \u201eeinfache\u201c Flow pl\u00f6tzlich Stunden. Lineare Workflows in <a href=\"https:\/\/airflow.apache.org\/\" target=\"_blank\" rel=\"noopener\">Airflow<\/a> sind gro\u00dfartig f\u00fcr den Einstieg. Sie skalieren jedoch schlecht.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Workflows_in_Airflow_Linear.png\" alt=\"Workflows_in_Airflow_Linear\"><\/p>\n<h2>Fan-Out: Parallelit\u00e4t in gro\u00dfem Ma\u00dfstab<\/h2>\n<div>\n<p>F\u00fcr gr\u00f6\u00dfere Jobs beschleunigen <strong>Fan-Out\/Fan-In-Muster<\/strong> deutlich. In unserem Beispiel:<\/p>\n<ul>\n<li>Nach der Authentifizierung f\u00fchren Sie ein <strong>Fan-Out<\/strong> in mehrere \u201eFetch\u201c-Aufgaben durch (eine pro LinkedIn-Endpunkt).<\/li>\n<li>Sobald alle abgeschlossen sind, laden sie die Aufgabe, die alles aggregiert und in Snowflake schreibt (<strong>Load Task<\/strong>).<\/li>\n<\/ul>\n<p>Dieses Design sorgt f\u00fcr schnelle Pipelines und klare Abh\u00e4ngigkeiten.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Workflows_in_Airflow_Fan-Out.png\" alt=\"Workflows_in_Airflow_Fan-Out\"><\/p>\n<h2>TaskGroups: DAGs \u00fcbersichtlich halten<\/h2>\n<div>\n<p>Wenn DAGs wachsen, k\u00f6nnen Hunderte Tasks die Airflow-UI \u00fcberfordern. <strong>TaskGroups<\/strong> b\u00fcndeln verwandte Tasks in logische \u201eOrdner\u201c:<\/p>\n<ul>\n<li>Eine <strong>Fetch-Gruppe<\/strong> mit einem Task pro Endpunkt<\/li>\n<li>Eine <strong>Load-Gruppe<\/strong> mit Staging-, Transformations- und Warehouse-Ladeschritten.<\/li>\n<\/ul>\n<p>TaskGroups ver\u00e4ndern die Ausf\u00fchrung nicht, machen Workflows in Airflow jedoch deutlich \u00fcbersichtlicher.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Workflows_in_Airflow_Task-Groups.png\" alt=\"Workflows_in_Airflow_Task-Groups\"><\/p>\n<h2>Wann Sie Workflows in Airflow nicht parallelisieren sollten<\/h2>\n<div>\n<p>Parallelit\u00e4t ist leistungsstark, aber mehr ist nicht immer besser. Stellen Sie sich vor, Sie senden hundert API-Anfragen gleichzeitig an LinkedIn. Sie werden wahrscheinlich an Rate Limits sto\u00dfen und Fehlermeldungen erhalten.<\/p>\n<p>Manchmal ist es sicherer, Daten sequenziell abzurufen, auch wenn dies l\u00e4nger dauert. Die Kunst besteht darin, ein Gleichgewicht zu finden: F\u00fchren Sie so viel wie m\u00f6glich parallel aus, aber beachten Sie die Grenzen von APIs, Data Warehouses und Infrastruktur.<\/p>\n<p>In unserem Anwendungsfall haben wir uns entschieden, die Aufgaben <em>extraction_linkedin_account_details<\/em> nacheinander zu gestalten, um eine Drosselung der API zu vermeiden, w\u00e4hrend wir die Aufgaben <em>load_linkedin_account_details<\/em> parallelisiert haben.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Workflows_in_Airflow_Parallize.png\" alt=\"Workflows_in_Airflow_Parallize\"><\/p>\n<h2>Sind Fan-Out und Fan-In die einzigen Optionen?<\/h2>\n<div>\n<p>\u00dcberhaupt nicht. Selbst wenn Ihre Aufgaben parallel ausgef\u00fchrt werden, k\u00f6nnen Sie mit <a href=\"https:\/\/www.hopmann.com\/de\/marketing-analytics\/marketing-data-stack\/\">Airflow<\/a> steuern, wie viele DAG-L\u00e4ufe (Directed Acyclic Graph) und Aufgaben gleichzeitig ausgef\u00fchrt werden. Auf DAG-Ebene k\u00f6nnen Sie diese Grenzwerte global in <em>airflow.cfg<\/em> \u00fcber <strong>max_active_runs_per_dag<\/strong> und <strong>max_active_tasks_per_dag<\/strong> konfigurieren:<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Workflows_in_Airflow_Max-active-runs.png\" alt=\"Workflows_in_Airflow_Max-active-runs\"><\/p>\n<div>\n<p>F\u00fcr eine feinere Steuerung k\u00f6nnen Sie lokal Grenzen f\u00fcr einzelne Aufgaben mit <strong>task_concurrency<\/strong> festlegen oder Aufgaben einem Pool zuweisen. Wenn beispielsweise die Anzahl der parallelen Aufgaben in der TaskGroup <strong>extraction_linkedin_account_details<\/strong> zunimmt, k\u00f6nnen Sie die Gesamtzahl der gleichzeitig ausgef\u00fchrten Aufgaben begrenzen, um API-Ratenbeschr\u00e4nkungen zu vermeiden. Durch die Verwendung dieser lokalen Steuerelemente zusammen mit globalen DAG-Einstellungen k\u00f6nnen Sie Aufgaben sicher verteilen und gleichzeitig eine \u00dcberlastung der APIs verhindern.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Workflows_in_Airflow_Task-Concurrency.png\" alt=\"Workflows_in_Airflow_Task-Concurrency\"><\/p>\n<h2>Was als N\u00e4chstes kommt: Idempotente Workflows in Airflow<\/h2>\n<div>\n<p>Mit modularen Tasks, Resilienz und skalierbaren Mustern sind Sie auf dem Weg zu produktionsreifen Workflows in Airflow. Jedoch fehlt noch ein Prinzip, das jede Marketing-Pipeline braucht: <strong>Idempotenz<\/strong>.<\/p>\n<p>Im n\u00e4chsten Beitrag zeigen wir, wie Sie idempotente Workflows in Airflow entwickeln, die sich risikolos erneut ausf\u00fchren lassen, <strong>ohne Daten zu duplizieren oder zu besch\u00e4digen<\/strong>. So kompromittieren Retries und Backfills Ihren <a href=\"https:\/\/www.hopmann.com\/de\/marketing-analytics\/marketing-data-stack\/\">Marketing Data Stack<\/a> nicht.<\/p>\n<\/div>\n<p><p>\n        <a href=\"\/de\/kontakt\/\">Erfahren Sie mehr<\/a>\n    <\/p>\n<\/p>\n<hr>\n<p><p>\n        Vorheriger Artikel    <\/p>\n<\/p>\n<p><p>\n        N\u00e4chster Artikel    <\/p>\n<\/p>\n<hr>\n<div>Neueste Artikel<\/div>\n<div>\n<\/div>\n<div>Kategorien<\/div>\n<div>\n<\/div>\n<p><!--more--><br \/>\n<!-- {\"type\":\"layout\",\"children\":[{\"type\":\"section\",\"props\":{\"animation\":\"slide-bottom-medium\",\"animation_delay\":\"50\",\"height\":\"page\",\"image_position\":\"center-center\",\"padding\":\"large\",\"padding_remove_top\":true,\"style\":\"default\",\"title_breakpoint\":\"xl\",\"title_position\":\"top-left\",\"title_rotation\":\"left\",\"vertical_align\":\"\",\"width\":\"large\"},\"children\":[{\"type\":\"row\",\"props\":{\"column_gap\":\"large\",\"layout\":\"2-3,1-3\",\"padding_remove_horizontal\":false,\"row_gap\":\"large\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_large\":\"2-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"margin_remove_bottom\":true,\"title_element\":\"div\",\"title_style\":\"text-meta\"},\"source_extended\":{\"props\":{\"content\":{\"composed\":{\"value\":\"{{ sources.6b78 }}: {{ sources.46d0 }}\",\"sources\":{\"6b78\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}},\"46d0\":{\"name\":\"field.subline\",\"query\":{\"name\":\"#parent\"}},\"6ef0\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}}}}},{\"type\":\"headline\",\"props\":{\"margin\":\"small\",\"margin_remove_top\":false,\"title_element\":\"h1\",\"title_style\":\"h1\"},\"source_extended\":{\"props\":{\"content\":{\"name\":\"title\",\"query\":{\"name\":\"#parent\"}}}}},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_bottom\":true}},{\"type\":\"fragment\",\"props\":{\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 8px;\\n    margin-bottom: 8px;\\n}\",\"layout\":\"1-2,1-2\",\"margin\":\"large\",\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"panel\",\"props\":{\"content_column_breakpoint\":\"m\",\"icon_width\":80,\"image_align\":\"left\",\"image_border\":\"circle\",\"image_grid_breakpoint\":\"\",\"image_grid_column_gap\":\"small\",\"image_grid_row_gap\":\"medium\",\"image_grid_width\":\"auto\",\"image_height\":40,\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"image_width\":40,\"link_style\":\"default\",\"link_text\":\"Read more\",\"margin\":\"\",\"meta_align\":\"below-title\",\"meta_element\":\"div\",\"meta_style\":\"text-meta\",\"title_align\":\"top\",\"title_element\":\"h3\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_style\":\"text-small\"},\"source_extended\":{\"props\":{\"image\":{\"name\":\"field.foto.url\",\"query\":{\"name\":\"#parent\"}},\"title\":{\"composed\":{\"value\":\"\",\"sources\":[],\"conditions\":[]}},\"content\":{\"composed\":{\"value\":\"{{ sources.5d02 }}, {{ sources.67e8 }}\",\"sources\":{\"5d02\":{\"name\":\"field.autor\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\"}},\"67e8\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}},\"content_en_us\":{\"composed\":{\"value\":\"{{ sources.cce3 }} on {{ sources.4656 }}\",\"sources\":{\"4656\":{\"name\":\"date\",\"query\":{\"name\":\"blogs.singleBlog\"},\"filters\":{\"date\":\"\"}},\"cce3\":{\"filters\":{\"search\":\"\"},\"name\":\"field.autor\",\"query\":{\"name\":\"blogs.singleBlog\"}}},\"conditions\":[]}}}},\"name\":\"Verfasser\"}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"yooessentials_social_sharing\",\"props\":{\"class\":\"social-sharing-blog\",\"grid\":\"horizontal\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"image_svg_inline\":true,\"link_style\":\"link\",\"margin\":\"default\",\"text_align\":\"right\"},\"children\":[{\"type\":\"yooessentials_social_sharing_item\",\"props\":{\"link_target\":\"_blank\",\"link_target_height\":\"\",\"link_target_width\":\"\",\"network\":\"linkedin\"}}],\"name\":\"Teilen\"}]}]}]},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Start \\\/\\\/ ---\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>In unserem letzten Beitrag der <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-in-der-modernen-marketing-datenlandschaft\\\/\\\">Airflow Blog-Serie<\\\/a> haben wir gezeigt, wie Sie <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-resilienz-logging-alerting\\\/\\\">Airflow-DAGs mit Logging, Retries und Alerting<\\\/a> robuster machen. Doch Resilienz alleine hilft wenig, wenn die Workflows in Airflow un\\u00fcbersichtlich sind.<\\\/p>\\n\n\n<p>Stellen Sie sich vor, Sie haben Ihre erste Airflow-Pipeline gebaut. Sie ruft Kampagnendaten von <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-linkedin-dag-in-der-praxis\\\/\\\">LinkedIn<\\\/a> ab, l\\u00e4dt sie in <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/technologien\\\/snowflake\\\/\\\">Snowflake<\\\/a> und fertig. Anfangs l\\u00e4uft alles rund. Doch sobald die Pipeline w\\u00e4chst, d.h. mehr Endpunkte, mehr Kund:innen, mehr zus\\u00e4tzliche Elemente, wirkt sie weniger wie eine saubere Produktionslinie und mehr wie ein verworrenes Spinnennetz. Genau hier spielt Struktur eine entscheidende Rolle. Die Art, wie Sie Workflows in Airflow gestalten, ist nicht nur eine Stilfrage. Sie beeinflusst direkt, wie verst\\u00e4ndlich, schnell und zuverl\\u00e4ssig Ihre Pipelines sind.<\\\/p>\\n\n\n<p>In diesem Beitrag beleuchten wir bew\\u00e4hrte Muster f\\u00fcr die Strukturierung von Workflows in Airflow, insbesondere in Marketing-Pipelines.<\\\/p>\",\"content_en_us\":\"\n\n<p>In our last post of our <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-in-the-modern-marketing-data-landscape\\\/\\\">Airflow blog series<\\\/a>, we covered how to make <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-resilience-logging-alerting\\\/\\\">Airflow DAGs more resilient with logging, retries, and alerting<\\\/a>. But resilience alone won\\u2019t save you if your DAGs are a tangled mess.<\\\/p>\\n\n\n<p>Imagine you\\u2019ve just built your first Airflow pipeline. It fetches campaign data from <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-linkedin-dag-in-practice\\\/\\\">LinkedIn<\\\/a>, loads it into <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/technologies\\\/snowflake\\\/\\\">Snowflake<\\\/a>, and you\\u2019re done. At first, things run smoothly. But as the pipeline grows, more endpoints, more clients, more moving pieces, it starts to feel less like a neat assembly line and more like a messy spider web. That\\u2019s where organization comes in. The way you design workflows in Airflow isn\\u2019t just about style. It directly impacts how readable, fast, and reliable your pipelines are.<\\\/p>\\n\n\n<p>In this post, we\\u2019ll explore some of the most common patterns for structuring Airflow workflows, especially in marketing pipelines, and how they can save you from future headaches.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"},\"name\":\"Lead-Text\"},{\"type\":\"headline\",\"props\":{\"content\":\"Lineare Workflows in Airflow: Einfach, aber begrenzt\",\"content_en_us\":\"Linear Flows in Airflow: Simple but Limited\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Das einfachste Design ist eine gerade Linie.<\\\/p>\\n\n\n<p>Es ist ideal f\\u00fcr <strong>kleine Pipelines <\\\/strong>oder Schritte, die direkt voneinander abh\\u00e4ngen. Zum Beispiel:<\\\/p>\\n\n\n<ul>\\n\n\n<li>LinkedIn-API-Token abrufen<\\\/li>\\n\n\n<li>Kampagnendaten abrufen<\\\/li>\\n\n\n<li>Kampagnendaten nach Snowflake laden<\\\/li>\\n<\\\/ul>\\n\n\n<p>Dieser Ansatz ist klar und leicht nachvollziehbar. Wenn Ihre Tasks wirklich aufeinander aufbauen, ist das perfekt. Doch mit wachsender Pipeline zeigt sich die Schw\\u00e4che. M\\u00fcssen Sie Dutzende Endpunkte nacheinander abfragen, dauert der \\u201eeinfache\\u201c Flow pl\\u00f6tzlich Stunden. Lineare Workflows in <a href=\\\"https:\\\/\\\/airflow.apache.org\\\/\\\">Airflow<\\\/a> sind gro\\u00dfartig f\\u00fcr den Einstieg. Sie skalieren jedoch schlecht.<\\\/p>\",\"content_en_us\":\"\n\n<p>The simplest design is a straight line.<\\\/p>\\n\n\n<p>This is <strong>perfect for small pipelines<\\\/strong> or steps that truly depend on each other. For example:<\\\/p>\\n\n\n<ul>\\n\n\n<li>Get a LinkedIn API token<\\\/li>\\n\n\n<li>Fetch campaign data<\\\/li>\\n\n\n<li>Load campaign data into Snowflake<\\\/li>\\n<\\\/ul>\\n\n\n<p>This approach is clean and easy to follow. If your tasks really depend on one another, it\\u2019s perfect. But the problem shows up when your pipeline grows. Imagine fetching dozens of endpoints one by one. Suddenly your \\u201csimple\\u201d flow takes hours to finish. Linear flows in <a href=\\\"https:\\\/\\\/airflow.apache.org\\\/\\\">Airflow<\\\/a> are great training wheels, but they don\\u2019t scale well.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Workflows_in_Airflow_Linear.png\",\"image_alt\":\"Workflows_in_Airflow_Linear\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Fan-Out: Parallelit\\u00e4t in gro\\u00dfem Ma\\u00dfstab\",\"content_en_us\":\"Fan-Out: Parallelism at Scale\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>F\\u00fcr gr\\u00f6\\u00dfere Jobs beschleunigen <strong>Fan-Out\\\/Fan-In-Muster<\\\/strong> deutlich. In unserem Beispiel:<\\\/p>\\n\n\n<ul>\\n\n\n<li>Nach der Authentifizierung f\\u00fchren Sie ein <strong>Fan-Out<\\\/strong> in mehrere \\u201eFetch\\u201c-Aufgaben durch (eine pro LinkedIn-Endpunkt).<\\\/li>\\n\n\n<li>Sobald alle abgeschlossen sind, laden sie die Aufgabe, die alles aggregiert und in Snowflake schreibt (<strong>Load Task<\\\/strong>).<\\\/li>\\n<\\\/ul>\\n\n\n<p>Dieses Design sorgt f\\u00fcr schnelle Pipelines und klare Abh\\u00e4ngigkeiten.<\\\/p>\",\"content_en_us\":\"\n\n<p>For bigger jobs, you can speed things up with <strong>fan-out \\\/ fan-in pattern<\\\/strong>s. In our use-case:<\\\/p>\\n\n\n<ul>\\n\n\n<li>After authentication, you <strong>fan-out<\\\/strong> into multiple \\u201cfetch\\u201d tasks (one per LinkedIn endpoint).<\\\/li>\\n\n\n<li>Once they all complete, <strong>load task<\\\/strong> that aggregates and writes everything to Snowflake.<\\\/li>\\n<\\\/ul>\\n\n\n<p>This design keeps pipelines fast while maintaining clear dependencies.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Workflows_in_Airflow_Fan-Out.png\",\"image_alt\":\"Workflows_in_Airflow_Fan-Out\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"TaskGroups: DAGs \\u00fcbersichtlich halten\",\"content_en_us\":\"TaskGroups: Keep DAGs Readable\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Wenn DAGs wachsen, k\\u00f6nnen Hunderte Tasks die Airflow-UI \\u00fcberfordern. <strong>TaskGroups<\\\/strong> b\\u00fcndeln verwandte Tasks in logische \\u201eOrdner\\u201c:<\\\/p>\\n\n\n<ul>\\n\n\n<li>Eine <strong>Fetch-Gruppe<\\\/strong> mit einem Task pro Endpunkt<\\\/li>\\n\n\n<li>Eine <strong>Load-Gruppe<\\\/strong> mit Staging-, Transformations- und Warehouse-Ladeschritten.<\\\/li>\\n<\\\/ul>\\n\n\n<p>TaskGroups ver\\u00e4ndern die Ausf\\u00fchrung nicht, machen Workflows in Airflow jedoch deutlich \\u00fcbersichtlicher.<\\\/p>\",\"content_en_us\":\"\n\n<p>As DAGs grow, hundreds of tasks can clutter your Airflow UI. Enter <strong>TaskGroups<\\\/strong> \\u2014 a way to bundle related tasks into logical \\u201cfolders\\u201d:<\\\/p>\\n\n\n<ul>\\n\n\n<li>A <strong>fetch group<\\\/strong> with one task per endpoint.<\\\/li>\\n\n\n<li>A <strong>load group<\\\/strong> with staging, transformation, and warehouse load steps.<\\\/li>\\n<\\\/ul>\\n\n\n<p>TaskGroups don\\u2019t change execution but make DAGs far more readable.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Workflows_in_Airflow_Task-Groups.png\",\"image_alt\":\"Workflows_in_Airflow_Task-Groups\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Wann Sie Workflows in Airflow nicht parallelisieren sollten\",\"content_en_us\":\"When Not to Parallelize Workflows in Airflow\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Parallelit\\u00e4t ist leistungsstark, aber mehr ist nicht immer besser. Stellen Sie sich vor, Sie senden hundert API-Anfragen gleichzeitig an LinkedIn. Sie werden wahrscheinlich an Rate Limits sto\\u00dfen und Fehlermeldungen erhalten.<\\\/p>\\n\n\n<p>Manchmal ist es sicherer, Daten sequenziell abzurufen, auch wenn dies l\\u00e4nger dauert. Die Kunst besteht darin, ein Gleichgewicht zu finden: F\\u00fchren Sie so viel wie m\\u00f6glich parallel aus, aber beachten Sie die Grenzen von APIs, Data Warehouses und Infrastruktur.<\\\/p>\\n\n\n<p>In unserem Anwendungsfall haben wir uns entschieden, die Aufgaben <em>extraction_linkedin_account_details<\\\/em> nacheinander zu gestalten, um eine Drosselung der API zu vermeiden, w\\u00e4hrend wir die Aufgaben <em>load_linkedin_account_details<\\\/em> parallelisiert haben.<\\\/p>\",\"content_en_us\":\"\n\n<p>Parallelism is powerful, but more isn\\u2019t always better. Imagine sending a hundred API requests to LinkedIn at the same time. You\\u2019ll likely hit rate limits and get errors back.<\\\/p>\\n\n\n<p>Sometimes, the safer choice is to fetch data sequentially, even if it takes longer. The art here is balance: run as much in parallel as you can, but respect the limits of APIs, warehouses, and infrastructure.<\\\/p>\\n\n\n<p>In our use-case, we decided to keep the <em>extraction_linkedin_account_details<\\\/em> Tasks sequentially to avoid API throttling, while we parallelized <em>load_linkedin_account_details<\\\/em> Tasks.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Workflows_in_Airflow_Parallize.png\",\"image_alt\":\"Workflows_in_Airflow_Parallize\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Sind Fan-Out und Fan-In die einzigen Optionen?\",\"content_en_us\":\"Are Fan-Out and Fan-In the only options?\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>\\u00dcberhaupt nicht. Selbst wenn Ihre Aufgaben parallel ausgef\\u00fchrt werden, k\\u00f6nnen Sie mit <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">Airflow<\\\/a> steuern, wie viele DAG-L\\u00e4ufe (Directed Acyclic Graph) und Aufgaben gleichzeitig ausgef\\u00fchrt werden. Auf DAG-Ebene k\\u00f6nnen Sie diese Grenzwerte global in <em>airflow.cfg<\\\/em> \\u00fcber <strong>max_active_runs_per_dag<\\\/strong> und <strong>max_active_tasks_per_dag<\\\/strong> konfigurieren:<\\\/p>\",\"content_en_us\":\"\n\n<p>Not at all. Even if your tasks run in parallel, Airflow lets you control how many DAG (Directed Acyclic Graph) runs and tasks execute at the same time. At the DAG level, you can configure these limits globally in <em>airflow.cfg<\\\/em> via <strong>max_active_runs_per_dag<\\\/strong> and <strong>max_active_tasks_per_dag<\\\/strong>:<\\\/p>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Workflows_in_Airflow_Max-active-runs.png\",\"image_alt\":\"Workflows_in_Airflow_Max-active-runs\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>F\\u00fcr eine feinere Steuerung k\\u00f6nnen Sie lokal Grenzen f\\u00fcr einzelne Aufgaben mit <strong>task_concurrency<\\\/strong> festlegen oder Aufgaben einem Pool zuweisen. Wenn beispielsweise die Anzahl der parallelen Aufgaben in der TaskGroup <strong>extraction_linkedin_account_details<\\\/strong> zunimmt, k\\u00f6nnen Sie die Gesamtzahl der gleichzeitig ausgef\\u00fchrten Aufgaben begrenzen, um API-Ratenbeschr\\u00e4nkungen zu vermeiden. Durch die Verwendung dieser lokalen Steuerelemente zusammen mit globalen DAG-Einstellungen k\\u00f6nnen Sie Aufgaben sicher verteilen und gleichzeitig eine \\u00dcberlastung der APIs verhindern.<\\\/p>\",\"content_en_us\":\"\n\n<p>For finer-grained control, you can set limits locally for individual tasks using <strong>task_concurrency<\\\/strong> or assign tasks to a pool. For example, if the number of parallel tasks in the <strong>extraction_linkedin_account_details<\\\/strong> TaskGroup increases, you can limit the total number of tasks running at the same time to avoid hitting API rate limits. Using these local controls alongside global DAG settings allows you to safely fan out tasks while preventing overload on APIs.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_bottom\":true,\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Workflows_in_Airflow_Task-Concurrency.png\",\"image_alt\":\"Workflows_in_Airflow_Task-Concurrency\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Was als N\\u00e4chstes kommt: Idempotente Workflows in Airflow\",\"content_en_us\":\"What\\u2019s Next: Idempotent Workflows in Airflow\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Mit modularen Tasks, Resilienz und skalierbaren Mustern sind Sie auf dem Weg zu produktionsreifen Workflows in Airflow. Jedoch fehlt noch ein Prinzip, das jede Marketing-Pipeline braucht: <strong>Idempotenz<\\\/strong>.<\\\/p>\\n\n\n<p>Im n\\u00e4chsten Beitrag zeigen wir, wie Sie idempotente Workflows in Airflow entwickeln, die sich risikolos erneut ausf\\u00fchren lassen, <strong>ohne Daten zu duplizieren oder zu besch\\u00e4digen<\\\/strong>. So kompromittieren Retries und Backfills Ihren <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">Marketing Data Stack<\\\/a> nicht.<\\\/p>\",\"content_en_us\":\"\n\n<p>With modular tasks, resilience, and scalable workflow patterns, you\\u2019re well on your way to a production-grade DAG. But there\\u2019s one more principle every marketing pipeline needs: <strong>idempotency<\\\/strong>.<\\\/p>\\n\n\n<p>In the next post, we\\u2019ll cover how to design idempotent DAGs that are safe to rerun <strong>without duplicating or corrupting data<\\\/strong>, ensuring retries and backfills never compromise your <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">Marketing Data Stack<\\\/a>.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"default\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"default\",\"content\":\"Erfahren Sie mehr\",\"content_en_us\":\"Get in touch\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon_align\":\"left\",\"link\":\"de\\\/kontakt\\\/\",\"link_en_us\":\"https:\\\/\\\/www.hopmann.com\\\/en\\\/contact\\\/\",\"link_title\":\"Erfahren Sie mehr\",\"link_title_en_us\":\"Get in touch\"}}]},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Ende \\\/\\\/ ---\"},{\"type\":\"fragment\",\"props\":{\"margin\":\"default\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 70px;\\n}\",\"margin_remove_bottom\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\"}}]}]},{\"type\":\"row\",\"props\":{\"class\":\"blog-pager\",\"layout\":\"1-2,1-2\",\"margin\":\"small\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"class\":\"blog-pager\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"Vorheriger Artikel\",\"content_en_us\":\"Previous article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-left\",\"icon_align\":\"left\"},\"source\":{\"query\":{\"name\":\"blogs.singlePreviousBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\",\"text_align\":\"right\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"N\\u00e4chster Artikel\",\"content_en_us\":\"Next article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-right\",\"icon_align\":\"right\"},\"source\":{\"query\":{\"name\":\"blogs.singleNextBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]},{\"type\":\"row\",\"props\":{\"margin_remove_top\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}}]}]}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky\":\"column\",\"position_sticky_breakpoint\":\"m\",\"position_sticky_offset\":\"120\",\"width_large\":\"1-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Neueste Artikel\",\"content_en_us\":\"Latest articles\",\"margin_remove_bottom\":false,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\"}},{\"type\":\"grid\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"articles-sm\",\"content\":\"Neueste Artikel\",\"content_column_breakpoint\":\"m\",\"filter_align\":\"left\",\"filter_all\":true,\"filter_grid_breakpoint\":\"m\",\"filter_grid_width\":\"auto\",\"filter_position\":\"top\",\"filter_style\":\"tab\",\"grid_default\":\"1\",\"grid_divider\":true,\"grid_medium\":\"\",\"grid_row_gap\":\"small\",\"icon_width\":80,\"image_align\":\"top\",\"image_grid_breakpoint\":\"\",\"image_grid_width\":\"auto\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"item_animation\":true,\"lightbox_bg_close\":true,\"link_style\":\"default\",\"link_text\":\"\",\"margin\":\"default\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"meta_align\":\"above-title\",\"meta_element\":\"div\",\"meta_style\":\"text-small\",\"panel_expand\":false,\"panel_image_no_padding\":true,\"panel_link\":true,\"show_content\":true,\"show_hover_image\":true,\"show_hover_video\":true,\"show_image\":true,\"show_link\":true,\"show_meta\":true,\"show_title\":true,\"show_video\":true,\"title_align\":\"top\",\"title_element\":\"div\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_margin\":\"remove\"},\"children\":[{\"type\":\"grid_item\",\"props\":{\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"source\":{\"query\":{\"name\":\"blogs.customBlogs\",\"arguments\":{\"users\":[],\"users_operator\":\"IN\",\"offset\":0,\"limit\":5,\"order\":\"date\",\"order_direction\":\"DESC\",\"terms\":[],\"blog_kategorie_operator\":\"IN\"}},\"props\":{\"title\":{\"filters\":{\"search\":\"\"},\"name\":\"title\"},\"meta\":{\"filters\":{\"search\":\"\"},\"name\":\"field.subline\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]},{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Kategorien\",\"content_en_us\":\"Categories\",\"margin\":\"large\",\"margin_remove_bottom\":true,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\",\"yooessentials_access_conditions\":[{\"type\":\"yooessentials_access_dynamic\",\"id\":\"ci_AD8A0F\",\"props\":{\"condition\":\"!\",\"reversed\":true},\"source_extended\":{\"props\":{\"value\":{\"name\":\"blog_kategorieString\",\"query\":{\"name\":\"#parent\"}}}}}],\"yooessentials_access_mode\":\"AND\"}},{\"type\":\"list\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"tag-list\",\"column_breakpoint\":\"m\",\"content\":\"Kategorien\",\"image_align\":\"left\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"list_element\":\"ul\",\"list_horizontal_separator\":\"\",\"list_type\":\"horizontal\",\"margin\":\"small\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"show_image\":true,\"show_link\":true},\"children\":[{\"type\":\"list_item\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\",\"field\":{\"name\":\"blog_kategories\",\"directives\":[{\"name\":\"slice\",\"arguments\":{\"offset\":0}}]}},\"props\":{\"content\":{\"filters\":{\"search\":\"\"},\"name\":\"name\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]}],\"name\":\"Blog V8 - 10\\\/25\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\"}}}],\"version\":\"4.5.28\",\"yooessentialsVersion\":\"2.4.7\"} --><\/p>\n","protected":false},"featured_media":11912,"template":"","blog-kategorie":[57,56],"class_list":["post-12230","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-kategorie-data-engineering","blog-kategorie-deep-dive"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12230","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"version-history":[{"count":0,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12230\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media\/11912"}],"wp:attachment":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media?parent=12230"}],"wp:term":[{"taxonomy":"blog-kategorie","embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog-kategorie?post=12230"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}