{"id":12222,"date":"2025-10-13T11:15:04","date_gmt":"2025-10-13T11:15:04","guid":{"rendered":"https:\/\/www.hopmann.com\/blog\/\/"},"modified":"2025-10-13T12:36:52","modified_gmt":"2025-10-13T12:36:52","slug":"airflow-resilienz-logging-alerting","status":"publish","type":"blog","link":"https:\/\/www.hopmann.com\/de\/blog\/airflow-resilienz-logging-alerting\/","title":{"rendered":"Airflow Resilienz: Logging, Alerting &#038; Fehlerbehandlung"},"content":{"rendered":"<hr>\n<ul>\n<li><a href=\"#\">social<\/a>\n<\/li>\n<\/ul>\n<hr>\n<div>\n<p>Airflow Resilienz ist Teil 2 unserer <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-in-der-modernen-marketing-datenlandschaft\/\">Airflow Blogpost Serie.<\/a> In den vergangenen beiden Artikeln haben wir den modernen <a href=\"https:\/\/www.hopmann.com\/de\/marketing-analytics\/marketing-data-stack\/\">Marketing Data Stack<\/a> vorgestellt und einen <a href=\"https:\/\/www.hopmann.com\/de\/blog\/airflow-linkedin-dag-in-der-praxis\/\">LinkedIn-DAG<\/a> aufgebaut, der aus modularen, dynamisch generierten Tasks besteht. Doch gutes Design allein reicht nicht aus. Produktionspipelines m\u00fcssen auch robust und widerstandsf\u00e4hig sein.<\/p>\n<p>APIs fallen aus. Netzwerke haken. Selbst <a href=\"https:\/\/www.hopmann.com\/de\/technologien\/snowflake\/\">Snowflake<\/a> hat manchmal eine tempor\u00e4re Sperre. In der <a href=\"https:\/\/www.hopmann.com\/de\/marketing-analytics\/\">Marketing Analytics<\/a> Welt, in der Schnelligkeit \u00e4u\u00dferst wichtig ist, kann man sich weder stille Ausf\u00e4lle noch halb verarbeitete Daten leisten. In diesem Beitrag zur <strong>Airflow Resilienz<\/strong> zeigen wir daher, wie Sie Ihre DAGs mit Logging, Retries und proaktivem Alerting robuster gestalten k\u00f6nnen.<\/p>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Hopmann-Blogpost-Serie-Airflow.png\" alt=\"Hopmann Blogpost Serie Airflow\"><\/p>\n<h2>Retries: Smart scheitern statt hart scheitern<\/h2>\n<div>\n<p>Tempor\u00e4re Fehler sind unvermeidbar. Und Airflow macht es einfach, Tasks automatisch zu wiederholen:<\/p>\n<ul>\n<li><strong>Exponential Backoff:<\/strong> Anstatt stumpf alle 30 Sekunden neu zu versuchen, sollten die Wiederholungen gestaffelt werden (z. B. 1 Min \u2192 2 Min \u2192 4 Min). So \u00fcberlastet man keine ohnehin schon angeschlagene API.<\/li>\n<li><strong>Grenzen setzen:<\/strong> Endlose Retries verl\u00e4ngern nur das Unvermeidliche und machen Logs un\u00fcbersichtlich.<\/li>\n<\/ul>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_Resilienz_Retries.png\" alt=\"Airflow_Resilienz_Retries\"><\/p>\n<div>\n<p>Man kann sich Retries vorstellen wie das wiederholte Dr\u00fccken des \u201eAktualisieren\u201c-Buttons im Browser. Manchmal hilft es. Aber wenn die Seite nach f\u00fcnf Versuchen immer noch nicht l\u00e4dt, fragt man sich, woran es liegt. Genau so sollte sich auch Ihre Pipeline verhalten.<\/p>\n<\/div>\n<h2>Logging: Laut scheitern statt leise<\/h2>\n<div>\n<p>Die gef\u00e4hrlichsten Bugs in Datenpipelines sind nicht die, die laut crashen, sondern die, die <strong>still falsche Daten<\/strong> weiterleiten.<\/p>\n<p><strong>Ein paar Tipps f\u00fcr sauberes Logging:<\/strong><\/p>\n<ul>\n<li><strong>Fehler explizit melden:<\/strong> Wenn z. B. LinkedIn eine leere Payload oder eine fehlerhafte Datei zur\u00fcckgibt, sollte eine Fehlermeldung ausgel\u00f6st werden, anstatt den Fehler zu ignorieren. Beispiel: Slack-Nachricht bei Fehlern senden.<\/li>\n<li><strong>Stack Traces aufbewahren:<\/strong> Airflow-Protokolle sollten Ihnen einen klaren Weg zum Debuggen aufzeigen, wenn etwas schiefgeht.<\/li>\n<\/ul>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_Resilienz_Logging.png\" alt=\"Airflow_Resilienz_Logging\"><\/p>\n<div>\n<p>Schnelles und sauberes Scheitern verhindern, dass fehlerhafte Daten in Dashboards gelangen. Insbesondere wenn sie dort schleichend das Vertrauen in Ihre Daten zerst\u00f6ren k\u00f6nnen.<\/p>\n<\/div>\n<h2>Alerting: Nicht warten, bis Stakeholder es merken<\/h2>\n<div>\n<p>Retries und Logging sind wichtig. Aber Ihr Team muss wissen, wann Pipelines k\u00e4mpfen. Airflow bietet daf\u00fcr mehrere Hooks:<\/p>\n<ul>\n<li><strong>on_failure_callback:<\/strong> Sendet automatisch eine Slack- oder E-Mail-Benachrichtigung, wenn ein Task fehlschl\u00e4gt.<\/li>\n<li><strong>SLAs auf kritische Tasks:<\/strong> Lassen Sie sich benachrichtigen, wenn Pipelines versp\u00e4tet sind, nicht nur, wenn sie fehlschlagen.<\/li>\n<\/ul>\n<\/div>\n<p><img decoding=\"async\" src=\"\/wp-content\/uploads\/Airflow_Resilienz_Alerting.png\" alt=\"Airflow_Resilienz_Alerting\"><\/p>\n<div>\n<p>Ein gutes Alerting-Setup stellt sicher, dass Sie \u00fcber Probleme Bescheid wissen, bevor Ihr Marketing-Team wegen \u201efehlender Spend-Daten\u201c nachfragt.<\/p>\n<\/div>\n<h2>Fazit zur Airflow Resilienz<\/h2>\n<div>\n<p>Airflow Resilienz bedeutet nicht, dass Pipelines perfekt sind. Es bedeutet, dass sie <strong>vorhersehbar, transparent und wiederherstellbar<\/strong> sind. Mit Retries, sauberem Logging und proaktivem Alerting schaffen Sie Vertrauen \u2013 nicht nur in Ihre Daten, sondern auch in die F\u00e4higkeit Ihres Teams, diese zuverl\u00e4ssig bereitzustellen.<\/p>\n<p>Im n\u00e4chsten Teil der <a href=\"https:\/\/airflow.apache.org\/\" target=\"_blank\" rel=\"noopener\">Airflow<\/a> Blogpost Serie werfen wir einen Blick auf verschiedene <strong>Workflow-Muster<\/strong>: lineare Flows, Fan-out\/Fan-in-Designs und TaskGroups. Au\u00dferdem zeigen wir, wie die richtige Struktur Pipelines klarer und skalierbarer macht.<\/p>\n<p>Wenn Sie in der Zwischenzeit eine Airflow Beratung in M\u00fcnchen suchen, melden Sie sich gerne bei uns.<\/p>\n<\/div>\n<p><p>\n        <a href=\"\/de\/kontakt\/\">Airflow Beratung M\u00fcnchen<\/a>\n    <\/p>\n<\/p>\n<hr>\n<p><p>\n        Vorheriger Artikel    <\/p>\n<\/p>\n<p><p>\n        N\u00e4chster Artikel    <\/p>\n<\/p>\n<hr>\n<div>Neueste Artikel<\/div>\n<div>\n<\/div>\n<div>Kategorien<\/div>\n<div>\n<\/div>\n<p><!--more--><br \/>\n<!-- {\"type\":\"layout\",\"children\":[{\"type\":\"section\",\"props\":{\"animation\":\"slide-bottom-medium\",\"animation_delay\":\"50\",\"height\":\"page\",\"image_position\":\"center-center\",\"padding\":\"large\",\"padding_remove_top\":true,\"style\":\"default\",\"title_breakpoint\":\"xl\",\"title_position\":\"top-left\",\"title_rotation\":\"left\",\"vertical_align\":\"\",\"width\":\"large\"},\"children\":[{\"type\":\"row\",\"props\":{\"column_gap\":\"large\",\"layout\":\"2-3,1-3\",\"padding_remove_horizontal\":false,\"row_gap\":\"large\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_large\":\"2-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"margin_remove_bottom\":true,\"title_element\":\"div\",\"title_style\":\"text-meta\"},\"source_extended\":{\"props\":{\"content\":{\"composed\":{\"value\":\"{{ sources.6b78 }}: {{ sources.46d0 }}\",\"sources\":{\"6b78\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}},\"46d0\":{\"name\":\"field.subline\",\"query\":{\"name\":\"#parent\"}},\"6ef0\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}}}}},{\"type\":\"headline\",\"props\":{\"margin\":\"small\",\"margin_remove_top\":false,\"title_element\":\"h1\",\"title_style\":\"h1\"},\"source_extended\":{\"props\":{\"content\":{\"name\":\"title\",\"query\":{\"name\":\"#parent\"}}}}},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_bottom\":true}},{\"type\":\"fragment\",\"props\":{\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 8px;\\n    margin-bottom: 8px;\\n}\",\"layout\":\"1-2,1-2\",\"margin\":\"large\",\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"panel\",\"props\":{\"content_column_breakpoint\":\"m\",\"icon_width\":80,\"image_align\":\"left\",\"image_border\":\"circle\",\"image_grid_breakpoint\":\"\",\"image_grid_column_gap\":\"small\",\"image_grid_row_gap\":\"medium\",\"image_grid_width\":\"auto\",\"image_height\":40,\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"image_width\":40,\"link_style\":\"default\",\"link_text\":\"Read more\",\"margin\":\"\",\"meta_align\":\"below-title\",\"meta_element\":\"div\",\"meta_style\":\"text-meta\",\"title_align\":\"top\",\"title_element\":\"h3\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_style\":\"text-small\"},\"source_extended\":{\"props\":{\"image\":{\"name\":\"field.foto.url\",\"query\":{\"name\":\"#parent\"}},\"title\":{\"composed\":{\"value\":\"\",\"sources\":[],\"conditions\":[]}},\"content\":{\"composed\":{\"value\":\"{{ sources.5d02 }}, {{ sources.67e8 }}\",\"sources\":{\"5d02\":{\"name\":\"field.autor\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\"}},\"67e8\":{\"name\":\"field.datum\",\"query\":{\"name\":\"#parent\"},\"filters\":{\"search\":\"\",\"date\":\"d.m.Y\"}}},\"conditions\":[]}},\"content_en_us\":{\"composed\":{\"value\":\"{{ sources.cce3 }} on {{ sources.4656 }}\",\"sources\":{\"4656\":{\"name\":\"date\",\"query\":{\"name\":\"blogs.singleBlog\"},\"filters\":{\"date\":\"\"}},\"cce3\":{\"filters\":{\"search\":\"\"},\"name\":\"field.autor\",\"query\":{\"name\":\"blogs.singleBlog\"}}},\"conditions\":[]}}}},\"name\":\"Verfasser\"}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"vertical_align\":\"middle\",\"width_default\":\"1-2\"},\"children\":[{\"type\":\"yooessentials_social_sharing\",\"props\":{\"class\":\"social-sharing-blog\",\"grid\":\"horizontal\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"image_svg_inline\":true,\"link_style\":\"link\",\"margin\":\"default\",\"text_align\":\"right\"},\"children\":[{\"type\":\"yooessentials_social_sharing_item\",\"props\":{\"link_target\":\"_blank\",\"link_target_height\":\"\",\"link_target_width\":\"\",\"network\":\"linkedin\"}}],\"name\":\"Teilen\"}]}]}]},{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Start \\\/\\\/ ---\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Airflow Resilienz ist Teil 2 unserer <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-in-der-modernen-marketing-datenlandschaft\\\/\\\">Airflow Blogpost Serie.<\\\/a> In den vergangenen beiden Artikeln haben wir den modernen <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">Marketing Data Stack<\\\/a> vorgestellt und einen <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/blog\\\/airflow-linkedin-dag-in-der-praxis\\\/\\\">LinkedIn-DAG<\\\/a> aufgebaut, der aus modularen, dynamisch generierten Tasks besteht. Doch gutes Design allein reicht nicht aus. Produktionspipelines m\\u00fcssen auch robust und widerstandsf\\u00e4hig sein.<\\\/p>\\n\n\n<p>APIs fallen aus. Netzwerke haken. Selbst <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/technologien\\\/snowflake\\\/\\\">Snowflake<\\\/a> hat manchmal eine tempor\\u00e4re Sperre. In der <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/de\\\/marketing-analytics\\\/\\\">Marketing Analytics<\\\/a> Welt, in der Schnelligkeit \\u00e4u\\u00dferst wichtig ist, kann man sich weder stille Ausf\\u00e4lle noch halb verarbeitete Daten leisten. In diesem Beitrag zur <strong>Airflow Resilienz<\\\/strong> zeigen wir daher, wie Sie Ihre DAGs mit Logging, Retries und proaktivem Alerting robuster gestalten k\\u00f6nnen.<\\\/p>\",\"content_en_us\":\"\n\n<p>Airflow Resilience is part 3 of our <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-in-the-modern-marketing-data-landscape\\\/\\\">Airflow blog post series<\\\/a>. So far, we\\u2019ve introduced the <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/marketing-analytics\\\/marketing-data-stack\\\/\\\">modern marketing data stack<\\\/a> and walked through a <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/blog\\\/airflow-linkedin-dag-in-practice\\\/\\\">LinkedIn DAG<\\\/a> built with modular, dynamically generated tasks. But good design alone isn\\u2019t enough. Production pipelines must also be resilient.<\\\/p>\\n\n\n<p>APIs fail. Networks hiccup. Even <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/technologies\\\/snowflake\\\/\\\">Snowflake<\\\/a> sometimes throws a transient lock. In <a href=\\\"https:\\\/\\\/www.hopmann.com\\\/en\\\/marketing-analytics\\\/\\\">marketing analytics<\\\/a>, where timeliness is everything, you can\\u2019t afford silent failures or half-processed data.<\\\/p>\\n\n\n<p>In this post about <strong>Airflow resilience<\\\/strong>, we\\u2019ll explore how to make your DAGs more resilient with logging, retries, and proactive alerting.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"},\"name\":\"Lead-Text\"},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Hopmann-Blogpost-Serie-Airflow.png\",\"image_alt\":\"Hopmann Blogpost Serie Airflow\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"headline\",\"props\":{\"content\":\"Retries: Smart scheitern statt hart scheitern\",\"content_en_us\":\"Retries: Fail Smart, Not Hard\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Tempor\\u00e4re Fehler sind unvermeidbar. Und Airflow macht es einfach, Tasks automatisch zu wiederholen:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Exponential Backoff:<\\\/strong> Anstatt stumpf alle 30 Sekunden neu zu versuchen, sollten die Wiederholungen gestaffelt werden (z. B. 1 Min \\u2192 2 Min \\u2192 4 Min). So \\u00fcberlastet man keine ohnehin schon angeschlagene API.<\\\/li>\\n\n\n<li><strong>Grenzen setzen:<\\\/strong> Endlose Retries verl\\u00e4ngern nur das Unvermeidliche und machen Logs un\\u00fcbersichtlich.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>Temporary failures are inevitable, and Airflow makes it easy to retry tasks automatically:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Exponential backoff:<\\\/strong> Instead of retrying every 30 seconds like a robot, space out retries (e.g., 1 min \\u2192 2 min \\u2192 4 min). This avoids overwhelming an already struggling API.<\\\/li>\\n\n\n<li><strong>Set limits:<\\\/strong> Don\\u2019t retry forever. Too many retries just drag out the inevitable and clutter logs.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_Resilienz_Retries.png\",\"image_alt\":\"Airflow_Resilienz_Retries\",\"image_alt_en_us\":\"Airflow Resilience Retries\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Man kann sich Retries vorstellen wie das wiederholte Dr\\u00fccken des \\u201eAktualisieren\\u201c-Buttons im Browser. Manchmal hilft es. Aber wenn die Seite nach f\\u00fcnf Versuchen immer noch nicht l\\u00e4dt, fragt man sich, woran es liegt. Genau so sollte sich auch Ihre Pipeline verhalten.<\\\/p>\",\"content_en_us\":\"\n\n<p>Think of retries like hitting \\u201crefresh\\u201d on a browser. Sometimes it fixes things. But if the page is still broken after five tries, you stop and ask what\\u2019s wrong. Your pipeline should do the same.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Logging: Laut scheitern statt leise\",\"content_en_us\":\"Logging: Fail Loud, Not Silent\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Die gef\\u00e4hrlichsten Bugs in Datenpipelines sind nicht die, die laut crashen, sondern die, die <strong>still falsche Daten<\\\/strong> weiterleiten.<\\\/p>\\n\n\n<p><strong>Ein paar Tipps f\\u00fcr sauberes Logging:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Fehler explizit melden:<\\\/strong> Wenn z. B. LinkedIn eine leere Payload oder eine fehlerhafte Datei zur\\u00fcckgibt, sollte eine Fehlermeldung ausgel\\u00f6st werden, anstatt den Fehler zu ignorieren. Beispiel: Slack-Nachricht bei Fehlern senden.<\\\/li>\\n\n\n<li><strong>Stack Traces aufbewahren:<\\\/strong> Airflow-Protokolle sollten Ihnen einen klaren Weg zum Debuggen aufzeigen, wenn etwas schiefgeht.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>The worst bugs in data pipelines aren\\u2019t the ones that crash loudly; they\\u2019re the ones that silently pass bad data downstream.<\\\/p>\\n\n\n<p><strong>Tips for clean logging:<\\\/strong><\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>Raise errors explicitly.<\\\/strong> If e.g. LinkedIn returns an empty payload or a malformed file, throw an exception instead of swallowing it. For example: raise a slack message<\\\/li>\\n\n\n<li><strong>Keep stack traces:<\\\/strong> Airflow logs should give you a clear trail to debug when something goes wrong.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_Resilienz_Logging.png\",\"image_alt\":\"Airflow_Resilienz_Logging\",\"image_alt_en_us\":\"Airflow Resilience Logging\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Schnelles und sauberes Scheitern verhindern, dass fehlerhafte Daten in Dashboards gelangen. Insbesondere wenn sie dort schleichend das Vertrauen in Ihre Daten zerst\\u00f6ren k\\u00f6nnen.<\\\/p>\",\"content_en_us\":\"\n\n<p>Failing fast prevents bad data from getting into downstream dashboards where it can quietly erode trust.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Alerting: Nicht warten, bis Stakeholder es merken\",\"content_en_us\":\"Alerting: Don\\u2019t Wait for Stakeholders to Notice\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Retries und Logging sind wichtig. Aber Ihr Team muss wissen, wann Pipelines k\\u00e4mpfen. Airflow bietet daf\\u00fcr mehrere Hooks:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>on_failure_callback:<\\\/strong> Sendet automatisch eine Slack- oder E-Mail-Benachrichtigung, wenn ein Task fehlschl\\u00e4gt.<\\\/li>\\n\n\n<li><strong>SLAs auf kritische Tasks:<\\\/strong> Lassen Sie sich benachrichtigen, wenn Pipelines versp\\u00e4tet sind, nicht nur, wenn sie fehlschlagen.<\\\/li>\\n<\\\/ul>\",\"content_en_us\":\"\n\n<p>Retries and logging are great, but your team needs to know when pipelines are struggling. Airflow gives you several hooks for this:<\\\/p>\\n\n\n<ul>\\n\n\n<li><strong>on_failure_callback:<\\\/strong> send a Slack or email alert when a task fails.<\\\/li>\\n\n\n<li><strong>SLAs on critical tasks:<\\\/strong> get notified when pipelines are running late, not just when they fail.<\\\/li>\\n<\\\/ul>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"image\",\"props\":{\"image\":\"wp-content\\\/uploads\\\/Airflow_Resilienz_Alerting.png\",\"image_alt\":\"Airflow_Resilienz_Alerting\",\"image_alt_en_us\":\"Airflow Resilience Alerting\",\"image_svg_color\":\"emphasis\",\"image_width\":900,\"margin\":\"small\",\"margin_remove_bottom\":false,\"margin_remove_top\":false}},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Ein gutes Alerting-Setup stellt sicher, dass Sie \\u00fcber Probleme Bescheid wissen, bevor Ihr Marketing-Team wegen \\u201efehlender Spend-Daten\\u201c nachfragt.<\\\/p>\",\"content_en_us\":\"\n\n<p>A good alerting setup ensures you know about issues before your marketing team starts pinging you about \\u201cmissing spend data\\u201d.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"headline\",\"props\":{\"content\":\"Fazit zur Airflow Resilienz\",\"content_en_us\":\"Conclusion on Airflow resilience\",\"margin\":\"default\",\"margin_remove_bottom\":false,\"title_element\":\"h2\",\"title_style\":\"h2\"},\"name\":\"H2\"},{\"type\":\"text\",\"props\":{\"column_breakpoint\":\"m\",\"content\":\"\n\n<p>Airflow Resilienz bedeutet nicht, dass Pipelines perfekt sind. Es bedeutet, dass sie <strong>vorhersehbar, transparent und wiederherstellbar<\\\/strong> sind. Mit Retries, sauberem Logging und proaktivem Alerting schaffen Sie Vertrauen \\u2013 nicht nur in Ihre Daten, sondern auch in die F\\u00e4higkeit Ihres Teams, diese zuverl\\u00e4ssig bereitzustellen.<\\\/p>\\n\n\n<p>Im n\\u00e4chsten Teil der <a href=\\\"https:\\\/\\\/airflow.apache.org\\\/\\\">Airflow<\\\/a> Blogpost Serie werfen wir einen Blick auf verschiedene <strong>Workflow-Muster<\\\/strong>: lineare Flows, Fan-out\\\/Fan-in-Designs und TaskGroups. Au\\u00dferdem zeigen wir, wie die richtige Struktur Pipelines klarer und skalierbarer macht.<\\\/p>\\n\n\n<p>Wenn Sie in der Zwischenzeit eine Airflow Beratung in M\\u00fcnchen suchen, melden Sie sich gerne bei uns.<\\\/p>\",\"content_en_us\":\"\n\n<p>Resilience isn\\u2019t about making pipelines perfect. It\\u2019s about making them <strong>predictable, transparent, and recoverable<\\\/strong>. With retries, clean logging, and proactive alerts, you build trust not just in your data, but in your team\\u2019s ability to deliver it reliably.<\\\/p>\\n\n\n<p>In the next post of our <a href=\\\"https:\\\/\\\/airflow.apache.org\\\/\\\">Airflow<\\\/a> blog series, we\\u2019ll zoom out and talk about <strong>workflow patterns<\\\/strong> - linear flows, fan-out\\\/fan-in designs, and TaskGroups. We also show you how choosing the right structure makes pipelines both clearer and easier to scale.<\\\/p>\\n\n\n<p>If you are looking for Airflow consulting in Munich, just reach out to us.<\\\/p>\",\"margin\":\"medium\",\"margin_remove_top\":true,\"text_style\":\"large\"}},{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"default\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"default\",\"content\":\"Airflow Beratung M\\u00fcnchen\",\"content_en_us\":\"Airflow Consulting Munich\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon_align\":\"left\",\"link\":\"de\\\/kontakt\\\/\",\"link_en_us\":\"https:\\\/\\\/www.hopmann.com\\\/en\\\/contact\\\/\",\"link_title\":\"Airflow Beratung M\\u00fcnchen\",\"link_title_en_us\":\"Airflow Consulting Munich\"}}]},{\"type\":\"html\",\"props\":{\"content\":\"\"},\"name\":\"--- \\\/\\\/ Content Ende \\\/\\\/ ---\"},{\"type\":\"fragment\",\"props\":{\"margin\":\"default\"},\"children\":[{\"type\":\"row\",\"props\":{\"css\":\".el-row {\\n\\tmargin-top: 70px;\\n}\",\"margin_remove_bottom\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\"}}]}]},{\"type\":\"row\",\"props\":{\"class\":\"blog-pager\",\"layout\":\"1-2,1-2\",\"margin\":\"small\"},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"class\":\"blog-pager\",\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"Vorheriger Artikel\",\"content_en_us\":\"Previous article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-left\",\"icon_align\":\"left\"},\"source\":{\"query\":{\"name\":\"blogs.singlePreviousBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\",\"width_default\":\"1-2\",\"width_medium\":\"1-2\"},\"children\":[{\"type\":\"button\",\"props\":{\"grid_column_gap\":\"small\",\"grid_row_gap\":\"small\",\"margin\":\"remove-vertical\",\"text_align\":\"right\"},\"children\":[{\"type\":\"button_item\",\"props\":{\"button_style\":\"\",\"content\":\"N\\u00e4chster Artikel\",\"content_en_us\":\"Next article\",\"dialog_layout\":\"modal\",\"dialog_offcanvas_flip\":true,\"icon\":\"chevron-right\",\"icon_align\":\"right\"},\"source\":{\"query\":{\"name\":\"blogs.singleNextBlog\"},\"props\":{\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]},{\"type\":\"row\",\"props\":{\"margin_remove_top\":true},\"children\":[{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky_breakpoint\":\"m\"},\"children\":[{\"type\":\"divider\",\"props\":{\"divider_element\":\"hr\",\"margin\":\"medium\",\"margin_remove_top\":true}}]}]}]}]},{\"type\":\"column\",\"props\":{\"image_position\":\"center-center\",\"position_sticky\":\"column\",\"position_sticky_breakpoint\":\"m\",\"position_sticky_offset\":\"120\",\"width_large\":\"1-3\"},\"children\":[{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Neueste Artikel\",\"content_en_us\":\"Latest articles\",\"margin_remove_bottom\":false,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\"}},{\"type\":\"grid\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"articles-sm\",\"content\":\"Neueste Artikel\",\"content_column_breakpoint\":\"m\",\"filter_align\":\"left\",\"filter_all\":true,\"filter_grid_breakpoint\":\"m\",\"filter_grid_width\":\"auto\",\"filter_position\":\"top\",\"filter_style\":\"tab\",\"grid_default\":\"1\",\"grid_divider\":true,\"grid_medium\":\"\",\"grid_row_gap\":\"small\",\"icon_width\":80,\"image_align\":\"top\",\"image_grid_breakpoint\":\"\",\"image_grid_width\":\"auto\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"item_animation\":true,\"lightbox_bg_close\":true,\"link_style\":\"default\",\"link_text\":\"\",\"margin\":\"default\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"meta_align\":\"above-title\",\"meta_element\":\"div\",\"meta_style\":\"text-small\",\"panel_expand\":false,\"panel_image_no_padding\":true,\"panel_link\":true,\"show_content\":true,\"show_hover_image\":true,\"show_hover_video\":true,\"show_image\":true,\"show_link\":true,\"show_meta\":true,\"show_title\":true,\"show_video\":true,\"title_align\":\"top\",\"title_element\":\"div\",\"title_font_family\":\"tertiary\",\"title_grid_breakpoint\":\"m\",\"title_grid_width\":\"1-2\",\"title_hover_style\":\"reset\",\"title_margin\":\"remove\"},\"children\":[{\"type\":\"grid_item\",\"props\":{\"yooessentials_access_conditions\":[],\"yooessentials_access_mode\":\"AND\"},\"source\":{\"query\":{\"name\":\"blogs.customBlogs\",\"arguments\":{\"users\":[],\"users_operator\":\"IN\",\"offset\":0,\"limit\":5,\"order\":\"date\",\"order_direction\":\"DESC\",\"terms\":[],\"blog_kategorie_operator\":\"IN\"}},\"props\":{\"title\":{\"filters\":{\"search\":\"\"},\"name\":\"title\"},\"meta\":{\"filters\":{\"search\":\"\"},\"name\":\"field.subline\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]},{\"type\":\"headline\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"content\":\"Kategorien\",\"content_en_us\":\"Categories\",\"margin\":\"large\",\"margin_remove_bottom\":true,\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"title_element\":\"div\",\"title_style\":\"h6\",\"yooessentials_access_conditions\":[{\"type\":\"yooessentials_access_dynamic\",\"id\":\"ci_AD8A0F\",\"props\":{\"condition\":\"!\",\"reversed\":true},\"source_extended\":{\"props\":{\"value\":{\"name\":\"blog_kategorieString\",\"query\":{\"name\":\"#parent\"}}}}}],\"yooessentials_access_mode\":\"AND\"}},{\"type\":\"list\",\"props\":{\"block_align\":\"right\",\"block_align_breakpoint\":\"l\",\"class\":\"tag-list\",\"column_breakpoint\":\"m\",\"content\":\"Kategorien\",\"image_align\":\"left\",\"image_svg_color\":\"emphasis\",\"image_vertical_align\":true,\"list_element\":\"ul\",\"list_horizontal_separator\":\"\",\"list_type\":\"horizontal\",\"margin\":\"small\",\"maxwidth\":\"medium\",\"maxwidth_breakpoint\":\"l\",\"show_image\":true,\"show_link\":true},\"children\":[{\"type\":\"list_item\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\",\"field\":{\"name\":\"blog_kategories\",\"directives\":[{\"name\":\"slice\",\"arguments\":{\"offset\":0}}]}},\"props\":{\"content\":{\"filters\":{\"search\":\"\"},\"name\":\"name\"},\"link\":{\"filters\":{\"search\":\"\"},\"name\":\"link\"}}}}]}]}]}],\"name\":\"Blog V8 - 10\\\/25\",\"source\":{\"query\":{\"name\":\"blogs.singleBlog\"}}}],\"version\":\"4.5.28\",\"yooessentialsVersion\":\"2.4.7\"} --><\/p>\n","protected":false},"featured_media":11912,"template":"","blog-kategorie":[56,57],"class_list":["post-12222","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-kategorie-deep-dive","blog-kategorie-data-engineering"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12222","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"version-history":[{"count":0,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog\/12222\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media\/11912"}],"wp:attachment":[{"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/media?parent=12222"}],"wp:term":[{"taxonomy":"blog-kategorie","embeddable":true,"href":"https:\/\/www.hopmann.com\/de\/wp-json\/wp\/v2\/blog-kategorie?post=12222"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}