engineering Featured AIP-39: Airflow 'schedule_interval'의 변신, 그리고 'execution_date'의 종말 Apache Top-level 프로젝트인 Apache Airflow (아파치 에어플로우)는 이제 많은 곳에서 사랑을 받고 있는 오픈소스 워크플로우 오케스트레이션 엔진이 되었습니다. 다른 오케스트레이션 엔진과는 다르게 파이썬으로 쉽게 코드를 작성할 수 있고, 작업 현황을 한눈에 확인할 수 있는 UI가 제공되기 때문에 많은 분들이 활용하고 계신데요, Airflow를 처음 접하시는 분들에게 가장 이해하기 어려운 개념
aws Featured 데이터 엔지니어가 바라본 2020 AWS 리인벤트(re:Invent) What's New - Week 1 (Part 1) 올해도 어김없이 최대 규모의 클라우드 컨퍼런스 중 하나인 AWS re:Invent [https://reinvent.awsevents.com/]의 시즌이 돌아왔습니다. 이전과는 다르게 올해는 코로나19라는 특수한 상황으로 인해 모두 온라인으로 진행되고, 3주에 나누어 AWS의 새로운 기능들을 소개하고 여러가지 기술 세션들을 진행하게 됩니다. 이 시즌에는 행사가 시작하기 몇 주 전부터 행사가 끝나고까지 무수히 많은