상태머신
-
[실습] AWS Step Function을 사용하여 데이터 파이프라인 오케스트레이션AWS 2023. 3. 14. 13:00
10장을 실습 및 번역 요약한 내용입니다. 책의 10장에서는 '데이터 파이프라인 오케스트레이션'의 개념과 네 가지 옵션들을 학습했습니다. 그래서 이번 장의 실습 내용은 데이터 파이프라인을 오케스트레이션하는 데 사용할 수 있는 AWS Step Function 서비스를 직접 사용해 보는 것입니다. 실습해 볼 오케스트레이션할 파이프라인은 상대적으로 간단합니다. 그래서 Lambda 함수만 사용하여 데이터를 처리합니다. 1. 새 Lambda 함수 생성 먼저 오케스트레이션할 Lambda 함수를 생성해야 합니다. ① Lambda 함수를 사용하여 파일 확장자 결정 첫번째 Lambda 함수는 Amazon S3 버킷에 업로드된 모든 파일의 확장자를 확인한 다음, 상태 시스템으로 반환합니다. AWS Management Co..