데이터파이프라인1 [AWS 데이터엔지니어링] 5장 데이터 엔지니어링 파이프라인 설계 5장을 번역 및 요약한 내용입니다. 책의 4장까지 해서 섹션 1이 끝났습니다! 지금까지 학습한 데이터 엔지니어링 원칙, 핵심 개념, 사용 가능한 AWS 도구를 사용하여 데이터 파이프라인의 형태로 결합할 수 있습니다. 데이터 파이프라인이란, 여러 소스로부터 데이터를 얻고 변환하는 프로세스입니다. 데이터 엔지니어링 역할의 중요한 기능은 이러한 파이프라인을 설계하는 것입니다. 1. 데이터 파이프라인 아키텍처 접근 아키텍처에 들어갈 개별 구성 요소의 세부 정보를 살펴보기 전에 우리가 하려는 작업을 넓은 시각에서 살펴보는 것이 좋습니다. ① 주택 설계 및 파이프라인 설계 새 집을 짓는다면 건축가는 건물이 들어갈 땅과 건물의 설계에 대한 대략적인 계획을 세우는 것부터 시작합니다. 데이터 파이프라인을 위한 아키텍처를.. 2023. 2. 7. 이전 1 다음
