AWS7 [실습] AWS DMS로 데이터 수집 6장을 실습한 내용입니다. 이번 글에서는 이론 요약이 아닌 실습 파트를 따라 해 보려고 합니다! 8장 실습을 진행하려고 했는데 이를 위해서는 앞 장과 이어지기 때문에 6장부터의 실습부터 블로깅합니다. 지난 6장에서는 을 학습했습니다. 따라서 이 장에서는 AWS DMS를 사용하여 데이터베이스에서 데이터를 수집한 다음, Amazon Kinesis를 사용하여 스트리밍 데이터를 수집하는 방법을 실습합니다. 단계별로 차근차근 해 봅시다! 1. AWS DMS로 데이터 수집 ① 새 MySQL 데이터베이스 인스턴스 생성 첫 번째 단계에서는 프리 티어 적격 데이터베이스 인스턴스에 대한 기본 간편 생성 설정을 사용하여 새 MySQL 데이터베이스를 생성합니다. AWS Management Console(https://cons.. 2023. 3. 1. [AWS 데이터엔지니어링] 5장 데이터 엔지니어링 파이프라인 설계 5장을 번역 및 요약한 내용입니다. 책의 4장까지 해서 섹션 1이 끝났습니다! 지금까지 학습한 데이터 엔지니어링 원칙, 핵심 개념, 사용 가능한 AWS 도구를 사용하여 데이터 파이프라인의 형태로 결합할 수 있습니다. 데이터 파이프라인이란, 여러 소스로부터 데이터를 얻고 변환하는 프로세스입니다. 데이터 엔지니어링 역할의 중요한 기능은 이러한 파이프라인을 설계하는 것입니다. 1. 데이터 파이프라인 아키텍처 접근 아키텍처에 들어갈 개별 구성 요소의 세부 정보를 살펴보기 전에 우리가 하려는 작업을 넓은 시각에서 살펴보는 것이 좋습니다. ① 주택 설계 및 파이프라인 설계 새 집을 짓는다면 건축가는 건물이 들어갈 땅과 건물의 설계에 대한 대략적인 계획을 세우는 것부터 시작합니다. 데이터 파이프라인을 위한 아키텍처를.. 2023. 2. 7. [AWS 데이터엔지니어링] 3장 데이터 엔지니어 도구 키트 3장을 번역 및 요약한 내용입니다. 2006년, Amazon은 Amazon Web Services(AWS)를 시작하여 인터넷을 통해 IT 리소스를 주문형으로 제공하는 클라우드 컴퓨팅 산업을 탄생시켰습니다. 그 이후로 AWS는 놀라운 속도로 혁신하여 광범위한 IT 서비스에서 심층적인 기능을 제공하는 새로운 서비스와 기능을 지속적으로 출시했습니다. 현재 AWS는 데이터 엔지니어가 복잡한 데이터 분석 파이프라인을 구축하는 데 사용할 수 있는 다양한 분석 서비스를 포함하여 약 200가지의 다양한 서비스를 제공합니다. 이 장에서는 AWS에서 빅 데이터 솔루션을 구축하는 데 일반적으로 사용되는 여러 가지 AWS 관리형 서비스를 소개합니다. 1. 데이터 수집을 위한 AWS 서비스 빅 데이터 분석 솔루션을 구축하는 첫.. 2023. 1. 25. 이전 1 2 다음
