MJ's Data Record MJ's Data Record

조 라이스, 맷 하우슬리 저자  의 CHAPTER 9.1~9.4를 참고, 요약정리하여 작성한 글입니다.책의 9장에서는 드디어 데이터 엔지니어링 수명 주기의 마지막 단계인 다운스트림 사용 사례에 대한 데이터 서빙(제공)을 다루고 있습니다. 데이터 엔지니어로서 접하게 될 아래 3가지 주요 사용 사례의 데이터를 서빙하는 다양한 방법을 설명합니다.분석 및 BI용 데이터를 제공한다.ML 애플리케이션의 데이터를 제공한다.역 ETL을 통해 데이터를 제공한다.이번 글에서는 데이터 서빙에 관한 기초 고려 사항, 분석을 위해 데이터를 제공하는 방법, ML 분야 관련 사항에 대해 정리해보도록 하겠습니다. 9.1 데이터 서빙의 일반적인 고려 사항9.1.1 신뢰신뢰는 데이터 제공에 있어 가장 우선시해야 하고 중요한 고려 사항입..

조 라이스, 맷 하우슬리 저자  의 CHAPTER 6.1~6.2을 참고, 요약정리하여 작성한 글입니다. 견고한 데이터 엔지니어링 | 조 라이스 - 교보문고견고한 데이터 엔지니어링 | 실용적인 데이터 엔지니어링의 세계로 이끄는 최고의 안내서! 고객 요구 사항에 맞는 시스템을 계획하고 구축하는 방법데이터 엔지니어링 분야가 빠르게 성장하면product.kyobobook.co.kr  이번 글에서 살펴볼 '데이터 저장(=스토리지)'은 데이터 엔지니어링 수명 주기의 토대로서 주요 단계인 수집, 변환 및 서빙의 기초가 됩니다.  스토리지를 이해하기 위해서는 HDD, SSD를 포함한 기본 구성 요소와 스토리지 시스템을 조립하는 캐싱, 하둡 분산 파일 시스템과 같은 스토리지 시스템, 데이터 레이크와 같은 스토리지 추상화..

조 라이스, 맷 하우슬리 저자 의 CHAPTER 2.2.1~2.2.3을 참고하여 요약정리하여 작성한 글입니다. 견고한 데이터 엔지니어링 | 조 라이스 - 교보문고견고한 데이터 엔지니어링 | 실용적인 데이터 엔지니어링의 세계로 이끄는 최고의 안내서! 고객 요구 사항에 맞는 시스템을 계획하고 구축하는 방법데이터 엔지니어링 분야가 빠르게 성장하면product.kyobobook.co.kr 데이터 엔지니어링 수명 주기의 드러나지 않는 주요 요소데이터 엔지니어링이 빠르게 발전하면서, 이제 데이터 관리 및 비용 최적화와 같은 전통적인 엔터프라이즈 관행과 데이터옵스와 같은 새로운 관행을 통합해 가치 사슬을 위쪽으로 끌어올리고 있습니다. 아래 표의 7가지 관행들을 드러나지 않는 요소(undercurrent)라 부르는데,..