데이터 분석가 도전기 데이터 분석가 도전기

14장을 정리한 내용입니다. 지금까지 책의 몇 가지 실습을 진행해 보았습니다. AWS의 몇 가지 서비스들은 비용이 청구되기 때문에 실습이 끝나면 계정을 삭제하는 것이 좋습니다. 먼저 청구 중인 리소스를 확인하는 것부터 시작해 보겠습니다. 1. 요금이 청구되는 리소스를 식별하기 위해 AWS Billing 검토 먼저, 요금이 청구되는 리소스를 확인하기 위해 AWS 결제 콘솔을 검토하는 방법을 살펴보겠습니다. https://console.aws.amazon.com/billing/home 링크를 사용하여 AWS 결제 콘솔에 로그인합니다. 청구 및 비용 관리 대시보드 페이지 의 오른쪽에는 서비스별 월간 지출을 보여주는 시각적 개체가 있습니다. 지금까지 약 490원이 지출되었고 한 달 전체에 대한 예측이 565원인..

13장 '인공 지능 및 머신 러닝 활성화'를 실습한 내용입니다. 지난 글에서는 여러 AI용 AWS 서비스 및 ML용 AWS 서비스를 알아보았습니다. 이번에는 AI 서비스 중 하나인 Amazon Comprehand를 직접 사용해 보는 실습을 진행하려고 합니다! 0. 실습 목적 대형 호텔 체인에서 근무하며 웹 사이트에 게시된 부정적인 리뷰를 식별하는 프로세스를 개발하는 임무를 맡았다고 상상해 봅시다. 매일 수백 건의 리뷰가 달릴 텐데, 새로운 리뷰가 게시될 때마다 하나하나 읽도록 하는 것은 시간이 많이 걸리겠죠? 저희는 Amazon Comprehend라는 서비스를 사용해서 작은 개념 증명(PoC) 테스트를 개발해 볼 것입니다. PoC가 성공적이라면, 게시된 리뷰를 Amazon Comprehend에 불러와 리..

13장 '인공 지능 및 머신 러닝 활성화'를 번역 및 요약한 내용입니다. 이번 주에 학습한 13장에서는 인공 지능(AI)과 ML이 조직에 중요한 이유와 여러 AI용 AWS 서비스 및 ML용 AWS 서비스를 알아보고 이러한 서비스가 다양한 유형의 데이터를 사용하는 방법을 검토하고 있습니다. 이론적인 부분은 간단히 요약해서 넘어가고, AWS 서비스를 사용한 간단한 실습을 진행해 보겠습니다. 1. 조직을 위한 ML 및 AI의 가치 이해 대규모 조직전문 산업은 고급 ML 기술을 사용하여 최첨단 ML 발전을 개발합니다. 이러한 기술의 몇 가지 예를 살펴보겠습니다. 의료 임상 지원 결정 플랫폼 : 중앙 집중식 운영 센터, Cerner 기계 학습 생태계 플랫폼(Amazon SageMaker) 질병의 조기 발견 : 딥..

10장을 실습 및 번역 요약한 내용입니다. 책의 10장에서는 '데이터 파이프라인 오케스트레이션'의 개념과 네 가지 옵션들을 학습했습니다. 그래서 이번 장의 실습 내용은 데이터 파이프라인을 오케스트레이션하는 데 사용할 수 있는 AWS Step Function 서비스를 직접 사용해 보는 것입니다. 실습해 볼 오케스트레이션할 파이프라인은 상대적으로 간단합니다. 그래서 Lambda 함수만 사용하여 데이터를 처리합니다. 1. 새 Lambda 함수 생성 먼저 오케스트레이션할 Lambda 함수를 생성해야 합니다. ① Lambda 함수를 사용하여 파일 확장자 결정 첫번째 Lambda 함수는 Amazon S3 버킷에 업로드된 모든 파일의 확장자를 확인한 다음, 상태 시스템으로 반환합니다. AWS Management Co..

6장을 실습한 내용입니다. 이번 글에서는 이론 요약이 아닌 실습 파트를 따라 해 보려고 합니다! 8장 실습을 진행하려고 했는데 이를 위해서는 앞 장과 이어지기 때문에 6장부터의 실습부터 블로깅합니다. 지난 6장에서는 을 학습했습니다. 따라서 이 장에서는 AWS DMS를 사용하여 데이터베이스에서 데이터를 수집한 다음, Amazon Kinesis를 사용하여 스트리밍 데이터를 수집하는 방법을 실습합니다. 단계별로 차근차근 해 봅시다! 1. AWS DMS로 데이터 수집 ① 새 MySQL 데이터베이스 인스턴스 생성 첫 번째 단계에서는 프리 티어 적격 데이터베이스 인스턴스에 대한 기본 간편 생성 설정을 사용하여 새 MySQL 데이터베이스를 생성합니다. AWS Management Console(https://cons..

5장을 번역 및 요약한 내용입니다. 책의 4장까지 해서 섹션 1이 끝났습니다! 지금까지 학습한 데이터 엔지니어링 원칙, 핵심 개념, 사용 가능한 AWS 도구를 사용하여 데이터 파이프라인의 형태로 결합할 수 있습니다. 데이터 파이프라인이란, 여러 소스로부터 데이터를 얻고 변환하는 프로세스입니다. 데이터 엔지니어링 역할의 중요한 기능은 이러한 파이프라인을 설계하는 것입니다. 1. 데이터 파이프라인 아키텍처 접근 아키텍처에 들어갈 개별 구성 요소의 세부 정보를 살펴보기 전에 우리가 하려는 작업을 넓은 시각에서 살펴보는 것이 좋습니다. ① 주택 설계 및 파이프라인 설계 새 집을 짓는다면 건축가는 건물이 들어갈 땅과 건물의 설계에 대한 대략적인 계획을 세우는 것부터 시작합니다. 데이터 파이프라인을 위한 아키텍처를..

3장을 번역 및 요약한 내용입니다. 2006년, Amazon은 Amazon Web Services(AWS)를 시작하여 인터넷을 통해 IT 리소스를 주문형으로 제공하는 클라우드 컴퓨팅 산업을 탄생시켰습니다. 그 이후로 AWS는 놀라운 속도로 혁신하여 광범위한 IT 서비스에서 심층적인 기능을 제공하는 새로운 서비스와 기능을 지속적으로 출시했습니다. 현재 AWS는 데이터 엔지니어가 복잡한 데이터 분석 파이프라인을 구축하는 데 사용할 수 있는 다양한 분석 서비스를 포함하여 약 200가지의 다양한 서비스를 제공합니다. 이 장에서는 AWS에서 빅 데이터 솔루션을 구축하는 데 일반적으로 사용되는 여러 가지 AWS 관리형 서비스를 소개합니다. 1. 데이터 수집을 위한 AWS 서비스 빅 데이터 분석 솔루션을 구축하는 첫..