[13장] 인공 지능 및 머신 러닝 활성화

<Data Engineering with AWS> 13장 '인공 지능 및 머신 러닝 활성화'를 번역 및 요약한 내용입니다.

---

이번 주에 학습한 13장에서는 인공 지능(AI)과 ML이 조직에 중요한 이유와 여러 AI용 AWS 서비스 및  ML용 AWS 서비스를 알아보고 이러한 서비스가 다양한 유형의 데이터를 사용하는 방법을 검토하고 있습니다.

 

이론적인 부분은 간단히 요약해서 넘어가고, AWS 서비스를 사용한 간단한 실습을 진행해 보겠습니다.

 

1. 조직을 위한 ML 및 AI의 가치 이해

대규모 조직전문 산업은 고급 ML 기술을 사용하여 최첨단 ML 발전을 개발합니다. 이러한 기술의 몇 가지 예를 살펴보겠습니다.

• 의료 임상 지원 결정 플랫폼 : 중앙 집중식 운영 센터, Cerner 기계 학습 생태계 플랫폼(Amazon SageMaker)
• 질병의 조기 발견 : 딥러닝 모델의 폐암 탐지
• 스포츠 선수를 더 안전하게 만들기 : National Football League (NFL)의 부상 이벤트 및 충돌 감지 딥러닝 모델(Amazon SageMaker) 

ML과 AI가 다양한 비즈니스 부문에서도 널리 사용되고 있습니다. 예를 살펴볼까요?

• 예측 : 재무 예측(예: 판매 및 이익 마진), 사람 예측(예: 직원 이직률 및 특정 교대조에 필요한 직원 수) 및 재고 예측(예: 판매할 단위 수, 다음 달에 제조해야 하는 단위 등). 
• 개인화 : 특정 사용자를 위한 커뮤니케이션 및 콘텐츠 맞춤화(예: Netflix)
• 자연어 처리(NLP) :  인간의 언어를 분석하고 텍스트에서 자동화된 통찰력과 컨텍스트를 도출하는 데 사용되는 AI/ML(예: Amazon의 Alexa 가상 비서)
• 이미지 인식 : 모델에서 이미지를 분석하여 그 안에 있는 개체를 인식 

 

2. ML용 AWS 서비스

위 다이어그램에서 AWS가 각 범주(인공 지능 서비스, 기계 학습 서비스, 기계 학습 프레임워크 및 인프라)에서 제공하는 서비스의 하위 집합을 볼 수 있습니다.

 

기계 학습 프레임워크 및 인프라 계층에서 Amazon SageMaker를 사용하면 기본 인프라를 관리할 필요 없이 ML 모델을 준비, 구축, 훈련, 조정, 배포 및 관리할 수 있습니다. SageMaker는 데이터 과학자와 일반 개발자 모두를 위해 ML 모델을 구축하는 각 단계를 단순화하도록 설계되었습니다.

 

SageMaker에는 ML 모델 구축의 각 단계를 지원하는 몇 가지 기본 도구가 포함되어 있습니다. 간단히 표로 정리해 보았습니다.

 

단계	도구	설명
Prepare(준비)	Ground Truth	ML 및/또는 인간 큐레이터를 모두 사용하여 데이터에 레이블을 지정하는 서비스
	Data Wrangler	데이터 과학자가 ML용 원시 데이터를 준비하는 데 사용할 수 있는 시각적 데이터 준비 도구
	Clarify	데이터 세트에서 지정된 속성을 검사하고 고급 알고리즘을 사용하여 잠재적 편향의 존재를 강조
Build(구축)	Studio Notebook	EC2 인스턴스 유형으로 지원되는 새 노트북을 빠르게 시작 가능. 사용자가 노트북을 쉽게 공유할 수 있도록 하여 팀의 데이터 과학자 간에 공동 작업 가능.
	Autopilot	ML 경험이 없는 경우 데이터를 기반으로 여러 가지 ML 모델을 자동으로 구축, 훈련 및 조정
	JumpStart	미리 선택된 여러 엔드 투 엔드 솔루션, ML 모델 및 기타 리소스를 제공
Train&Tune(훈련&튜닝)	Experiments	입력, 매개변수 및 구성과 같은 항목을 자동으로 추적하고 각 실험의 결과를 저장. 가장 적합한 조합을 식별하는 데 필요한 오버헤드와 시간을 줄임.
Deploy&Manage(배포&관리)	Model Monitor	ML 모델의 품질을 지속적으로 모니터링하고 모델 품질에 편차가 있는 경우 알림을 보냄. 데이터 품질, 모델 품질 및 바이어스 드리프트와 같은 항목의 문제를 감지.

 

3. AI용 AWS 서비스

AWS에는 다양한 AI 서비스가 있습니다. 한 언어에서 다른 언어로 번역해야 할 때 SageMaker를 사용해서 모델을 만들고 사용하면 시간과 비용이 많이 듭니다. 하지만 Amazon Translate를 사용하면 훨씬 빠르고 저렴합니다. 이 서비스는 한 언어로 텍스트를 전달하고 대상 언어로 번역을 받을 수 있는 간단한 API를 제공하고, 지속적인 컴퓨팅 비용이나 약속은 없습니다. 오직 문자당 약간의 번역 비용(현재 문자당 $0.000015)만 발생합니다.

 

이것 외에도 AI 서비스가 어떤 것들이 있는지 알아볼까요?

 

3-1. 구조화되지 않은 음성 및 텍스트를 위한 AI

① 음성을 텍스트로 변환하기 위한 Amazon Transcribe

딥 러닝 프로세스인 자동 음성 인식(ASR)을 사용하여 전사본에서 서로 다른 화자를 식별하는 기능을 포함하여 오디오 파일에서 매우 정확한 전사를 가능하게 합니다. 

특정 유형의 오디오를 대상으로 하는 기능도 포함되어 있습니다. 예를 들어, Amazon Transcribe Medical은 의학 용어(예: 약 이름, 질병 및 상태)를 식별하기 위해 특별히 훈련된 ML 모델을 사용합니다.

 

② 문서에서 텍스트를 추출하기 위한 Amazon Textract

PDF나 이미지 파일과 같은 비정형 문서에서 자동으로 텍스트를 추출하여 반정형 파일을 생성할 수 있습니다. 필기 메모와 같은 다양한 유형의 문서와 잘 작동하도록 설계되었습니다.

 

③ 텍스트에서 인사이트를 추출하기 위한 Amazon Comprehend

고급 ML 모델을 사용하여 텍스트 문서에서 정서, 주제, 장소 이름 등의 추가 인사이트를 생성하는 AI 서비스입니다. Comprehend를 사용하면 분석을 위해 1~25개의 문서를 단일 API 호출로 전달하는 실시간에 가까운 파이프라인을 구축하거나 S3 버킷의 모든 문서를 분석하도록 Comprehend를 구성하는 배치 파이프라인을 구축할 수 있습니다.

API를 호출하거나 비동기 배치 작업을 실행할 때 결과에 원하는 이해 유형을 지정합니다. 예를 들어, 텍스트를 분석하여 지배적인 언어, 엔티티(예: 위치, 사람 및 회사), 주요 구문, PII 데이터, 정서 또는 주제를 탐지하도록 할 수 있습니다.

 

사용 사례로 이해해 보자면, 소셜 미디어 게시물을 분석하여 게시물에서 어떤 조직이 참조되고 있는지, 리뷰의 감정이 무엇인지 식별해 줍니다.

 

"I went to Jack's Cafe last Monday, and the pancakes were amazing! You should try this place, it's new in downtown Westwood. Our server, Regina, was amazing."

Amazon Comprehend는 이 텍스트를 분석할 때 다음 통찰력을 반환합니다.

• 탐지된 개체:
  • Jack's café, Organization, 93% confidence
  • Westwood, Location, 71% confidence
  • Regina, Person, 99% confidence
  • last Monday, Date, 94% confidence
• 감정:
  • Positive, 99% confidence

 

이 결과에서 보듯이 Comprehend는 개체와 감정을 정확하게 감지할 수 있습니다! 다음 글에서는 이 Amazon Comprehend를 사용하여 온라인 리뷰에서 고객 감정을 결정하는 실습을 통해 Amazon Comprehend의 작동 방식을 직접 체험해 볼 것입니다.

 

3-2. 이미지 및 비디오에서 메타데이터를 추출하는 AI

Amazon Rekognition

사전 훈련된 ML 모델의 힘을 사용하여 이미지와 비디오에서 메타데이터를 추출하여 사용자가 이 비정형 콘텐츠에서 풍부한 인사이트를 얻을 수 있도록 합니다. 이와 같은 새로운 AI 서비스를 통해 공급업체는 ML 모델을 구축하고 교육하는 힘든 작업을 수행하고, 사용자는 간단한 API를 사용하여 이미지에서 메타데이터를 자동으로 추출할 수 있습니다.

또한 Amazon Rekognition Video를 통해 사용자는 비디오 파일에서도 인사이트를 얻을 수 있습니다. 분석을 위해 비디오 파일을 전달하면 반환되는 결과에는 개체가 탐지된 위치의 타임스탬프가 포함되어 식별된 개체의 인덱스를 만들 수 있습니다.

 

3-3. ML 기반 예측을 위한 AI

Amazon Forecast

여러 데이터 세트 간의 복잡한 관계를 기반으로 미래 시계열 데이터를 예측하는 강력한 AI 서비스입니다. 개발자는 예측을 사용하여 ML 전문 지식 없이 맞춤형 예측 ML 모델을 교육하고 구축할 수 있습니다.
사용자 정의 모델을 교육하기 위해 사용자는 예측하려는 속성에 대한 과거 데이터(예: 지난 12개월 동안 각 상점의 일일 매출)를 제공합니다. 기본 데이터 세트에 지리 위치 데이터(예: 상점 위치 식별) 및 시간대 데이터도 포함된 경우 Amazon Forecast는 날씨 정보를 자동으로 사용하여 예측 정확도를 더욱 향상시킬 수 있습니다.

 

3-4. 사기 탐지 및 개인화를 위한 AI

① Amazon Fraud Detector

조직이 잠재적인 부정 거래 및 가짜 계정 등록을 탐지할 수 있도록 지원하는 AI 서비스입니다. Fraud Detector를 사용하여 사기 트랜잭션에 대한 기록 데이터를 업로드할 수 있습니다. 그런 다음 Amazon 및 AWS의 부정 행위 데이터로 훈련된 모델에 이를 추가하여 부정 행위 탐지를 최적화합니다.

 

② Amazon Personalize

조직이 고객에게 개인화된 추천을 제공할 수 있도록 지원하는 AI 서비스입니다. 개발자는 Personalize를 사용하여 개인화된 제품 추천, 마케팅 이니셔티브 및 기타 ML 기반 개인 추천을 기존 고객 대면 시스템에 쉽게 통합할 수 있습니다.
Personalize를 사용하면 개발자는 사용자로부터 라이브 이벤트(예: 웹 사이트 클릭 스트림에서 추출된 데이터)를 캡처하고 이를 과거 사용자 프로필 정보와 결합하여 사용자에게 가장 관련성이 높은 항목을 추천하는 시스템을 설계할 수 있습니다. 

 

 

---

이번 글에서는 여러 AWS ML 서비스와 AI 서비스를 알아보았습니다. 다음 글에서는 AI 서비스 중 하나인 Amazon Comprehend를 직접 사용해 보겠습니다!