[AWS/SAA-C02] 시험대비 13일차 + 데이터 분석 서비스

2022.11.15

SAA-C02 시험대비 공부 13일차

 

 

출처

  ① AWS 바로 시작하기(사내인터넷강의)

  ② AWS Certified Solutions Architect - Associate 자격증 준비하기(인프런인터넷강의)

  ③ AWS 공인 솔루션스 아키텍트 스터디 가이드(직접구매)

 

 

Redshift

  ① 관리형 데이터 웨어하우스 서비스

  ② S3, RDS, DynamoDB, EC2 등 다양한 데이터소스에서 Redshift로 데이터를 로드

  ③ BI도구, SQL 클라이언트 및 기타 분석 응용 프로그램을 통해 데이터에 엑세스할 수 있음

  ④ PostgreSQL을 기반으로 하지만 RDS와는 별개로 존재

  ※ 데이터 웨어하우스: 의사 결정을 위한 정보의 집합. 여러 소스로부터 얻은 구조화되거나 반 구조화된 대량의 데이터를 중앙 집중화 및 통합하여 데이터 웨어하우스의 분석기능을 통해 데이터에서 비즈니스 통찰력을 도출하여 의사결정에 도움을 줌

  ※ BI: 비즈니스 인텔리전스도구. Amazon QuickSight 등

 

 

Athena

  ① SQL을 이용해 S3에 저장된 로그 데이터를 검색

  ② CloudWatch Logs에 비해 원하는 포맷으로 결과값을 조회할 수 있음

  ③ CSV, JSON, ORC, Avro, Parquet 등의 데이터 포맷을 지원함

  ④ Amazon QuickSight와 통합하여 데이터를 시각화 할 수 있음

 

 

Amazon OpenSearch Service

  ① ElasticSearchService에서 파생된 오픈소스 분산검색 및 분석 제품

  ② 로그분석, 실시간 모니터링 및 웹사이트 검색 등을 수행

  ③ 다양한 데이터소스에서 스트리밍 데이터를 Amazon OpenSearch Service 도메인으로 로드

 

 

AWS QuickSight

  ① Cloud기반의 BI도구

  ② 대시보드, 그래프 등의 시각화를 통한 데이터 분석을 통해 의사결정을 도와주는 서비스

  ③ 다양한 데이터소스와 연결가능

 

 

AWS Glue

  ① 데이터 분석을 위한 ETL 서비스

  ② 다양한 데이터소스에서 데이터 검색 및 추출, 데이터 정리, 정규화, DB 및 데이터 웨어하우스에 데이터 로드 등의 작업을 함

  ※ ETL: Extract, Transform, Load. 추출, 변환, 로드

 

 

Amazon EMR(Elastic MapReduce)

  ① Cloud 빅데이터 플랫폼

  ② Hadoop 클러스터를 손쉽게 생성해주는 서비스

  ③ Apache Spark, Apache Hive 등의 오픈소스 프레임워크를 사용

  ④ 데이터 처리를 위한 EMR 클러스터(수십~수백대의 EC2 Instance)를 자동으로 구성하고 AutoScailing 기능을 지원

  ※ MapReduce: 분산 병렬처리 컴퓨팅 모델의 이름