학술연구자

  • Home
  • 정규교육
  • 학술연구자
  • 클라우드 데이터 분석 시스템 구축 (AWS EMR을 활용한 EDA 실습)

클라우드 데이터 분석 시스템 구축
(AWS EMR을 활용한 EDA 실습)

  • #분석과정
  • #활용과정

클라우드 데이터 분석 시스템 구축
(AWS EMR을 활용한 EDA 실습)

클라우드 데이터 분석 시스템 구축
(AWS EMR을 활용한 EDA실습) 교육과정은?

약 400만건의 외부 데이터를 활용하여 AWS 클라우드 서비스 테이터 분석 및 엔지니어링에 대한 소개와
AWS를 활용한 전처리 및 EDA를 구축하는 방법에 대하여 실습합니다.

Q. AWS EMR 이란?

오픈 소스 도구를 사용하여 방대한 양의 데이터를 처리하기 위한 업계 최고의 클라우드 빅데이터 플랫폼입니다.

  • Apache Spark, Apache Hive,
    Apache HBase, Apache Flink,
    Apache Hudi 및 Presto와 같은
    오픈 소스 도구를 사용
  • 기존 온프레미스 솔루션의
    50%이상 비용 절감
    가능
  • 표준 Apache Spark 보다
    3배 이상 빠른 페타바이트
    규모의 분석 가능

Q. EDA(Exploratory Data Analysis, 탐색적 데이터 분석) 란?

모델링 작업에 앞서, 반드시 선행되어야 하는 과정으로 데이터의 분포나 변수간 관계를 파악하기 위해
히스토그램, 산점도, 상관관계표 등 다양한 시각화 방법이 동원됩니다.

이런 분께 추천드립니다.

  • 나의 쿼리는 문제없는데
    DB 성능이 문제라고 느끼는 분
  • 최근 IT 업계에서 많은 화제가 되고 있는
    클라우드에 대한 개념이 궁금하신 분
  • 실제 데이터를 이용하여
    AWS 빅데이터 분석 구축을
    경험하고 싶은 분

강사소개

이세환 강사

경력
- 백엔드
  • · 어플리케이션 서버/미들웨어/api 클라우드 서비스 시스템 설계,개발
  • · SPARK/scala 빅데이터 분석, 데이터레이크, 파이프라인 설계 및 구현
  • · Node.js/express, JAVA/Java EE 및 Spring framework/SpringBoot 주력
  • · C 및 C++ 서버 개발 및 유지보수
  • · RDMS(오라클/ SQLServer/ MariaDB), 메모리 DB 및 NoSQL(몽고 DB, redis) 활용 서비스 설계/개발/운영
- 프론트엔드
  • · Modern Web 기술 및 ES6/ Vue 개발
- 클라우드
  • · AWS 클라우드 서비스(EC2, RDS, EMR, LAMBDA, CloudFormation, ECS, lambda) 활용 설계/개발/운영
  • · AWS 한국 사용자모임 (AWSKRUG) 데이터사이언스 핸즈온 2018 강의(AWS EMR)
  • · AWS 한국 사용자모임 데이터사이언스 소모임 오거나이저( 2018.11~)

Day1

10:00 ~ 11:20 DW와 데이터분석기술 총론

11:30 ~ 13:00 AWS 서비스 소개

14:00 ~ 15:20 개발환경 구성

15:30 ~ 17:00 EMR 클러스터 실행 및 데이터 적재


Day2

10:00 ~ 11:20 Apache Spark 소개

11:30 ~ 13:00 EDA 실습 1

14:00 ~ 15:20 EDA 실습 2

15:30 ~ 17:00 데이터 ETL


BECOME A PARTNER?

데이터 분석 강의 또는 도서 집필을 계획 중이신가요?
‘빅데이터 러닝센터’에서는 당사와 교육 컨텐츠를 공동으로 개발할 수 있는 강의 파트너, 집필 파트너를 찾고 있습니다.

파트너 지원하기