본문 바로가기
  • This is Russell - the most handsome and the smartest.

EMR2

EMR - 오토스케일링 EMR 이란? Elastic MapReduce 에서 따온 이름으로, 유동적으로 쉽게 컴퓨터(노드), 클러스터를 가감할 수 있다. 빅데이터 프로젝트를 쉽게 구축하여 바로 사용할 수 있다. EMR 기본 설명 및 생성 방법 EMR ? - Elastic MapReduce 의 줄임 - AWS 에서 제공하는, 빅데이터 플랫폼 구축 및 운영에 최적화 된 클라우드 서비스 - 아파치의 스파크, 하이브, 프레스토, 그리고 이외의 빅데이터 플랫폼들을 실행 및 dandelion.tistory.com AWS EMR 노드 개념 설명 노드 유형 이해: 마스터, 코어 및 작업 노드 - Amazon EMR Amazon EMR 5.23.0 이상에서는 3개의 마스터 노드로 클러스터를 시작하여 YARN Resource Manager, HD.. 2022. 1. 20.
EMR 기본 설명 및 생성 방법 EMR ? - Elastic MapReduce 의 줄임 - AWS 에서 제공하는, 빅데이터 플랫폼 구축 및 운영에 최적화 된 클라우드 서비스 - 아파치의 스파크, 하이브, 프레스토, 그리고 이외의 빅데이터 플랫폼들을 실행 및 관리하기 위한 서비스 사용 사례 - 빅데이터 분석 수행 - 확장 가능한 데이터 파이프라인 구축 - 실시간 데이터 스트림 처리 - 데이터 과학 및 기계 학습 채택 가속화 내가 이해한 것, 빅데이터가 떠오르면서 많이 들어본 프로젝트들의 일부의 이름을 나열하자면 다음과 같다. -Apache Spark, Apache Hive, HDFS, MapReduce, Elastic Search, Sqoop, Kafka ... 각각의 개념과 어떤 일을 하는지 설명하기엔 너무 길고, 간단히 이야기 하자면.. 2022. 1. 19.

티스토리툴바