EMR - 오토스케일링

EMR 이란?

Elastic MapReduce 에서 따온 이름으로, 유동적으로 쉽게 컴퓨터(노드), 클러스터를 가감할 수 있다.
빅데이터 프로젝트를 쉽게 구축하여 바로 사용할 수 있다.

EMR 기본 설명 및 생성 방법

AWS EMR 노드 개념 설명

노드 유형 이해: 마스터, 코어 및 작업 노드 - Amazon EMR

EMR Auto Scaling Rule 적용 방법

0. Update concurrency configuration

EMR auto scaling rule 을 적용하기 위해선 먼저, 해당 emr 이 동시성으로 병렬로 진행이 가능하게끔 해야한다.

1. AWS EMR 콘솔창으로 이동

2. 수정하고자 하는 클러스터 선택

3. 디테일 창에서 "Steps" 탭 선택

4. "Change" 클릭

 

5. 동시적으로 병렬로 진행 가능하게 할 노드의 최대 수 입력

6. 저장 (초록색 체크 아이콘)

1. Set up Cluster Scaling Policy

Core 노드 기준으로 서술하였습니다. Task 노드 설정도 내용은 같습니다.

1. AWS EMR Hardware 탭 선택

2. 오른쪽 하단, Cluster Scaling Policy 우측에 Edit 버튼 클릭

3. 체크박스 "Enable Cluster Scaling" 선택 및 "Create a custom automatic scaling policy" 선택 후 "Save" 버튼 클릭

4. 수정할 노드의 우측에 연필 아이콘 클릭

5. Minimum Instances 와 Maximum instances 의 수를 설정함 ( Maximum instances 는 위의 0번에서 설정한 값과 같거나 작아야 한다)

- 추가할 수 있는 규칙들의 종류

- Scale out: 인스턴스가 추가되는 규칙

• Rule Name - 규칙 이름
• Add 1 instances - 인스턴스를 추가한다
• if - 조건문에 들어가는 비교 대상, Task node 의 경우, "YARNMemoryAvailablePercentage"
• is - 조건문
• for - 조건문이 ~하는 동안 / e.g. 조건문이 3분동안 참이면 노드 하나를 추가한다
• Cooldown Period
• 인스턴스 그룹에 대한 사용자 지정 정책과 자동 조정 사용 - Amazon EMR 

- Scale in: 인스턴스가 차감되는 규칙

6. 최종적으로 Modify 버튼을 눌러 저장 후,  Status 가 ATTACHED 로 뜨면 정상적으로 등록된 것이다.

아마존이 추천하는 EMR Best Practices

1. Use of Partitioning and Bucketing.
2. Avoiding a SELECT * while querying and using specific partitions to query.
3. Using compression codecs while writing data.
4. Using suitable File formats in Hive.
5. Using Cost Based optimisation in Hive.
6. With Amazon EMR release version 5.18.0 and later, you can use S3 Select with Hive on Amazon EMR. It allows applications to retrieve only a subset of data from an object.