기타/빅데이터 - Hadoop

Hadoop은 배치 프로그램(일괄처리)에 적합하다.

둥굴둥굴둥굴레차 2021. 8. 30. 10:35

Hadoop을 활용한 프로그램에는 배치 프로그램이 적합하다고 한다.

 

 

배치 프로그램이란?

Batch Program

사용자와의 상호 작용 없이 여러 작업들을 미리 정해진 일련의 순서에 따라 일괄적으로 처리하는 것

 

 

 

배치 프로그램(Batch Program)이 갖추어야 하는 필수 요소

 

1. 대용량 데이터

대량의 데이터를 가져오거나, 전달하거나, 계산하는 등의 처리가 가능해야 한다.

 

2. 자동화

심각한 오류가 발생하는 상황을 제외하고는 사용자의 개입 없이 수행되어야 한다.

 

3. 견고성

잘못된 데이터나 데이터 중복 등의 상황으로 중단되는 일 없이 수행되어야 한다.

 

4. 안정성/신뢰성

오류가 발생하면 오류의 발생 위치, 시간 등을 추적할 수 있어야 한다.

 

5. 성능

다른 응용 프로그램의 수행을 방해하지 않아야 하고, 지정된 시간 내에 처리가 완료되어야 한다.