Hadoop을 활용한 프로그램에는 배치 프로그램이 적합하다고 한다.
배치 프로그램이란?
Batch Program
사용자와의 상호 작용 없이 여러 작업들을 미리 정해진 일련의 순서에 따라 일괄적으로 처리하는 것
배치 프로그램(Batch Program)이 갖추어야 하는 필수 요소
1. 대용량 데이터
대량의 데이터를 가져오거나, 전달하거나, 계산하는 등의 처리가 가능해야 한다.
2. 자동화
심각한 오류가 발생하는 상황을 제외하고는 사용자의 개입 없이 수행되어야 한다.
3. 견고성
잘못된 데이터나 데이터 중복 등의 상황으로 중단되는 일 없이 수행되어야 한다.
4. 안정성/신뢰성
오류가 발생하면 오류의 발생 위치, 시간 등을 추적할 수 있어야 한다.
5. 성능
다른 응용 프로그램의 수행을 방해하지 않아야 하고, 지정된 시간 내에 처리가 완료되어야 한다.
'기타 > 빅데이터 - Hadoop' 카테고리의 다른 글
Linux/Ubuntu # Language Support를 install하던 중 만난 에러 (0) | 2021.09.03 |
---|---|
Linux(Ubuntu) # 파일 Windows 바탕화면에 옮기는 방법 (0) | 2021.09.02 |
Linux에서 Windows 바탕화면으로 파일 쉽게 옮기는 방법? WinSCP! (4) | 2021.08.27 |
Hadoop # ant실행 후 Driver파일에 cannot find symbol 에러가 떴을 경우 (0) | 2021.08.26 |
Hadoop # org.apache.hadoop.hdfs.server.namenode.SafeModeException (0) | 2021.08.26 |