Hadoop
Hadoop은 대규모 데이터를 처리하고 분석하기 위한 분산 컴퓨팅 프레임워크입니다. 아파치 소프트웨어 재단에서 개발되었으며, 오픈 소스로 제공됩니다. Hadoop은 빅데이터 처리를 위한 주요 도구들을 포함하고 있으며, 여러 대의 서버 또는 노드를 클러스터로 구성하여 데이터를 저장하고 처리할 수 있습니다.
Hadoop의 주요 구성 요소는 다음과 같습니다:
- Hadoop Distributed File System (HDFS): 대용량 데이터를 분산하여 저장하는 파일 시스템으로, 데이터를 여러 노드에 분산하여 저장하고 고가용성을 제공합니다.
- MapReduce: 데이터 처리를 위한 분산 프로그래밍 모델로, 대규모 데이터를 작은 작업으로 분할하여 병렬 처리를 수행합니다.
- YARN (Yet Another Resource Negotiator): 클러스터 자원을 관리하는 리소스 매니저로, 여러 어플리케이션을 동시에 실행하고 클러스터 자원을 효율적으로 활용할 수 있도록 합니다.
Hadoop은 대용량의 정형 또는 비정형 데이터를 처리하고, 데이터를 저장하고 분석하는 데 적합한 분산 컴퓨팅 플랫폼으로 널리 사용됩니다.
'⛅ Cloud Study > 📦️ Database' 카테고리의 다른 글
| MySQL/MSSQL/MongoDB/PostgreSQL/Redis/DMS (0) | 2023.07.23 |
|---|---|
| [코드잇 SQL 데이터베이스] 데이터베이스 모델링 (0) | 2021.08.15 |
| [코드잇 SQL 데이터베이스] SQL로 하는 데이터분석 (0) | 2021.08.12 |
| NoSQL vs SQL (MongoDB vs MySQL) (0) | 2021.05.21 |
