spark 클러스터1 AWS EMR을 활용한 Spark 클러스터 서버 구축 Spark에 대해 공부하던 도중 AWS의 EMR을 활용하여 Spark 클러스터 서버를 구축해보며, 이를 구축하는 방법에 대해 간단히 정리해보려 한다. EMR이란?먼저 EMR에 대해서 간단히 알아보자.빅 데이터 플랫폼 - Amazon EMR - Amazon Web Services AWS 공식 홈페이지에 따르면 EMR은 Elastic Map Reduce의 약자로 Spark, Hive, Presto등과 같은 오픈소스 빅 데이터 처리 프레임 워크를 사용할 수 있는 솔루션을 의미한다.또한 추가적 애플리케이션으로 HBase, Hadoop 등을 제공할 수 있다고한다.이를 통해 아래 사항들을 처리 가능하다.빅 데이터 분석확장 가능한 데이터 파이프라인 구축실시간 데이터 스트림 처리데이터 과학 및 기계학습 채택 가속화즉,.. 2024. 6. 24. 이전 1 다음
