현재 개발/운영 중인 플랫폼에서는 Spark Streaming을 중심으로 데이터 처리를 진행하고 있다. Spark Streaming은 Micro-batch 방식으로 데이터를 처리하는 RDD 기반 프레임워크인데... 문제는 Catalyst Optimizer와 거리가 먼 RDD 기반이라는 점이다(?) 이에 따라 Spark 2.0 이후 Structured Streaming이 추가었으며, 이제는 Continuous Processing을 제외학곤 [Experimental] 딱지를 지웠다. Structured Streaming is a scalable and fault-tolerant stream processing engine built on the Spark SQL engine. You can express y..

Spark Streaming Stream 일반적으로 스트림 데이터가 생성되는 시점과 처리되는 시점 사이의 간격이 짧을 수록 좋음 Spark Streaming 데이터의 가치를 유지하기 위해 배치 처리보다 짧은 간격(마이크로 배치)으로 데이터를 처리하는 스파크의 서브 모듈 Receiver Kafka, Flume, Kinesis, File, CustomReceiver 등 Window Operations Window Length와 Sliding Interval로 구성 예) 10초(Sliding Interval)마다 최근 30초(Window Length)동안 수집된 데이터 분석 Configuration spark.streaming.blockInterval Stream을 저장하기 위해 구성하는 Block 생성 주기..

Spark Components Driver Program main() 함수를 실행하고 SparkContext를 생성하는 프로세스 Cluster Manager Worker Node Executor: 실제 태스크를 수행하는 Worker Node의 프로세스 Cache: RDD를 Cache에 저장하여 이후 데이터 처리 속도를 향상 시킴 Spark Cluster Manager Standalone 기본으로 제공되는 Master Node (Supervise) HA를 위해 Zookeeper를 이용할 수 있음 Hadoop YARN Cluster Manager로 Hadoop의 YARN을 이용함 ‘--master yarn’ 옵션으로 job을 제출함 ApplicationMaster가 할당하는 컨테이너 내에서 Executor가..