스파크클러스터1 Spark Cluster 구조 및 작동원리 Spark Cluster Architecture작동구조Spark DriverSpark Application을 제출 시 가장 먼저 제출되는 위치spark application의 실행을 조정하는 프로그램/프로세스기본기능을 실행하고 cluster manager에 연결되는 SparkContext/SparkSession을 생성 SparkContext/SparkSession Spark의 기능(Function)을 사용할 수 있는 진입점Spark 환경구성에 해당하는 SparkConf를 포함하고 있다.Spark 2 이상부터는 SQLContext, HiveContext, StreamingContext가 모두 결합된 SparkSession 사용을 권장 Cluster ManagerWorker Node에 리소스 및 task 할.. 2024. 6. 9. 이전 1 다음
