스파크설치1 실시간 데이터 수집-7 (Spark 설치 및 Spark Streaming 사용) 실시간 데이터를 원본그대로 수집하는 것 뿐만 아니라 가공하는 방법을 익히기 위해 Spark Streaming을 선택했다.실시간 데이터 가공에는 대표적으로 Spark Streaming과 Flink가 있는것으로 알고있지만이번 기회에는 익숙한 Spark를 활용하여 데이터를 가공하고 추후에 Spark Streaming과 Flink를 비교하는 게시물을 작성하는 것을 목표로 한다. Spark 설치파일 다운로드Apache Spark 사이트에서 파일 다운로드$ wget https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoop3.tgz설치 경로 설정 & 압축해제압축해제 및 환경 변수 설정$ tar -xvf spark-3.5.1-bin-hadoop3.tgz$ v.. 2024. 4. 7. 이전 1 다음