실시간 데이터 수집9 실시간 데이터 수집-1 (시나리오) 실시간 데이터 수집을 위한 시나리오를 구축한다. 어떤 데이터를 수집할 지, 가공을 어떻게 할 것인지, 어디에 저장할 것인지, 시각화는 어떻게 할 것인지. Architecture 수집대상 실시간 환율 api : 실시간 환율 정보를 가져온다. (링크) 수집기 Filebeat : json log file 형태로 기록되고 있는 실시간 환율 데이터를 수집하여 kafka topic에 저장한다. Kafka : Topic에 실시간 데이터를 queue 방식으로 저장한다. Sink Connector : Topic에 저장된 데이터를 Sink Connector를 활용하여 Target DB(Elasticearch)에 저장한다. Prometheus : node와 Kafka의 Metric 수집에 사용. 가공 Spark Stream.. 2024. 2. 11. Confluent 구축 사양 체크 목표 Onpremise 환경을 기준으로 Confluent를 활용하여 실시간 데이터 수집 / 가공 데이터 pipeline을 구축 하기 전 필요한 서버의 최소 사양, Clustering 여부, 호환되는 JAVA, OS 를 조사하기 위함. Confluent 설치사양 Standalone Memory CPU Storage OS 32GB (JVM default 6GB) 8 (or more cores) 300GB (SSD 권장) Ubuntu 14.04 이상 Debian 8 이상 RHEL/Centos 6.8 이상 Cluster Component Nodes Storage Memory CPU Control Center - nomal Control Center - reduced 1 300 GB (SSD 권장) 128 GB .. 2024. 2. 4. Confluent Architecture Confluent 란? 실시간 데이터 파이프라인 및 스티리밍 애플리케이션을 구축하는 데 사용되는 분산 이벤트 스트리밍 플랫폼. 실시간 분석, 데이터 수집, 이벤트 기반 아키텍쳐와 같은 사례에 적합하다. Confluent vs. Kafka Apache kafka 개발진들이 기업용으로 확장한 소프트웨어가 Confluent Kafka Confluent 개발지원언어 JAVA Java, Python, C, C++, Go, NET 관리 및 모니터링 GUI X O Kubernetes 설치여부 X O Ansible Playbook X O Auto Data Balancing X O Pre-Built Connector X O KsqlDB X O Kafka를 활용한 ETL Architecture 용어 정리 클러스터 외부 C.. 2024. 1. 28. 이전 1 2 다음
