목표
Onpremise 환경을 기준으로
Confluent를 활용하여 실시간 데이터 수집 / 가공 데이터 pipeline을 구축 하기 전
필요한 서버의 최소 사양, Clustering 여부, 호환되는 JAVA, OS 를 조사하기 위함.
Confluent 설치사양
Standalone
| Memory | CPU | Storage | OS |
| 32GB (JVM default 6GB) |
8 (or more cores) | 300GB (SSD 권장) | Ubuntu 14.04 이상 Debian 8 이상 RHEL/Centos 6.8 이상 |
Cluster
| Component | Nodes | Storage | Memory | CPU |
| Control Center - nomal Control Center - reduced |
1 | 300 GB (SSD 권장) 128 GB (SSD 권장) |
32 GB (JVM 6GB) 8GB (JVM 4G) |
12 or more 4 or more |
| Broker | 3 | 1TB x 12 RAID 10은 옵션 OS disk와 kafka storage 분리 |
64 GB | Dual 12 core soket |
| KRaft controller | 3-5 | 64 GB SSD | 4 GB | 4 cores |
| Connect Replicator |
2 | 설치만 되면 OK | 0.5 - 4 GB Connectors의 heap size에 따라 다름 |
|
| ksqlDB | 2 | 20 GB | 4 cores | |
| REST Proxy | 2 | 설치만 되면 OK | 1 GB | 16 cores |
| Schema Registry | 2 | 설치만 되면 OK | 1 GB heap size | X (많을 수록 빨라짐) |
| ZooKeeper | 3-5 | Transaction log : 512 GB Storage : 1TB x 2 SATA |
4 GB | 2 - 4 cores |
OS
| Operating System | 7.5.x | 7.4.x | 7.3.x | 7.2.x | 7.1.x | 7.0.x | 6.2.x | 6.1.x | 6.0.x |
| RHEL/CentOS 7.x (deprecated *) | yes | yes | yes | yes | yes | yes | yes | yes | yes |
| RHEL/CentOS 8.x | yes | yes | yes | yes | yes | yes | yes | yes | yes |
| RHEL 9.x | yes | yes | no | no | no | no | no | no | no |
| Debian 9 (stretch) (deprecated *) | yes | yes | yes | yes | yes | yes | yes | yes | yes |
| Debian 10 (buster) | yes | yes | yes | yes | yes | yes | no | no | no |
| Ubuntu 16.04 LTS (xenial) (deprecated *) | yes | yes | yes | yes | yes | yes | yes | yes | yes |
| Ubuntu 18.04 LTS (bionic) | yes | yes | yes | yes | yes | yes | yes | yes | yes |
| Ubuntu 20.04 LTS (focal) | yes | yes | yes | yes | yes | yes | no | no | no |
JAVA
| Confluent Platform | Recommended | Supported |
| 7.5.x | 17 | 17, 11, 8 * |
| 7.4.x | 17 | 17, 11, 8 * |
| 7.3.x | 17 | 17, 11, 8 |
| 7.2.x | 11 | 11, 8 |
| 7.1 | 11 or 8 | 11, 8 |
| 7.0 | 11 or 8 | 11, 8 |
| 6.2 | 11 or 8 | 11, 8 |
| 6.1 | 11 or 8 | 11, 8 |
| 6.0 | 11 or 8 | 11, 8 |
Docker
Docker version >= 1.11
결론
Cluster를 구성하기 위해서는 ZooKeeper와 Kafka를 3개의 서버에 구축해도 3개 이상의 서버가 필요한 듯 하다.
3개 이상의 서버를 구축할 수 있는 자원이 없기 때문에
Standalone 버전으로 진행한다.
참고
https://docs.confluent.io/platform/current/control-center/installation/install-apache-kafka.html
Install Control Center on Standalone Kafka | Confluent Documentation
Control Center is included natively in Confluent Platform, but you can also use it with a cluster running Apache Kafka®. Software requirements Kafka Brokers running Kafka Version 0.10.2.0 or laterStream Monitoring requires several new features of Kafka 0.
docs.confluent.io
https://docs.confluent.io/platform/current/installation/system-requirements.html#system-requirements
Confluent Platform System Requirements | Confluent Documentation
The following machine recommendations are for installing individual Confluent Platform components: Note If deploying Confluent Platform on AWS VMs and running Replicator as a connector, be aware that VMs with burstable CPU types (T2, T3, T3a, and T4g) will
docs.confluent.io
https://twowinsh87.github.io/etc/2018/08/03/etc-kafka-3/
'실시간 데이터 수집' 카테고리의 다른 글
| 실시간 데이터 수집-4 (Grafana 설치 및 Prometheus 연동) (1) | 2024.02.25 |
|---|---|
| 실시간 데이터 수집-3 (Prometheus 설치) (0) | 2024.02.20 |
| 실시간 데이터 수집-2 (AWS에서 Confluent 설치) (1) | 2024.02.11 |
| 실시간 데이터 수집-1 (시나리오) (0) | 2024.02.11 |
| Confluent Architecture (1) | 2024.01.28 |
댓글