매일의 나

https://youtu.be/kBGR6cwVqv0?si=kdTN_o9dZeaSpeX0 카프카란 무엇이고, 왜 사용되는 지 카프카는 실시간 이벤트 스트리밍 플랫폼이다. 실시간으로 발생되는 대규모의 데이터를 스트리밍하고 처리하고 분석하는 데 특화되어 있다. 라이브 스트리밍, 데이터 처리 및 분석과 관련된 특징들을 보면 다음과 같다. 메시지 큐를 사용해서 데이터를 배치 처리하고 순서를 보장 복제본을 운영하여 서버가 죽었을 때 다른 서버가 대응 트래픽에 따라 스케일 아웃할 수 있음 이벤트 자체를 저장하여 현재 상태에 이르기까지의 전체 과정을 볼 수 있음 데이터를 영구적으로 저장하여 데이터를 언제든 다시 활용할 수 있게 합니다. 이런 특징으로 인해 실시간, 대규모 데이터를 처리하고 분석해야 하는 곳에서는 카프카..

클러스터 구성 주키퍼 클러스터 1개 - 주키퍼 서버 3개로 구성됨 카프카 클러스터 1개 - 카프카 서비 3개로 구성됨 할 일 주키퍼/카프커 클러스터 공통 설정: JRE 설치, 호스트명 설정, 아파치 카프카 다운로드 주키퍼 클러스터에만 설정: 아파치 카프카 주키퍼 클러스터 설정 → 주키퍼 서버 띄우기 카프카 클러스터에만 설정: 아파치 카프카 카프카 클러스터 설정 → 카프카 서버 띄우기 공통으로 할 일 JRE 설치 sudo yum install java-17-amazon-corretto-headless 호스트명 설정 sudo vi /etc/hosts # 아래 내용을 추가한다. [주커퍼1 프라이빗IP] zookeeper1 [주키퍼2 프라이빗IP] zookeeper2 [주키퍼3 프라이빗IP] zookeeper3..