전체 글 썸네일형 리스트형 Python으로 Kafka Consumer 생성 Python으로 Kafka Consumer 생성Python에서는 confluent_kafka 라이브러리를 주로 사용하여 Kafka 클러스터와 상호작용합니다.Apache Kafka - Cluster Architecture1. 간단한 Kafka 컨슈머를 만들기confluent_kafka 라이브러리를 설치합니다.pip install confluent_kafkaPython Kafka Consumer 예제Topic : test-topic-1Kafka Broker Server : node1:9092, node2:9092, node3:9092Consumers Group ID : my-consumer-groupvim python_kafka_consumer.pyfrom confluent_kafka import Consu.. 더보기 우분투에서 apt를 사용하여 최신 Python 버전 설치 및 기본 설정하는 방법 우분투에서 apt를 사용하여 최신 Python 버전 설치 및 기본 설정하는 방법1. PPA 추가(deadsnakes PPA)우분투의 기본 저장소에 최신 Python 버전이 포함되지 않은 경우가 많으므로 최신 Python 버전을 설치하려면 deadsnakes PPA를 추가해야 합니다.sudo apt updatesudo apt install -y software-properties-commonsudo add-apt-repository -y ppa:deadsnakes/ppasudo apt update2. 최신 Python 버전 설치최신 Python 버전을 설치하려면 apt 명령어를 사용합니다.sudo apt install -y python3.13which python3.13$ which python3.13/u.. 더보기 Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafdrop 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafdrop: image: obsidiandynamics/kafdrop:latest restart: always container_name: kafdrop hostname: kafdrop extra_hosts: - "node1:192.168.0.111" - "node2:192.168.0.112" - "node3:192.168.0.113" environment: - KAFKA_BROKERCONNECT=node1:9092,node2:9092,node3:9092 ports.. 더보기 Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법 Kafka-UI 도구를 사용하여 Kafka 클러스터를 관리하는 방법docker-compose.yml 파일 생성vim docker-compose.ymlservices: kafka-ui: image: provectuslabs/kafka-ui:latest container_name: kafka-ui restart: always environment: - KAFKA_CLUSTERS_0_NAME=local - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=node1:9092,node2:29092,node3:9092 - KAFKA_CLUSTERS_0_ZOOKEEPER=node1:2181,node2:2181,node3:2181 ports: .. 더보기 127.0.1.1의 의미 127.0.1.1의 의미127.0.1.1은 나를 향한 문, 즉 localhost를 나타내는 특별한 IP 주소입니다. 이는 컴퓨터 네트워크에서 자신의 컴퓨터를 가리킵니다.127 : 이 숫자는 "loopback"을 의미하며 네트워크 패킷이 네트워크 카드를 거치지 않고 곧바로 소프트웨어 스택으로 전달된다는 것을 나타냅니다.0.0.1 : 이 부분은 해당 컴퓨터 내에서 유일하게 식별되는 주소입니다.cat /etc/hosts127.0.0.1 localhost127.0.1.1 node1왜 127.0.1.1이 필요할까요?자체 서비스 테스트 : 웹 서버, 데이터베이스 등 다양한 서비스를 개발하고 테스트할 때 외부 네트워크에 연결하지 않고도 자신의 컴퓨터에서 직접 접속하여 확인할 수 있습니다.로컬 네.. 더보기 Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법 Apache Kafka와 ZooKeeper 클러스터를 구성하는 방법ZooKeeper는 Kafka의 클러스터 메타데이터를 관리하기 위해 필요하며 Kafka 브로커와 ZooKeeper의 클러스터 구성은 분산 환경에서 높은 가용성과 확장성을 제공합니다.테스트 환경HostnameIPRole비고node1192.168.10.111 node2192.168.10.112 node3192.168.10.113 1. Kafka 및 ZooKeeper 클러스터 구조 개요ZooKeeper는 Kafka 클러스터의 상태를 관리하고 브로커 간의 협력을 조율합니다.Kafka 브로커는 메시지를 저장하고 클라이언트(프로듀서 및 컨슈머)로부터 데이터를 송수신합니다. 여러 개의 브로커가 함께 작동하여 클러스터를 구성합니다.2. 필수 조건서.. 더보기 인스턴스 메타데이터에 액세스하는 방법 인스턴스 메타데이터에 액세스하는 방법AWS EC2 인스턴스의 메타데이터에 액세스하려면 인스턴스 내부에서 HTTP 요청을 통해 인스턴스 메타데이터 서비스를 사용할 수 있습니다. 이 서비스는 인스턴스의 특정 정보를 제공합니다. 이를 통해 인스턴스 ID, AMI ID, 호스트 이름, 보안 그룹 등 다양한 정보를 조회할 수 있습니다.AWS EC2 인스턴스에서 IMDSv1 또는 IMDSv2가 사용되고 있는지 확인1. AWS CLI를 통한 확인AWS CLI를 사용하여 인스턴스 메타데이터 서비스(IMDS) 구성을 확인할 수 있습니다.aws ec2 describe-instances --instance-ids --query "Reservations[].Instances[].MetadataOptions"HttpToken.. 더보기 macOS Apple Silicon에서 VirtualBox를 설치하는 방법 macOS Apple Silicon에서 VirtualBox를 설치하는 방법1. VirtualBox 다운로드https://www.virtualbox.org/wiki/Downloads2. VirtualBox 설치다운로드한 VirtualBox 설치 파일(.dmg)을 실행합니다.설치가 완료되면 닫기를 클릭합니다.3. 확장 팩 설치다운로드한 VirtualBox Extension Pack 설치 파일(.vbox-extpack)을 실행합니다."동의합니다"를 클릭하며 설치가 완료됩니다.4. 가상 머신 생성1. VirtualBox를 실행하고 New 버튼을 클릭합니다.2. 가상 머신 이름을 입력하고 사용할 운영 체제(OS)를 선택합니다.3. 메모리 크기와 가상 하드 디스크를 설정합니다.4. 설정을 완료한 후 Start를 클.. 더보기 이전 1 ··· 4 5 6 7 8 9 10 ··· 270 다음
