Fluentd 썸네일형 리스트형 [aws] EFK 스택 구성하기(efk stack setup) EFK 스택 구성하기(efk stack setup) Elasticsearch: Elasticsearch는 분산 검색 및 분석 엔진으로 대규모 데이터 저장 및 분석을 지원합니다. 로그 데이터를 저장하고 인덱싱합니다. Elasticsearch는 데이터 저장 및 검색에 최적화된 NoSQL 데이터베이스입니다. Kibana: Kibana는 Elasticsearch의 데이터를 시각화하기 위한 웹 인터페이스입니다. Kibana를 사용하여 데이터를 검색, 시각화하고 대시보드를 생성할 수 있습니다. Fluentd: Fluentd는 로그 수집 도구로, 로그 데이터를 수집, 처리 및 전송합니다. Fluentd는 다양한 데이터 소스에서 로그 데이터를 수집하고 Elasticsearch에 전송합니다. Fluent Bit: Flu.. 더보기 [리눅스] Fluentd를 Docker 컨테이너로 실행하는 방법 Fluentd를 Docker 컨테이너로 실행하는 방법 Fluentd 컨테이너 실행 mkdir -p /fluentd/log chown -R 999.999 /fluentd docker run -d --name fluentd \ -p 24224:24224 \ -v /fluentd/log:/fluentd/log \ fluent/fluentd Fluentd를 Docker Compose를 사용하여 컨테이너 실행 mkdir -p docker/config mkdir -p fluentd/log chown -R 999.999 fluentd docker-compose.yml 파일 생성 vim docker-compose.yml version: '3.8' services: fluentd: build: ./docker image.. 더보기 Fluentd를 사용하여 데이터를 집계하고 Elasticsearch와 AWS S3로 전달하는 방법(Aggregation and Forwarding with Fluentd) Fluentd를 사용하여 데이터를 집계하고 Elasticsearch와 AWS S3로 전달하는 방법(Aggregation and Forwarding with Fluentd) 서버 구성 노드(forwarder) 서버(aggregator) 서버(destination) 서버(visualization) 비고 fluentd fluentd elasticsearch kibana fluentbit aws s3 td-agent td-agent-bit Log forwarders(로그 전달자)는 일반적으로 로컬 이벤트를 수신하기 위해 모든 노드에 설치됩니다. 이벤트가 수신되면 네트워크를 통해 'Log aggregators'로 전달합니다. 로그 전달자의 경우 fluent-bit도 경량 처리에 적합합니다. Log aggregat.. 더보기 우분투에서 td-agent를 설치하는 방법 우분투에서 td-agent를 설치하는 방법 td-agent는 Treasure Data에서 제공하는 Fluentd 기반의 에이전트입니다. 테스트 환경 $ lsb_release -d Description: Ubuntu 22.04.1 LTS td-agent 설치 td-agent 패키지 저장소의 GPG 키 추가 curl https://packages.treasuredata.com/GPG-KEY-td-agent | sudo apt-key add - td-agent 패키지 저장소 추가 echo "deb [arch=amd64] http://packages.treasuredata.com/4/ubuntu/focal/ focal contrib" | sudo tee /etc/apt/sources.list.d/treasure.. 더보기 이전 1 다음
