[Datadog] QueryPie 연동 가이드: RSyslog 통합 설정

1 1. 개요
2 2. 사전 요구사항
3 3. 연동 과정
- 3.1 3.1. Linux 서버에 RSyslog 설치 및 설정
  - 3.1.1 3.1.1. RSyslog 설치
  - 3.1.2 3.1.2. RSyslog 설정
- 3.2 3.2. Linux 서버에 Datadog Agent 설치
  - 3.2.1 3.2.1. Datadog Agent 설치
  - 3.2.2 3.2.2. Datadog Agent 설정
- 3.3 3.3. QueryPie에서 Syslog 설정 활성화
4 4. 테스트 및 확인
5 5. 문제 해결
6 6. 참고 사항

1. 개요

이 가이드는 QueryPie의 Syslog 기능을 사용하여 Datadog과 연동하는 방법을 설명합니다. 이 통합을 통해 QueryPie에서 생성된 로그와 이벤트를 Datadog에서 모니터링하고 분석할 수 있습니다.

이 문서에서는 Rsyslog 사용을 예시로 설명하고 있으나, 그 외 다른 로그 전송 시스템을 사용하여 연동이 필요한 경우 Datadog 에서 제공하는 Log Configuration 설정을 참조하십시오.

Logs → Log Configuration → Add a Log Source

2. 사전 요구사항

QueryPie 관리자 권한
Datadog 계정 및 API 키
Datadog Agent / Rsyslog 를 설치할 Linux 서버

3. 연동 과정

3.1. Linux 서버에 RSyslog 설치 및 설정

3.1.1. RSyslog 설치

Linux 서버에 RSyslog 설치:

sudo dnf update -y
sudo dnf install -y rsyslog

3.1.2. RSyslog 설정

RSyslog 설정 파일을 엽니다:

sudo vi /etc/rsyslog.conf

TCP 및 UDP 모듈 및 리스너를 활성화합니다:

# 템플릿 정의
template(name="RemoteLogFileName" type="string"
    string="/var/log/rsyslog/%fromhost-ip%-%$YEAR%-%$MONTH%-%$DAY%.log")

# TCP/UDP로 수신된 모든 메시지에 대한 룰 설정
module(load="imtcp")
input(type="imtcp" port="1514")
module(load="imudp")
input(type="imudp" port="514")

# 수신된 메시지를 템플릿에 따라 저장
if $inputname == "imtcp" then {
    action(type="omfile" dynaFile="RemoteLogFileName")
    stop
}

로그 수신 시 저장하는 디렉터리를 생성합니다:

sudo mkdir /var/log/rsyslog

/usr/lib/systemd/system/rsyslog.service 의 UMASK 값을 0022 로 지정합니다:

UMask=0022

RSyslog 서비스를 (재)시작하고 부팅 시 자동 시작되도록 설정합니다:

sudo systemctl restart rsyslog
sudo systemctl enable rsyslog

RSyslog가 정상적으로 실행 중인지 확인합니다:

sudo systemctl status rsyslog

(TCP 기준으로) 포트가 열려있는지 확인합니다:

sudo ss -tuln | grep 1514

3.2. Linux 서버에 Datadog Agent 설치

3.2.1. Datadog Agent 설치

Datadog 페이지에서 발급 받은 Datadog Agent 설치 스크립트를 수행합니다:

DD_API_KEY=$YOUR_API_KEY DD_SITE="ap1.Datadoghq.com" bash -c "$(curl -L https://install.Datadoghq.com/scripts/install_script_agent7.sh)"

($YOUR_API_KEY를 실제 Datadog API 키로 대체하세요.)

3.2.2. Datadog Agent 설정

Datadog Agent 설정 파일을 엽니다:

sudo vi /etc/Datadog-agent/Datadog.yaml

로그 수집 활성화 설정을 추가합니다:

logs_enabled: true

Syslog 설정 파일 생성:

sudo mkdir -p /etc/Datadog-agent/conf.d/rsyslog.d
sudo vi /etc/Datadog-agent/conf.d/rsyslog.d/conf.yaml

다음 내용을 추가합니다:

logs:
  - type: file
    path: /var/log/rsyslog/*.log
    service: rsyslog
    source: rsyslog
    sourcecategory: remote_logs
    tags:
      - environment:production
      - service:rsyslog_server

(Optional) Rsyslog 가 root 권한으로 log를 저장하는 경우 Agent를 root 그룹에 추가하고 권한을 부여합니다:

# dd-agent 를 root 그룹에 추가
sudo usermod -a -G root dd-agent

# root 그룹의 로그 디렉토리 읽기 권한 설정
sudo chmod g+rx /var/log/rsyslog

Datadog Agent를 재시작합니다:

sudo systemctl restart Datadog-agent

Datadog Agent 상태를 확인합니다. Datadog Agent 에서 로그 파일 수집이 정상적으로 작동 중인 경우 아래와 같이 Status: OK 로 확인됩니다:

sudo Datadog-agent status

...
  rsyslog
  -------
    - Type: file
      Path: /var/log/rsyslog/*.log
      Service: rsyslog
      Source: rsyslog
      Status: OK
        5 files tailed out of 5 files matching
      Inputs:
        /var/log/rsyslog/172.18.0.2-2025-03-10.log
        /var/log/rsyslog/172.18.0.2-2025-03-07.log
        /var/log/rsyslog/172.18.0.2-2025-02-27.log
        /var/log/rsyslog/172.18.0.2-2025-02-20.log
        /var/log/rsyslog/172.18.0.2-2025-02-19.log  
      Bytes Read: 621

3.3. QueryPie에서 Syslog 설정 활성화

QueryPie 관리자 페이지에 로그인합니다.
General → Integrations → Syslog 로 이동합니다.
Configure 클릭 후 설정 섹션을 채웁니다.
Test Connection 버튼을 클릭하여 연결을 테스트합니다.
연결이 성공하면 OK 버튼을 클릭하여 설정을 저장합니다.
토글 버튼을 ON 으로 활성화합니다.

4. 테스트 및 확인

QueryPie에서 몇 가지 작업을 수행합니다 (예: 로그인, DB 쿼리 실행).
Datadog 콘솔에서 Logs > Explorer로 이동합니다.
다음 쿼리를 사용하여 Rsyslog 로그를 필터링합니다:
service:rsyslog
QueryPie에서 생성된 로그가 Datadog에 나타나는지 확인합니다.

5. 문제 해결

로그가 보이지 않는 경우:

RSyslog가 실행 중인지 확인:
sudo systemctl status rsyslog
RSyslog가 로그를 수신하고 있는지 확인:
sudo ls -al /var/log/rsyslog/
Datadog Agent가 실행 중인지 확인:
sudo systemctl status Datadog-agent
Syslog 리스너가 활성화되었는지 확인:
sudo ss -tuln | grep 514
RSyslog 로그에서 오류 확인:
sudo journalctl -u rsyslog.service
Datadog Agent 로그 확인:
sudo tail -f /var/log/Datadog/agent.log
Datadog Agent의 Syslog 수집 상태 확인:
sudo Datadog-agent status
QueryPie 관리자 페이지에서 General → Integrations → Syslog로 이동하여 설정이 올바른지 확인

6. 참고 사항

Syslog 메시지 형식이나 필드 매핑을 사용자 정의하려면 Datadog의 처리 파이프라인을 구성해야 할 수 있습니다.
대량의 로그를 전송하는 경우 네트워크 대역폭과 서버 리소스를 고려하세요.