1.5.2.3.2 FluentD로 OKE 로그 전송하기
EFK 구성에서 ElasticSearch와 Kibana 대신 OpenSearch와 OpenSearch Dashboard를 사용할 수 있도록 FluentD를 설정합니다.
Fluentd 구성
Fluentd 설치를 위한 Service Account를 생성하고 관련 권한을 정의합니다.
configmap 추가 설정정의
- Fluentd 관련 설정은 컨테이너 내에 /fluentd/etc/ 하위에 .conf 파일로 모두 정의 되어 있습니다. 이 파일들을 재정의 할 수 있습니다.
- OCI OpenSearch 연결을 위해 꼭 필요한 항목만 남겨두고 나머지는 주석 처리하였습니다.
fluentd daemonset 정의
- 설정한 configmap 사용을 위해 Fluentd 문서상의 YAML을 일부 변경하셨습니다.
- configmap으로 재정의한 fluent.conf을 사용하도록 변경하고 있습니다.
FluentD 설치
fluentd-daemonset-opensearch.yaml에서 FLUENT_OPENSEARCH_HOST를 대상 OpenSearch 호스트로 변경합니다.
... env: - name: FLUENT_OPENSEARCH_HOST value: "amaaaaaavsea7yiatk7bvqasj524dqnutj3itigg3tyviql4zppawdjdfspa.opensearch.ap-chuncheon-1.oci.oraclecloud.com" - name: FLUENT_OPENSEARCH_PORT value: "9200" ...또한 OpenSearch API에 사용할 사용자 인증 정보를 입력합니다. 클러스터 생성시 입력한 Primary Account의 유저, 패스워드를 입력합니다.
... env: ... - name: FLUENT_OPENSEARCH_USER value: "username" - name: FLUENT_OPENSEARCH_PASSWORD value: "changeme" ...FluentD 설치
kubectl apply -f fluentd-rbac.yaml kubectl apply -f fluentd-configmap-opensearch.yaml kubectl apply -f fluentd-daemonset-opensearch.yamlOKE 클러스터 Worker Node에서 OpenSearch로 로그를 보낼수 있도록 보안규칙을 추가합니다.
Worker Node의 보안규칙
대상: 예) oke-nodeseclist-quick-oke-cluster-1-04cdcc334
Egress Rules:
아래 예시는 OpenSearch 위치가 서브넷인 10.0.20.0/24인 경우
Stateless Destination IP Protocol Source Port Range Destination Port Range Description No 10.0.20.0/24 TCP All 9200 OpenSearch API
OpenSearch의 보안규칙
대상: OpenSearch가 속한 서브넷의 Security List
Ingress Rules:
아래 예시는 Worker Node가 위치가 서브넷인 10.0.10.0/24인 경우
Stateless Source IP Protocol Source Port Range Destination Port Range Description No 10.0.10.0/24 TCP All 9200 OpenSearch API
로그 확인
fluentd Pod가 기동하면, 로그를 통해 OpenSearch와 연결 오류 없이 정상 동작하는 지 확인합니다.
$ kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE ... fluentd-gls8b 1/1 Running 0 2m15s fluentd-jhpxj 1/1 Running 0 87s fluentd-l9mbn 1/1 Running 0 45s ... $ kubectl logs -n kube-system -f fluentd-gls8b ... 2023-04-21 15:00:05 +0000 [info]: parsing config file is succeeded path="/fluentd/etc/fluent.conf" ... 2023-04-21 15:00:07 +0000 [info]: adding match pattern="**" type="opensearch" ... 2023-04-21 15:00:07 +0000 [info]: #0 starting fluentd worker pid=14 ppid=6 worker=0 2023-04-21 15:00:07 +0000 [info]: #0 [in_tail_container_logs] following tail of /var/log/containers/coredns-f7c884d6f-9kxr5_kube-system_coredns-79f0a4c0099003d963547e7e3f54d78265c84dbe85f26d1adf52ff3dca931c6a.log ...
OpenSearch Dashboard 설정
앞서 사용한 방법을 통해 다시 브라우저로 OpenSearch Dashboard에 접속을 확인합니다.
왼쪽 상단 내비게이션 메뉴에서 OpenSearch Dashboards > Discover 를 클릭합니다.
Create index pattern을 클릭합니다.
인덱스 패턴을 생성합니다.
아래쪽에 보이는 소스 중에서 fluentd 소스를 사용합니다.
- Index pattern name: fluentd*
- Time field: time
인덱스 패턴이 추가된 결과를 볼 수 있습니다.
왼쪽 상단 내비게이션 메뉴에서 OpenSearch Dashboards > Discover 를 클릭합니다.
생성한 인덱스 패턴을 통해 수집된 로그를 확인할 수 있습니다.
- 테스트 앱의 로그를 확인하기 위해 Add filter를 클릭하여 namespace_name=default 로 지정합니다.
테스트 앱을 접속합니다.
로그 확인
아래와 같이 OpenSearch Dashboard에서 테스트 앱의 로그를 확인할 수 있습니다.
Fluentd에서 사용할 OpenSearch 유저 만들기
OpenSearch Internal 유저 만들기
OpenSearch Dashboard에 Primary Account로 로그인합니다.
왼쪽 상단 내비게이션 메뉴에서 OpenSearch Dashboards > Security 를 클릭합니다.
Internal Users > Create internal user를 클릭합니다.
생성할 유저명과 패스워드를 입력하고, 아래의 Create를 클릭하여 유저를 생성합니다.
OpenSearch Role 만들기
메뉴에서 Roles을 선택합니다.
기본 설치된 Role이 보입니다. fluentd는 logstash와 동일한 권한이 필요하므로, 기본 생성된 logstash Role의 복사본을 만들어 인덱스 패턴만 변경하도록 하겠습니다.
Name: 이름을 fluentd로 변경합니다.
Cluster permissions: 변경없이 그대로 사용합니다.
Index permissions: Index에서 기존 패턴(logstatsh*)을 삭제하고, fluentd daemon에서 생성하는 인덱스 패턴을 입력합니다. fluentd*로 입력합니다. Index permission은 변경없이 그대로 사용합니다.
Index permissions에서 두번째로 있는 *beat*는 삭제합니다.
하단 Create를 클릭하여, 설정한 Role을 생성합니다.
생성한 fluentd Role에 유저를 매핑하기 위해 Mapped users 탭을 클릭하고, Manage mapping을 클릭합니다.
앞서 생성한 fluentd 유저를 선택하고 매핑합니다.
fluentd를 위한 유저 및 권한을 위한 Custom Role이 생성 완료되었습니다.
FluentD 재배포 하기
앞서 OKE 클러스터에 배포한 fluentd-daemonset-opensearch.yaml에서 사용자 인증 정보를 새로 만든 유저정보로 변경합니다.
... env: ... - name: FLUENT_OPENSEARCH_USER value: "fluentd" - name: FLUENT_OPENSEARCH_PASSWORD value: "changeme" ...FluentD 재배포
kubectl apply -f fluentd-daemonset-opensearch.yaml로그 확인
fluentd Pod 재기동이 완료되면, 로그를 통해 OpenSearch와 연결 오류 없이 정상 동작하는 지 확인합니다.
$ kubectl apply -f fluentd-daemonset-opensearch.yaml daemonset.apps/fluentd configured $ kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE ... fluentd-dl74t 1/1 Running 0 22s fluentd-gc6gk 1/1 Running 0 27s fluentd-v8nfj 1/1 Running 0 32s ... $ kubectl logs -n kube-system -f fluentd-dl74t ... 2023-04-22 14:05:57 +0000 [info]: parsing config file is succeeded path="/fluentd/etc/fluent.conf" ... 2023-04-22 14:05:59 +0000 [info]: adding match pattern="**" type="opensearch" ... 2023-04-22 14:05:59 +0000 [info]: #0 starting fluentd worker pid=14 ppid=6 worker=0 2023-04-22 14:05:59 +0000 [info]: #0 [in_tail_container_logs] following tail of /var/log/containers/coredns-f7c884d6f-xdgnw_kube-system_coredns-3195b55827bcaa7cd928bdf90d486ca7de4d5dd467ff63270dcaf132378d2758.log ...
이 글은 개인으로서, 개인의 시간을 할애하여 작성된 글입니다. 글의 내용에 오류가 있을 수 있으며, 글 속의 의견은 개인적인 의견입니다.