NCP(Naver Cloud Platform) - Fluent bit Error 추적 (chunk error)

Fluent Bit와 NCP의 SES를 잇는 연결을 하였는데 문제가 발생했다.

 

pod가 running이기에 문제가 없을 줄 알았지만,

kubectl logs pod -n logging

 

을 입력하니 chunk  데이터가 어마어마하게 쌓이고 있었다.

 

검색을 해보니 데이터의 단위라는데, retry라는 항목이 존재하는 것으로 보아, fluent bit가 못보냈거나, opensearch가 못받았거나 하는 데이터를 fluent bit 가 가지고 있다가 주기적으로 재전송을 하는 것으로 보였다.

 

당연히 log를 못보내는 것도 문제이고, retry를 하겠다고 잡아먹는 자원과 네트워크 리소스도 문제였기에 해결을 위한 작업에 들어갔다.

 

fluent bit에서 chunk가 발생하는 경우가 많아서 하나씩 시도하기에는 무리가 있었다.

그중 fluent bit에서 제공하는 고마운 옵션을 발견했다.

 

  output-opensearch.conf: |
    [OUTPUT]
        Name            opensearch
        Match           *
        Host            172.16.210.7
        Port            9200
        HTTP_User       mkyou
        HTTP_Passwd     qwer1234!@
        tls             On
        tls.verify      Off
        Index           nks-%Y.%m.%d
        Trace_Error     On

 

바로 Trace_Error 옵션으로 해당 옵션을 키면 어째서 error 가 발생하였는지를 리턴해준다.

확인결과 parser가 제대로 적용되지 않았음을 확인.

 

처리하였다.