Daramu

다람어의 블로그

NCP

NCP에는 API통신을 통한 기능을 제공한다.단순 UI나 콘솔상에서 가능한 것보다 많은 것을 지원하는데, 해당하는 항목에 대해서는 아래를 참고https://api-gov.ncloud-docs.com/docs/api-overview API 개요 api-gov.ncloud-docs.com 아무튼 API를 잘 활용한다면 콘솔 그 이상의 것도 가능하다.가령 CDB의 경우 백업을 주기적으로 실행 가능하고, OBJ또한 다른 리전으로 주기적 복제가 가능하지만 CDB -> OBJ는 주기적으로 불가능하다. 이럴떄 Bastion 서버등에 CDB->OBJ API를 주기적(cron)으로 등록해 놓는다면 자동으로 OBJ 백업이 되는 효과등을 누릴 수 있다. 하지만 쉽게는 불가능하고, API 가이드에 나와있지만 이해가 안가는 부..

2024.08.06

fluent bit

일전에 Fluent bit의 글을 쓴적이 있는데, 관련해서 말이 너무 부실하기도 하고, 설정법이나 ACG에 대한 이야기도 빠져있어서 한번 제대로 해보려한다. 1. Search Engine Service(이하 SES)많이들 착각하는 것이 SES는 단순한 대시보드(Dashboard)라는 것이다.SES가 자체적으로 Log를 수집한다거나, 무엇인가 다이나믹한 동작을 하지는 않는 것이다. 그렇기에 사용자는 직접 Log를 쏴줘야 하고, 이 때 선택하는 옵션이 "로그 수집기"이다.로그 수집기는 몇가지가 있다. 대표적으로 익숙한 것이 ELK스택의 LogStash이다. 다만 ELK는 라이센스에 관한 시비가 존재한다.내부망이나 개인 로컬PC(이게 내부망과 같은 의미이기는 하지만) 에서는 문제가 없지만 이것을 기업이 판매할..

2024.07.12

fluent bit

Fluent bit를 Log를 수집해서 Opensearch나, ElasticSearch 로 보낸다. 그리고 Prometheus또한 syslog를 보여주는 모니터링 툴이다. 여기서 드는 생각이, 그럼 Fluent bit를 통해서 syslog를 prometheus로 보내줄 수 있나? 였다. 먼저 대답하자면 "그렇다"였다. 자세한걸 보기전에 prometheus 먼저 알아야한다. Fluent bit의 구성도를 보았었을때, 각각의 Node에 Fluent bit가 존재하고, 해당 fluent bit가 log를 opensearch로 보낸다 하였다. prometheus또한 비슷하게 동작하는데, 각각의 VM(혹은 Worker Node)에 "Node Exporter"라는 놈이 존재한다. 이 놈이 주기적으로 VM에 proc..

2024.04.15

fluent bit

Fluent Bit와 NCP의 SES를 잇는 연결을 하였는데 문제가 발생했다. pod가 running이기에 문제가 없을 줄 알았지만, kubectl logs pod -n logging 을 입력하니 chunk 데이터가 어마어마하게 쌓이고 있었다. 검색을 해보니 데이터의 단위라는데, retry라는 항목이 존재하는 것으로 보아, fluent bit가 못보냈거나, opensearch가 못받았거나 하는 데이터를 fluent bit 가 가지고 있다가 주기적으로 재전송을 하는 것으로 보였다. 당연히 log를 못보내는 것도 문제이고, retry를 하겠다고 잡아먹는 자원과 네트워크 리소스도 문제였기에 해결을 위한 작업에 들어갔다. fluent bit에서 chunk가 발생하는 경우가 많아서 하나씩 시도하기에는 무리가 있었..

2024.04.15

fluent bit

환경: NCP 구성: NKS 2Node NCP의 SES(Search engine Service)를 사용해서 Fluent bit를 구축할 것이다. 우선 알아야할 것은, Fluent bit는 Log를 수집하고 보낸주는 역할을 하고, SES로 구축하는 Opensearch 는 Log를 받아 시각화 해주는 역할을 한다는 것이다. 자주 이야기하는 Eliastic의 ELK스택과 유사하다 생각하면 편하다. 애초에 Opensearch가 Elastic의 라이센스 변경에 대한 반발로 Fork질 해서 나온것이니..... 이름을 붙이자면 OFO정도지 않을까?(Opensearch, Fluent bit, Opensearch-dashboard)...... 아무튼 구성도는 이러하다. 각 Worker Node마다 Daemonset(No..

2024.04.15

Terraform

코드는 시작부터 삐그덕거렸다. 기존의 바닐라(옵션이 없는 tf 파일)에서는 잘 작동하던게, 마지막에 옵션을 이것저것 넣었더니 바로 에러가 터졌다. 첫번쨰 에러는 NKS에서 발생했다. resource "ncloud_nas_volume" "test" { volume_name_postfix = "vol" volume_size = "600" volume_allotment_protocol_type = "NFS" return_protection = "false" #or "true" } 를 입력하여 생성하였으나, false든 true든 return_protection = "false" An argument named "return_protection" is not expected here. 그런 아규먼트가 없다며 팅..

2024.03.18

Terraform

그렇게 코드를 치환하고, 이제는 마무리 작업만 남았다. 다시 상기하지만 나의 퀘스트는 "자동으로 tf 파일 생성" 이다. 여기서 고려해야할 사항이 있었다. 1. 엑셀파일은 한개가 아니다. msp 사업자로써 하루에도 몇개의 고객사 문의가 들어온다. 만약 폴더 하나에 모든 파일을 넣는다면 실행시마다 모든 고객사의 tf파일이 돌아가는 참사가 생길게 분명했다. tf파일은 terraform apply 를 치는순간 하위의 모든 폴더를 탐색한다. 즉, 하나의 폴더서 분류를 하는 것은 위험해 보였다. 그렇기에 파이썬의 코드를 둘로 나웠다. 1. 엑셀을 json으로 변환하는 .py 2. json을 tf로 변환하는 ,py 사실 하나로도 상관없었는데...뭐 목적에 따라 다르면 보기에는 그럴싸하지 않겠는가. 아무튼 1번의 문..

2024.03.18

Terraform

생각을 다시 처음으로 돌렸다. count, dynamic, foreach....온갖 방법을 동원했지만 모두 요원치 않았다. 이 미친 랜덤성을 넘을 벽이 도저히 보이지 않았다. 절망에 빠져 담배만 뻑뻑 피우던 와중에, 저 멀리서 수다떠는 소리가 들렸다. "넌 그걸 노가다로 해결하냐ㅋㅋ" "하지만 동작했으면 된거 아임까 ㅋㅋ" 뭐, 대충 하드코딩으로 요상한 코드를 만들었겠거니, 하고 있었는데, 그런 내 머리속에 한줄기 섬광이 스쳐지나갔다. "노가다!!!!" 내가 왜 이런 방식을 생각하지 못했는지 후회스러울 정도였다. 그래. "복잡한 구조로 안된다면, 그냥 무식하게 단순 반복 하면 되는거 아닌가?" 단순하다면 에러에 대한 내성도 생긴다. 보기에는 구릴지라도 그냥 수정하면 된다. 으레 그렇듯이 "우아하지 못한"..

2024.03.18

Terraform

엑셀파일을 json 형태로 변환했다. 시트가 key값이 되고, 안에 들어있는 각 열의 첫번째(A)값이 다시 key, 내용물이 value였다. 여기까지 생각이 미쳤을때 정말 금방이라고 생각했다. 하지만 예상치 못한 복병을 마주쳤다. 바로 "랜덤성"이다. 가령 subnet을 받을 수 있는 엑셀 시트가 있다고 치자, 처음의 생각은 단순했다. 사용자가 입력하면 count로 해당 json의 값을 모으고, value값으로 집어넣는다. 그렇기에 main.tf 파일을 사전에 만들어두고, variable.tf파일을 파이썬을 통해 생성하는 방향으로 잡았다. 실제로 초기에는 잘 동작했다. vpn과 subnet이 여러개 올 것을 가정하고 해당 값을 배열로 추출해 list형태로 늘여놓고, 해당 list만큼의 count를 반복한..

2024.03.18