systemd timer 에 etcdctl defrag 등록하기

# prometheus 알람 중 다음과 같은 k8s etcd 디스크 할당관련 에러가 온다

etcd cluster "kube-etcd": database size in use on instance 10.10.10.10:2379 is 48.18% of the actual allocated disk space, please run defragmentation (e.g. etcdctl defrag) to retrieve the unused fragmented disk space.

# 실제 master 노드에 들어가 etcdctl 수행하기

# kube-apiserver 프로세스 옵션 중 인증 부분을 참고하자

ps -ef | grep kube-apiserver 

...

--etcd-cafile=/etc/ssl/etcd/ssl/ca.pem --etcd-certfile=/etc/ssl/etcd/ssl/node-master1.pem --etcd-keyfile=/etc/ssl/etcd/ssl/node-master1-key.pem

# etcdctl 옵션명으로 바꿔서 etcdctl 수행할 수 있다.

# cluster member 를 확인해 보자.

sudo etcdctl --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/node-master1.pem --key=/etc/ssl/etcd/ssl/node-master1-key.pem member list

# etcdctl defrag 를 수행한다.

# https://etcd.io/docs/v3.3/op-guide/maintenance/#defragmentation

sudo etcdctl --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/node-master1.pem --key=/etc/ssl/etcd/ssl/node-master1-key.pem defrag --cluster

Finished defragmenting etcd member[https://10.10.10.10:2379]

#####

# 주기적으로 etcdctl defrag 수행하기

# etcd 서비스 설정이 이미 있다.

# /etc/systemd/system/etcd.service

# etcd 서비스 동작 확인

sudo journalctl -f -u etcd.service

# etcdctl defrag 를 주기적으로 실행하기 위해선 cron 대신 systemd service timer 를 사용하자

# 서비스명.service 와 서비스명.timer 로 파일명에서 서비스명이 같아야 한다.

# etcdctl defrag 서비스 등록

sudo vi /etc/systemd/system/etcdctl-defrag.service

[Unit]

Description=Run etcdctl defrag

# 유닛(이서비스)의 의존성, network.target(네트워크가 연결된 이후여야 한다.)

After=network.target

[Service]

# oneshot: 한번 실행하고 끝나는 서비스

Type=oneshot

Environment="LOG_DIR=/var/log"

Environment="ETCDCTL_API=3"

ExecStart=/usr/local/bin/etcdctl defrag --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/node-master1.pem --key=/etc/ssl/etcd/ssl/node-master1-key.pem

[Install]

# linux run level 중 3 단계(multi-user.target, 네트워크등이 활성화 되는 시점)일대 동작(서비스로 설치)

WantedBy=multi-user.target

# 매일 1시에 etcdctl-defrag 서비스가 수행할 수 있도록 timer 파일 생성

sudo vi /etc/systemd/system/etcdctl-defrag.timer

[Unit]

Description=Run etcd-defrag.service every day

After=network.target

[Timer]

OnCalendar=*-*-* 01:00:0

[Install]

WantedBy=multi-user.target

# systemctl 로 서비스, 타이머 시작(등록)

sudo systemctl start etcdctl-defrag

sudo systemctl start etcdctl-defrag.timer

# systemctl 동작  확인

sudo systemctl status etcdctl-defrag --no-pager

sudo systemctl status etcdctl-defrag.timer

# 참고

https://www.gojek.io/blog/a-few-notes-on-etcd-maintenance