vector certificate verify failed

# k8s 내부 인증서(apiserver,apiserver-etc-client...)를 업데이트 했다.

# 참고 https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/#check-certificate-expiration

# vector daemonset 재시작했는데 vector pod error log 가 다음과 같이 발생한다.

# 에러 로그가 많아서 dump 로도 확인이 된다. 

kubectl cluster-info dump | rg -i error

2024-05-17T02:38:08.766363Z  WARN vector::kubernetes::reflector: Watcher Stream received an error. Retrying. error=InitialListFailed(HyperError(hyper::Error(Connect, ConnectError { error: Error { code: ErrorCode(1), cause: Some(Ssl(ErrorStack([Error { code: 167772294, library: "SSL routines", function: "(unknown function)", reason: "certificate verify failed", file: "ssl/statem/statem_clnt.c", line: 2092 }]))) }, verify_result: X509VerifyResult { code: 26, error: "unsuitable certificate purpose" } })))

2024-05-17T02:38:35.158930Z ERROR kube_client::client::builder: failed with error error trying to connect: error:0A000086:SSL routines:(unknown function):certificate verify failed:ssl/statem/statem_clnt.c:2092:: unsuitable certificate purpose

# vector 는 kubernetes_logs 를 소스로 하고 있고

# k8s 접근하기 위해서 인증과정을 거치게 되는것 같다.

# kube_config_file 로 kube config 파일을 명시하는 옵션이 있는데 사용하지 않아

# 디폴트로 in-cluster configuration 로 설정된다.

# 참고 https://vector.dev/docs/reference/configuration/sources/kubernetes_logs/#kube_config_file

# vector 에서 사용하는 kube client rust 소스(go 소스도 같다.)에 다음과 같은 경로의 인증서를 참고 하는것 같다.

// Mounted credential files

const SERVICE_TOKENFILE: &str = "/var/run/secrets/kubernetes.io/serviceaccount/token";

const SERVICE_CERTFILE: &str = "/var/run/secrets/kubernetes.io/serviceaccount/ca.crt";

# 참고 https://github.com/kube-rs/kube/blob/a6f4337a951058db7d3c12ed6b12a33718ac1fa2/kube-client/src/config/incluster_config.rs#L8

# vector pod 에도 다음과 같이 mount 설정이 있다.

spec:

  containers:

    volumeMounts:

    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount

      name: kube-api-access-l82p5

      readOnly: true

  volumes:

  - name: kube-api-access-l82p5

    projected:

      defaultMode: 420

      sources:

      - serviceAccountToken:

          expirationSeconds: 3607

          path: token

      - configMap:

          items:

          - key: ca.crt

            path: ca.crt

          name: kube-root-ca.crt

      - downwardAPI:

          items:

          - fieldRef:

              apiVersion: v1

              fieldPath: metadata.namespace

            path: namespace

# kube-root-ca.crt 는 모든 namespace 의 configmap 에 등록되어 있다.

argocd cli

# argocd cli 를 사용해서 application 을 등록할 수 있다.

# argocd cli 설치

brew install argocd

# argocd 로그인

# 참고로 kubectl(namespace:argocd) 연결 가능한 상태라면 --core 옵션을 사용하면 로그인 필요 없이 argocd api 대신 k8s 와 직접 통신할 수 있다.

argocd login --insecure --username ysoftman --password abc123 argocd.ysoftman.net

# argocd 에 vecotor application 을 추가해보자.

# repository 추가 및 확인

# --proxy http://ysoftman.proxy.dev:8080 # 필요시에만

argocd repo add https://helm.vector.dev --name vector --type helm

argocd repo list

# repo  삭제시 

# 만약 연결 failed repo 삭제가 안되다면 k8s 에서 해당 repo 를 사용하는 secret 를 삭제해야 한다.

argocd repo rm vector

# (기존에 없다면) project 생성 및 확인

argocd proj create ysoftman

argocd proj list

# application 생성

# --values values.yaml 는 vector helm chart 의 values.yaml

# argocd server / client 버전이 다르면 --values-literal-file(helm > values 설정부분) 에러가 발생한다.

# 비슷한 이슈가 있었다.

# https://github.com/argoproj/argo-cd/issues/14967#issuecomment-1673438450

# argocd server 2.6.7 을 사용하고 있어 argocd(client)도 같은 버전을 사용하자.

wget https://github.com/argoproj/argo-cd/releases/download/v2.6.7/argocd-darwin-arm64

chmod +x argocd-darwin-arm64

argocd-darwin-arm64 app create vector \

--repo https://helm.vector.dev \

--path vector \

--revision 0.31.1 \

--sync-policy auto \

--dest-namespace vector \

--dest-server https://kubernetes.default.svc \

--helm-chart vector \

--values values.yaml \

--values-literal-file vector_override_values.yaml \

--project ysoftman \

--upsert

# application 상태 보기

argocd app get vector

# application 삭제

argocd app delete vector

# 참고

https://argo-cd.readthedocs.io/en/stable/user-guide/commands/argocd_app_create/

https://artifacthub.io/

#####

# argocd troubleshooting

# argocd > app > target revision 을 특정 브랜치로 변경하면 특정브랜치로 됐다가 원래(master)브랜치로 롤백된다.

# app 히스토리를 보면 특정브랜치로 배포는 됐는데 바로 원래(master) 브랜로 다시 배포한 이력이 있다.

# 특정 브랜치의 values.yaml > target revision 를 master 로 설정이 원인으로 master->브랜치 이름으로 변경하면 된다.(master머지시엔 다시 master로 변경)

observability data pipeline - vector

# kubernetes(k8s) pods stdout,stderr 는 노드의 다음에 경로에 저장된다.

/var/log/pods

/var/log/containers (pods 하위 컨테이너 로그 파일들이 이곳에 링크로 걸려 있음)

https://kubernetes.io/docs/concepts/cluster-administration/logging/#log-location-node

# 이런 pod 로그들을 예전에는 fluentd 에서 정재 -> es / kafka 로 보냈는데,

# 요즘에는 fluentd 대신 vector(observability data pipeline - agent & aggregator) 를 많이 사용하는것 같다.

# rust 로 만들어서인지 안정성과 성능이 좋은것 같다. 

# https://github.com/vectordotdev/vector

# helm 으로 설치

helm repo add vector https://helm.vector.dev

helm repo update

# helm value 설정

# https://github.com/vectordotdev/helm-charts/blob/develop/charts/vector/values.yaml#L14

# vector 는 다음 3가지 형태(role)로 배포 할 수 있다.

# agent: daemonset 으로 모든 노드의 data(stdout)를 수집

# sidecar: 파드별 pod에 사이드카로 vector 를 띄워 pod에 대해서만 수집

# aggregator: 다른 스트림으로 부터 입력(수집) 

# customConfig 로 디폴트 설정을 대신할 수 있다.

# config 설정: https://vector.dev/docs/reference/configuration/

# configmap > data 설정된다.

# kubernetes_logs,host_metrics,internal_metrics(source) -> transform -> prometheus_exporter,console(sink) 로 소비하는 흐름

cat << zzz > values.yaml

role: Agent

customConfig:

  data_dir: /vector-data-dir

  api:

    enabled: true

    address: 127.0.0.1:8686

    playground: false

  sources:

    kubernetes_logs:

      type: kubernetes_logs

    host_metrics:

      filesystem:

        devices:

          excludes: [binfmt_misc]

        filesystems:

          excludes: [binfmt_misc]

        mountpoints:

          excludes: ["*/proc/sys/fs/binfmt_misc"]

      type: host_metrics

    internal_metrics:

      type: internal_metrics

  sinks:

    prom_exporter:

      type: prometheus_exporter

      inputs: [host_metrics, internal_metrics]

      address: 0.0.0.0:9090

    stdout:

      type: console

      inputs: [kubernetes_logs]

      encoding:

        codec: json

zzz

# 설치 하면 Agent 면 daemonset 으로 worker/ingress 노드들에 vector pod 가 설치된다.

helm install vector vector/vector --namespace vector --create-namespace --values values.yaml

# vector 버전업 반영시

helm repo update

helm upgrade vector vector/vector --namespace vector --values values.yaml

# vector 삭제시

helm uninstall vector --namespace vector

# vector 처리 현황 보기

kubectl -n vector exec -it daemonset/vector -- vector top --url http://127.0.0.1:8686/graphql

# k8s log -> filter -> remap -> kafka,elasticsearch,console 로 보내는 경우

# console 은 vector pod log 에서 확인

# vi values.yaml

role: Agent

customConfig:

  data_dir: /vector-data-dir

  api:

    enabled: true

    address: 127.0.0.1:8686

    playground: false

  sources:

    k8s_log:

      type: kubernetes_logs

      # namespace 가 kube_system 아닌것 중 ysoftman 인 것만

      # https://kubernetes.io/docs/concepts/overview/working-with-objects/field-selectors/#chained-selectors

      extra_field_selector: metadata.namespace=!kube_system,metadata.namespace=ysoftman

  transforms:

    k8s_transform1:

      type: filter

      inputs:

        - k8s_log

      condition: .level != "debug"

    k8s_transform2:

      type: remap

      inputs:

        - k8s_transform1

      source: |

        # % root of the event metadata

        # . root of the event

        # set es index name

        %custom_type = "sample"

        if .message == r'.*error.*' {

          # % root of the event metadata

          %custom_type = "error"

        }

  sinks:

    kafka_log:

      type: kafka

      inputs: [k8s_transform2]

      bootstrap_servers: logis-kafka-dev.daumtools.com:9092

      topic: kave-dev-sample

      encoding:

        codec: json

    es_log:

      type: elasticsearch

      inputs:

        - k8s_transform2

      endpoints:

        - http://ysoftman.es:9200

      bulk:

        index: "ysoftman-sample-%Y-%m-%d"

    console_log:

      type: console

      inputs: [k8s_transform2]

      encoding:

        codec: json