[Runtime Defense & Monitoring] - (1) Introduction

☁️ 클클 5기 시즌 1 스터디 : 90DaysOfDevOps 레포지토리를 바탕으로 공부합니다!

 

🏃 28 > System monitoring and auditing

90DaysOfDevOps/2023/day28.md at main · MichaelCade/90DaysOfDevOps

 

📍 System monitoring and auditing

• 시스템 모니터링 → 시스템 내에서 무슨 일이 일어나고 있는지에 대한 가시성 제공→ 보안 사고 감지 및 대응
• 런타임 보안에 모니터링이 중요한 이유 5가지
  1. Identifying security incidents(보안 사고 감지)
  2. Mitigating risks(사전 조치 → 위험 완화)
  3. Complying with regulations(규정 준수)
  4. Improving incident response(사고 대응 완화)
  5. Gaining visibility(가시성 확보) → 성능 최적화 및 문제 해결에 인사이트 제공

---

📍What to monitor and record?

• 모니터링 해야 하는 요소들 7가지
  1. Control plane logging : 인프라의 모든 오케스트레이션이 제어 플레인을 통해 이뤄지기 때문
  2. Operating level logs : 운영 체제 수준 이벤트 → 시스템 활동 추적, 오류와 보완 이벤트 감지
  3. Network activity : 네트워크 트래픽 모니터링 → 비정상적, 비허가 활동 식별
  4. Application activity and performance : 애플리케이션 수준에서 오작동, 공격 감지
  5. Resource utilization : CPU, 메모리, 디스크 공간 → 병목 현상 같은 성능 문제 식별
  6. Security configurations : 방화벽 규칙, 사용자 액세스 제어 등
  7. Backup and disaster recovery systems : 백업 및 재해 복구 시스템

---

📍실제 구현 실습

(1) Control plane monitoring

• 쿠버네티스의 이벤트 auditing(감사) 인프라인 auditing log
• Auditing 공식 문서

Auditing

• Audit policy : k8s API 서버에 무엇을 기록해야하는지 알려주는 구성 (파일 저장 or 웹 훅으로 전송)

 

🚀 실습

 

1️⃣ audit-policy 설정 후 minikube 시작

mkdir -p ~/.minikube/files/etc/ssl/certs
cat <<EOF > ~/.minikube/files/etc/ssl/certs/audit-policy.yaml
# Log all requests at the Metadata level.
apiVersion: audit.k8s.io/v1
kind: Policy
rules:
- level: RequestResponse
EOF
minikube start --extra-config=apiserver.audit-policy-file=/etc/ssl/certs/audit-policy.yaml --extra-config=apiserver.audit-log-path=-

 

▼ Output

 

 

2️⃣ log 파일로 어떤 내용이 저장되어 있는지 확인

kubectl logs kube-apiserver-minikube -n kube-system | grep audit.k8s.io/v1

→ 모든 API 동작이 stream에 로그되어서 인프라 요청의 모든 주요 요소(누가, 무엇을 언제)가 기록된다.

→ 파일 저장보다는 로깅 시스템 및 데이터베이스로 전달

 

▼ 기본 k8s에서 Promtail을 사용해서 Prometheus에 로그 전달하는 과정

Monitoring and Gathering Metrics from Kubernetes Audit Logs

Monitoring and Gathering Metrics from Kubernetes Audit Logs

Promtail agent | Grafana Loki documentation

Promtail agent | Grafana Loki documentation

▼ Output

{
 "kind":"Event",
 "apiVersion":"audit.k8s.io/v1",
 "level":"RequestResponse",
 "auditID":"940c44ba-867c-4b10-b8d0-d1909439828d",
 "stage":"RequestReceived",
 "requestURI":"/apis/storage.k8s.io/v1/csidrivers?limit=500\u0026resourceVersion=0",
 "verb":"list",
 "user":{"username":"system:node:minikube",
 "groups":["system:nodes","system:authenticated"]},
 "sourceIPs":["192.168.49.2"],
 "userAgent":"kubelet/v1.28.3 (linux/arm64) kubernetes/a8a1abc",
 "objectRef":{"resource":"csidrivers","apiGroup":"storage.k8s.io","apiVersion":"v1"},
 "requestReceivedTimestamp":"2024-03-24T18:51:57.319828Z",
 "stageTimestamp":"2024-03-24T18:51:57.319828Z"
 }
{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"RequestResponse","auditID":"2a25f269-a98f-4d38-9968-8fc3ced5d7c4","stage":"RequestReceived","requestURI":"/healthz","verb":"get","user":{"username":"system:kube-controller-manager","groups":["system:authenticated"]},"sourceIPs":["192.168.49.2"],"userAgent":"kube-controller-manager/v1.28.3 (linux/arm64) kubernetes/a8a1abc/shared-informers","requestReceivedTimestamp":"2024-03-24T18:51:57.320857Z","stageTimestamp":"2024-03-24T18:51:57.320857Z"}
{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"RequestResponse","auditID":"2a25f269-a98f-4d38-9968-8fc3ced5d7c4","stage":"ResponseComplete","requestURI":"/healthz","verb":"get","user":{"username":"system:kube-controller-manager","groups":["system:authenticated"]},"sourceIPs":["192.168.49.2"],"userAgent":"kube-controller-manager/v1.28.3 (linux/arm64) kubernetes/a8a1abc/shared-informers","responseStatus":{"metadata":{},"status":"Failure","message":"forbidden: User \"system:kube-controller-manager\" cannot get path \"/healthz\"","reason":"Forbidden","details":{},"code":403},"responseObject":{"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"forbidden: User \"system:kube-controller-manager\" cannot get path \"/healthz\"","reason":"Forbidden","details":{},"code":403},"requestReceivedTimestamp":"2024-03-24T18:51:57.320857Z","stageTimestamp":"2024-03-24T18:51:57.321207Z","annotations":{"authorization.k8s.io/decision":"forbid","authorization.k8s.io/reason":""}}
{"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"RequestResponse","auditID":"b840d8dc-4a8e-4035-aba6-67f313cb95a2","stage":"RequestReceived","requestURI":"/api/v1/nodes?fieldSelector=metadata.name%3Dminikube\u0026limit=500\u0026resourceVersion=0","verb":"list","user":{"username":"system:node:minikube","groups":["system:nodes","system:authenticated"]},"sourceIPs":["192.168.49.2"],"userAgent":"kubelet/v1.28.3 (linux/arm64) kubernetes/a8a1abc","objectRef":{"resource":"nodes","name":"minikube","apiVersion":"v1"},"requestReceivedTimestamp":"2024-03-24T18:51:57.321209Z","stageTimestamp":"2024-03-24T18:51:57.321209Z"}

 

실제로는 예쁘게 출력을 해주지 않아서... 우선 사진은 첨부해두록 하겠다

 

---

(2) Resource monitoring

• Prometheus(로깅 및 이벤트 데이터베이스) + Grafana(UI 및 대시보드) 조합이 👍🏻
• brew install helm 로 helm 미리 설치 필요하다! 

 

🚀 실습

1️⃣ helm 차트에서 prometheus와 grafana 설치 후 k8s에 서비스 expose

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo add grafana https://grafana.github.io/helm-charts
helm install prometheus prometheus-community/prometheus
helm install grafana grafana/grafana
kubectl expose service grafana --type=NodePort --target-port=3000 --name=grafana-np

 

▼ Output

"prometheus-community" has been added to your repositories
"grafana" has been added to your repositories
NAME: prometheus
LAST DEPLOYED: Mon Mar 25 04:10:07 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
The Prometheus server can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-server.default.svc.cluster.local


Get the Prometheus server URL by running these commands in the same shell:
  export POD_NAME=$(kubectl get pods --namespace default -l "app.kubernetes.io/name=prometheus,app.kubernetes.io/instance=prometheus" -o jsonpath="{.items[0].metadata.name}")
  kubectl --namespace default port-forward $POD_NAME 9090


The Prometheus alertmanager can be accessed via port 9093 on the following DNS name from within your cluster:
prometheus-alertmanager.default.svc.cluster.local


Get the Alertmanager URL by running these commands in the same shell:
  export POD_NAME=$(kubectl get pods --namespace default -l "app.kubernetes.io/name=alertmanager,app.kubernetes.io/instance=prometheus" -o jsonpath="{.items[0].metadata.name}")
  kubectl --namespace default port-forward $POD_NAME 9093
#################################################################################
######   WARNING: Pod Security Policy has been disabled by default since    #####
######            it deprecated after k8s 1.25+. use                        #####
######            (index .Values "prometheus-node-exporter" "rbac"          #####
###### .          "pspEnabled") with (index .Values                         #####
######            "prometheus-node-exporter" "rbac" "pspAnnotations")       #####
######            in case you still need it.                                #####
#################################################################################


The Prometheus PushGateway can be accessed via port 9091 on the following DNS name from within your cluster:
prometheus-prometheus-pushgateway.default.svc.cluster.local


Get the PushGateway URL by running these commands in the same shell:
  export POD_NAME=$(kubectl get pods --namespace default -l "app=prometheus-pushgateway,component=pushgateway" -o jsonpath="{.items[0].metadata.name}")
  kubectl --namespace default port-forward $POD_NAME 9091

For more information on running Prometheus, visit:
https://prometheus.io/
NAME: grafana
LAST DEPLOYED: Mon Mar 25 04:10:09 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
NOTES:
1. Get your 'admin' user password by running:

   kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo


2. The Grafana server can be accessed via port 80 on the following DNS name from within your cluster:

   grafana.default.svc.cluster.local

   Get the Grafana URL to visit by running these commands in the same shell:
     export POD_NAME=$(kubectl get pods --namespace default -l "app.kubernetes.io/name=grafana,app.kubernetes.io/instance=grafana" -o jsonpath="{.items[0].metadata.name}")
     kubectl --namespace default port-forward $POD_NAME 3000

3. Login with the password from step 1 and the username: admin
#################################################################################
######   WARNING: Persistence is disabled!!! You will lose your data when   #####
######            the Grafana pod is terminated.                            #####
#################################################################################
service/grafana-np exposed

 

 

2️⃣ Grafana 비밀번호 얻기

kubectl get secret --namespace default grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo

 

• Output : Grafana 비밀번호 (e.g : `rsv2K5qMKZSznzjnJXgLXr2b1MMlSBYwm3qvEVxL`)

 

3️⃣ Grafana URL 얻기

minikube service grafana-np --url

 

▼ Output ( ⚠️터미널 계속 켜둬야 한다!)

 

 

4️⃣  Grafana 로그인하기

 

3️⃣ 에서 얻는 URL 주소로 들어간다!

username에는 admin, Password에는 2️⃣에서 알려준 비밀번호를 입력하면 로그인이 된다!

 

로그인이 성공하면 다음과 같은 화면이 뜬다!

 

 

5️⃣  그라파나와 프로메테스와 연결하기

1. 데이터 소스(Data sources)에서 prometheus 클릭하고 추가한다.
2. Connection에 http://prometheus-server 라고 입력해주고 맨 아래로 스크롤 내려서 Save & Test 클릭해서 저장한다

 

 

6️⃣ 대시보드 불러오기

대시보드(Dashboards) 탭으로 가서 파란 버튼에서 Import 선택한다.

 

중간에 보이는 Find and import dashboards for common applications ... 에 6126 적고 Load 클릭한다.

이 번호는 공개된 대시보드 예시 중 하나이다.

 

마지막으로 프로메테우스와 대시보드를 연결하기 위해서

DataSource-Prometheus에서 default인 prometheus 선택

 

 

최종 결과물이 이렇게 나오면 성공~!