2024-09-06 10:03:59 +08:00
< h1 > < center > 云原生监控-Prometheus< / center > < / h1 >
作者：行癫（盗版必究）
------
## 一：
#### 1.简介
，
#### 2.特点
，
#### 3.指标
#### 4.数据模型
指标名称：
（
例如：
```shell
api_http_requests_total{method="POST", handler="/messages"}
```
## 二：
#### 1.获取二进制安装包
#### 2.解压安装
```shell
[root@prometheus ~]# tar xf prometheus-2.53.0.linux-amd64.tar.gz -C /usr/local/
[root@prometheus local]# mv prometheus-2.53.0.linux-amd64/ prometheus
```
#### 3.配置
```yaml
[root@prometheus prometheus]# cat prometheus.yml
# my global config
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: "prometheus"
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ["localhost:9090"]
```
##### 配置详解
配置块
`global` ：
`rule_files` ：
`scrape_configs` ：
```shell
scrape_interval 控制 Prometheus 抓取目标的频率
evaluation_interval 控制 Prometheus 评估规则的频率
```
#### 4.启动服务
```shell
[root@prometheus prometheus]# nohup ./prometheus --config.file=prometheus.yml &
```
#### 5.访问测试
Table视图：
获得指标：路径+`/metrics`
#### 6.调用案例
1.抓取的 Prometheus 中每秒返回状态代码 200 的 HTTP 请求率，参数图标如下：
`rate(promhttp_metric_handler_requests_total{code="200"}[1m])`
## 三：
#### 1.创建命名空间
```shell
[root@xingdiancloud-native-master-a prometheus]# kubectl create namespace prometheus
```
#### 2.Kubernetes创建服务账户
```yaml
[root@xingdiancloud-native-master-a prometheus]# cat serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: prometheus
namespace: prometheus
```
#### 3.创建角色和角色绑定
```yaml
[root@xingdiancloud-native-master-a prometheus]# cat role.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: prometheus
rules:
- apiGroups:
- ""
resources:
- nodes
- services
- endpoints
- pods
- nodes/proxy
verbs:
- get
- list
- watch
- apiGroups:
- "extensions"
resources:
- ingresses
verbs:
- get
- list
- watch
- apiGroups:
- ""
resources:
- configmaps
- nodes/metrics
verbs:
- get
- nonResourceURLs:
- /metrics
verbs:
- get
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: prometheus
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: prometheus
subjects:
- kind: ServiceAccount
name: prometheus
namespace: prometheus
```
#### 4.创建Secret
```yaml
[root@xingdiancloud-native-master-a prometheus]# cat secret.yaml
apiVersion: v1
kind: Secret
metadata:
name: prometheus-token
namespace: prometheus
annotations:
kubernetes.io/service-account.name: prometheus
type: kubernetes.io/service-account-token
```
#### 5.获取Token
```shell
[root@xingdiancloud-native-master-a prometheus]# kubectl -n prometheus describe secret prometheus-token
Name: prometheus-token
Namespace: prometheus
Labels: kubernetes.io/legacy-token-last-used=2024-07-01
Annotations: kubernetes.io/service-account.name: prometheus
kubernetes.io/service-account.uid: f0f6bda3-cd7a-4de4-982d-25c4e0810b84
Type: kubernetes.io/service-account-token
Data
====
ca.crt: 1310 bytes
namespace: 10 bytes
token: eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg
```
#### 6.安装采集器
```yaml
[root@xingdiancloud-native-master-a prometheus]# cat node-exporte.yaml
kind: DaemonSet
apiVersion: apps/v1
metadata:
name: node-exporter
annotations:
prometheus.io/scrape: 'true'
spec:
selector:
matchLabels:
app: node-exporter
template:
metadata:
labels:
app: node-exporter
name: node-exporter
spec:
containers:
- image: quay.io/prometheus/node-exporter:latest
#- image: 10.9.12.201/prometheus/node-exporter:latest
name: node-exporter
ports:
- containerPort: 9100
hostPort: 9100
name: node-exporter
hostNetwork: true
hostPID: true
tolerations:
- key: "node-role.kubernetes.io/master"
operator: "Exists"
effect: "NoSchedule"
```
#### 7.安装kube-state-metrics
官网地址：
创建服务账户
```yaml
[root@xingdiancloud-native-master-a metric]# cat service-account.yaml
apiVersion: v1
automountServiceAccountToken: false
kind: ServiceAccount
metadata:
labels:
app.kubernetes.io/component: exporter
app.kubernetes.io/name: kube-state-metrics
app.kubernetes.io/version: 2.12.0
name: kube-state-metrics
namespace: kube-system
```
创建集群角色
```yaml
[root@xingdiancloud-native-master-a metric]# cat cluster-role.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
labels:
app.kubernetes.io/component: exporter
app.kubernetes.io/name: kube-state-metrics
app.kubernetes.io/version: 2.12.0
name: kube-state-metrics
rules:
- apiGroups:
- ""
resources:
- configmaps
- secrets
- nodes
- pods
- services
- serviceaccounts
- resourcequotas
- replicationcontrollers
- limitranges
- persistentvolumeclaims
- persistentvolumes
- namespaces
- endpoints
verbs:
- list
- watch
- apiGroups:
- apps
resources:
- statefulsets
- daemonsets
- deployments
- replicasets
verbs:
- list
- watch
- apiGroups:
- batch
resources:
- cronjobs
- jobs
verbs:
- list
- watch
- apiGroups:
- autoscaling
resources:
- horizontalpodautoscalers
verbs:
- list
- watch
- apiGroups:
- authentication.k8s.io
resources:
- tokenreviews
verbs:
- create
- apiGroups:
- authorization.k8s.io
resources:
- subjectaccessreviews
verbs:
- create
- apiGroups:
- policy
resources:
- poddisruptionbudgets
verbs:
- list
- watch
- apiGroups:
- certificates.k8s.io
resources:
- certificatesigningrequests
verbs:
- list
- watch
- apiGroups:
- discovery.k8s.io
resources:
- endpointslices
verbs:
- list
- watch
- apiGroups:
- storage.k8s.io
resources:
- storageclasses
- volumeattachments
verbs:
- list
- watch
- apiGroups:
- admissionregistration.k8s.io
resources:
- mutatingwebhookconfigurations
- validatingwebhookconfigurations
verbs:
- list
- watch
- apiGroups:
- networking.k8s.io
resources:
- networkpolicies
- ingressclasses
- ingresses
verbs:
- list
- watch
- apiGroups:
- coordination.k8s.io
resources:
- leases
verbs:
- list
- watch
- apiGroups:
- rbac.authorization.k8s.io
resources:
- clusterrolebindings
- clusterroles
- rolebindings
- roles
verbs:
- list
- watch
```
创建角色绑定
```yaml
[root@xingdiancloud-native-master-a metric]# cat cluster-role-binding.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
labels:
app.kubernetes.io/component: exporter
app.kubernetes.io/name: kube-state-metrics
app.kubernetes.io/version: 2.12.0
name: kube-state-metrics
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: kube-state-metrics
subjects:
- kind: ServiceAccount
name: kube-state-metrics
namespace: kube-system
```
创建kube-state-metrics
```yaml
[root@xingdiancloud-native-master-a metric]# cat deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app.kubernetes.io/component: exporter
app.kubernetes.io/name: kube-state-metrics
app.kubernetes.io/version: 2.12.0
name: kube-state-metrics
namespace: kube-system
spec:
replicas: 1
selector:
matchLabels:
app.kubernetes.io/name: kube-state-metrics
template:
metadata:
labels:
app.kubernetes.io/component: exporter
app.kubernetes.io/name: kube-state-metrics
app.kubernetes.io/version: 2.12.0
spec:
automountServiceAccountToken: true
containers:
- image: registry.k8s.io/kube-state-metrics/kube-state-metrics:v2.12.0
#- image: 10.9.12.201/prometheus/kube-state-metrics:v2.12.0
livenessProbe:
httpGet:
path: /livez
port: 8080
initialDelaySeconds: 5
timeoutSeconds: 5
name: kube-state-metrics
ports:
- containerPort: 8080
name: http-metrics
- containerPort: 8081
name: telemetry
readinessProbe:
httpGet:
path: /metrics
port: 8081
initialDelaySeconds: 5
timeoutSeconds: 5
securityContext:
allowPrivilegeEscalation: false
capabilities:
drop:
- ALL
readOnlyRootFilesystem: true
runAsNonRoot: true
runAsUser: 65534
seccompProfile:
type: RuntimeDefault
nodeSelector:
kubernetes.io/os: linux
serviceAccountName: kube-state-metrics
```
创建服务
```yaml
[root@xingdiancloud-native-master-a metric]# cat service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app.kubernetes.io/component: exporter
app.kubernetes.io/name: kube-state-metrics
app.kubernetes.io/version: 2.12.0
name: kube-state-metrics
namespace: kube-system
spec:
clusterIP: None
ports:
- name: http-metrics
port: 8080
targetPort: http-metrics
- name: telemetry
port: 8081
targetPort: telemetry
selector:
app.kubernetes.io/name: kube-state-metrics
```
#### 8.配置Prometheus
```yaml
[root@prometheus prometheus]# cat prometheus.yml
# my global config
global:
scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"
# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: "prometheus"
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
- job_name: 'xingdiancloud-kubernetes-nodes'
static_configs:
- targets: ['10.9.12.205:9100','10.9.12.204:9100','10.9.12.203:9100']
metrics_path: /metrics
scheme: http
honor_labels: true
- job_name: "kube-state-metrics"
scheme: https
tls_config:
insecure_skip_verify: true
bearer_token: 'eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg'
kubernetes_sd_configs:
- role: endpoints
api_server: "https://10.9.12.100:6443"
tls_config:
insecure_skip_verify: true
bearer_token: 'eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg'
relabel_configs:
- source_labels: [__meta_kubernetes_service_name]
action: keep
regex: '^(kube-state-metrics)$'
- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
action: keep
regex: true
- source_labels: [__address__]
action: replace
target_label: instance
- target_label: __address__
replacement: 10.9.12.100:6443
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_pod_name, __meta_kubernetes_pod_container_port_number]
regex: ([^;]+);([^;]+);([^;]+)
target_label: __metrics_path__
replacement: /api/v1/namespaces/${1}/pods/http:${2}:${3}/proxy/metrics
- action: labelmap
regex: __meta_kubernetes_service_label_(.+)
- source_labels: [__meta_kubernetes_namespace]
action: replace
target_label: kubernetes_namespace
- source_labels: [__meta_kubernetes_service_name]
action: replace
target_label: service_name
- job_name: "kube-node-kubelet"
scheme: https
tls_config:
insecure_skip_verify: true
bearer_token: 'eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg'
kubernetes_sd_configs:
- role: node
api_server: "https://10.9.12.100:6443"
tls_config:
insecure_skip_verify: true
bearer_token: 'eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg'
relabel_configs:
- target_label: __address__
replacement: 10.9.12.100:6443
- source_labels: [__meta_kubernetes_node_name]
regex: (.+)
target_label: __metrics_path__
replacement: /api/v1/nodes/${1}:10250/proxy/metrics
- action: labelmap
regex: __meta_kubernetes_service_label_(.+)
- source_labels: [__meta_kubernetes_namespace]
action: replace
target_label: kubernetes_namespace
- source_labels: [__meta_kubernetes_service_name]
action: replace
target_label: service_name
- job_name: "kube-node-cadvisor"
scheme: https
tls_config:
insecure_skip_verify: true
bearer_token: 'eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg'
kubernetes_sd_configs:
- role: node
api_server: "https://10.9.12.100:6443"
tls_config:
insecure_skip_verify: true
bearer_token: 'eyJhbGciOiJSUzI1NiIsImtpZCI6ImpzLWJHQXBELURyeUFXZU1Pb0NMYVFVRW40VHVrR3ZJaUR5VlNLajY1ZDAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJwcm9tZXRoZXVzIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6InByb21ldGhldXMtdG9rZW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoicHJvbWV0aGV1cyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImYwZjZiZGEzLWNkN2EtNGRlNC05ODJkLTI1YzRlMDgxMGI4NCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpwcm9tZXRoZXVzOnByb21ldGhldXMifQ.g5QsgIfarQ4l5N_1-8j7oE9WJj5bHS27DSinLdGMBwTDjmHrKcrvH_DRnvm4VYQ4zDTNrauk0Yks1S4ZIEsrKv_Iob4VliVRoMCPw1l3BOBZe9T7oDc8sJAYk2fR-rIdYEfgwMtVrXuLHIs3tklTXimUD4_EnzoVBpFshXeXlpITDNMfkh2Uhc6C63cA9Cdt2Wxyjnb3Dz7P27H2pDO2AJ8A-q0JgVLpKNSKks4TaEBeAI6TSZpO1IJIia-OFJpeLJsLUK4xCOc5NIzeUp09O8kbDc0E1c0Jdx1sGQcsP-2Y5YXzeQ_vus0Z4MaqTxNARr95WTW1HfgILw0M5rijWg'
relabel_configs:
- target_label: __address__
replacement: 10.9.12.100:6443
- source_labels: [__meta_kubernetes_node_name]
regex: (.+)
target_label: __metrics_path__
replacement: /api/v1/nodes/${1}:10250/proxy/metrics/cadvisor
- action: labelmap
regex: __meta_kubernetes_service_label_(.+)
- source_labels: [__meta_kubernetes_namespace]
action: replace
target_label: kubernetes_namespace
- source_labels: [__meta_kubernetes_service_name]
action: replace
target_label: service_name
static_configs:
- targets: ["10.9.12.173:9090"]
```
#### 9.启动Prometheus
```shell
[root@prometheus prometheus]# nohup ./prometheus --config.file=prometheus.yml &
```
#### 10.浏览器访问验证
#### 11.参数解释
```shell
scrape_configs:
- job_name: "prometheus"
# 默认的 `metrics_path` 是 `/metrics`
# 默认的 `scheme` 是 `http`
job_name: 用于标识该作业的名称，并作为标签 job=< job_name > 添加到从该配置抓取的任何时间序列。
metrics_path: 定义 Prometheus 将要抓取的路径，默认为 /metrics。
scheme: 定义抓取时使用的协议，默认为 http。我们使用https
kube-state-metrics 配置
scheme: 使用 https 协议。
tls_config: 配置 TLS，
bearer_token: 使用 Bearer Token 进行认证。
kubernetes_sd_configs: 使用 Kubernetes 服务发现配置。
role: endpoints: 指定角色为 endpoints，
api_server: Kubernetes API 服务器的地址。
relabel_configs: 重新标签配置，用于动态生成指标标签。
source_labels: [__meta_kubernetes_service_name]: 仅保留 kube-state-metrics 服务。
source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]: 仅保留被标记为 true 的服务。
source_labels: [address]: 将原地址替换为 instance 标签。
target_label: address: 将所有地址替换为 10.9.12.100:6443。
source_labels: 将命名空间、pod 名称和端口号组合成新的 metrics_path。
labelmap: 将所有 Kubernetes 服务标签映射到 Prometheus 标签。
source_labels: [__meta_kubernetes_namespace]: 替换命名空间标签。
source_labels: [__meta_kubernetes_service_name]: 替换服务名称标签。
kube-node-kubelet 配置
role: node: 指定角色为 node，
relabel_configs: 重新标签配置。
target_label: address: 将所有地址替换为 10.9.12.100:6443。
source_labels: [__meta_kubernetes_node_name]: 使用节点名称构造新的 metrics_path。
kube-node-cadvisor 配置
role: node: 指定角色为 node，
relabel_configs: 重新标签配置。
target_label: address: 将所有地址替换为 10.9.12.100:6443。
source_labels: [__meta_kubernetes_node_name]: 使用节点名称构造新的 metrics_path。
static_configs: 定义静态配置目标。
targets: 定义静态目标地址。
通过以上配置，
```
## 四：
#### 1.Grafana简介
##### 版本
##### Grafana OSS (Open Source Software)
**数据源支持** ：支持多种数据源，包括 Prometheus、Graphite、Elasticsearch、MySQL、PostgreSQL 等
**仪表盘和可视化** ：提供丰富的可视化组件，可以创建各种图表、仪表盘和告警
**插件生态系统** ：支持社区和官方开发的插件，可以扩展 Grafana 的功能
**用户管理** ：提供基本的用户和组织管理功能
**告警** ： ，
##### Grafana Enterprise
**高级数据源** ：除了支持 OSS 中的数据源外， ，
**企业插件** ：提供专有的企业插件和增强功能
**团队和角色管理** ：提供更细粒度的权限管理，可以针对不同的团队和角色设置不同的权限
**审计日志** ：记录用户操作日志，方便审计和合规管理
**报表和导出** ：支持生成报表和数据导出功能
**企业支持** ：提供专业的技术支持和咨询服务
#### 2.安装部署
注意
，
##### 安装方式
##### 获取二进制包
```shell
[root@grafana ~]# wget https://dl.grafana.com/oss/release/grafana-11.1.0.linux-amd64.tar.gz
```
##### 安装
```shell
[root@grafana ~]# tar xf grafana-11.1.0.linux-amd64.tar.gz -C /usr/local/
[root@grafana ~]# mv /usr/local/grafana-v11.1.0/ /usr/local/grafana
```
##### 安装数据库
， ， ，
，
##### 安装Redis
，
，
，
##### 配置Grafana
配置文件官方地址：
Grafana 实例的默认设置存储在该`$WORKING_DIR/conf/defaults.ini`文件中
自定义配置文件可以是文件`$WORKING_DIR/conf/custom.ini`或`/usr/local/etc/grafana/grafana.ini`
##### 参数解释
服务端配置：
```shell
[server]
# Protocol (http, https, h2, socket)
protocol = http
# Minimum TLS version allowed. By default, this value is empty. Accepted values are: TLS1.2, TLS1.3. If nothing is set TLS1.2 would be taken
min_tls_version = ""
# The ip address to bind to, empty will bind to all interfaces
http_addr = 10.9.12.172
# The http port to use
http_port = 3000
# The public facing domain name used to access grafana from a browser
domain = localhost
# Redirect to correct domain if host header does not match domain
# Prevents DNS rebinding attacks
enforce_domain = false
# The full public facing url
root_url = %(protocol)s://%(domain)s:%(http_port)s/
# Serve Grafana from subpath specified in `root_url` setting. By default it is set to `false` for compatibility reasons.
serve_from_sub_path = false
```
**`protocol`**：设置为 `http` 以使用 HTTP 协议
**`min_tls_version`**：此参数在 HTTP 协议下不需要配置，可以留空
**`http_addr`**：绑定的 IP 地址，设置为 `10.9.12.172`
**`http_port`**： `3000`
**`domain`**：域名，设置为 `localhost`
**`enforce_domain`**：设置为 `false` 以禁用域名重定向检查
**`root_url`**：设置为 `http://localhost:3000/` ，包含协议、域名和端口
**`serve_from_sub_path`**：如果你不需要从子路径提供服务，设置为 `false`
连接数据库配置：
```shell
[database]
# You can configure the database connection by specifying type, host, name, user and password
# as separate properties or as a url in the following format:
# url = postgres://grafana:grafana@localhost:5432/grafana
# Either "mysql", "postgres" or "sqlite3", it's your choice
type = mysql
host = 127.0.0.1:3306
name = grafana
user = root
password = your_password
# Use either URL or the previous fields to configure the database
# url = mysql://root:your_password@127.0.0.1:3306/grafana
# For "postgres" only, either "disable", "require" or "verify-full"
ssl_mode = disable
# For "sqlite3" only, path relative to data_path setting
# file = grafana.db
```
**`type`**：设置为 `mysql` 以使用 MySQL 数据库
**`host`**：设置为 MySQL 数据库的地址和端口
**`name`**：数据库名称
**`user`**：数据库用户
**`password`**：数据库用户的密码
连接Redis配置：
```shell
# Cache configuration section
[cache]
# Cache type: Either "redis", "memcached" or "database" (default is "database")
type = redis
# Cache connection string options
# database: will use Grafana primary database.
# redis: config like redis server e.g. `addr=127.0.0.1:6379,pool_size=100,db=0,ssl=false`. Only addr is required. ssl may be 'true', 'false', or 'insecure'.
# memcache: 127.0.0.1:11211
connstr = addr=10.9.12.206:6379,pool_size=100,db=0,ssl=false
# Prefix prepended to all the keys in the remote cache
prefix = grafana_
# This enables encryption of values stored in the remote cache
encryption = true
```
**`type`**：缓存类型，可以是 `redis` 、`memcached` 或 `database` 。默认是 `database` ，即使用 Grafana 的主数据库进行缓存
**`connstr`**：缓存连接字符串，根据缓存类型不同而不同
- **`database`**：无需配置连接字符串，会自动使用 Grafana 的主数据库
- **`redis`**：配置类似 `addr=127.0.0.1:6379,pool_size=100,db=0,ssl=false` 。其中 `addr` 是必需的，`ssl` 可以是 `true` 、`false` 或 `insecure`
- **`memcache`**：配置类似 `127.0.0.1:11211`
**`prefix`**：在所有缓存键前添加的前缀，用于区分不同应用的数据
**`encryption`**：启用存储在远程缓存中的值的加密
##### 运行Grafana
```shell
[root@grafana ~]# nohup ./bin/grafana-server --config ./conf/defaults.ini &
```
注意：
##### 安装目录
**bin**：存放 Grafana 的可执行文件，通常包含 `grafana-server` 和 `grafana-cli` 等
**data**：存放运行时数据，如 SQLite 数据库文件、日志文件和临时文件等
**docs**：存放项目的文档，包括用户手册、开发者文档等
**npm-artifacts**：存放由 npm 构建生成的文件和包
**plugins-bundled**：包含预打包的插件，默认插件通常都放在这里
**README.md**：项目的 README 文件，包含项目的介绍、安装使用说明等信息
**tools**：存放开发和维护 Grafana 的工具脚本或程序
**conf**：存放 Grafana 的配置文件，如 `grafana.ini` 等
**Dockerfile**：用于构建 Grafana Docker 镜像的文件，定义了如何在 Docker 中安装和配置 Grafana
**LICENSE**：项目的许可证文件，说明了 Grafana 的使用和分发许可
**NOTICE.md**：包含版权和许可声明的文件，通常用于第三方组件的声明
**packaging**：包含用于构建和分发 Grafana 的打包脚本和配置文件
**public**：包含前端静态资源，如 HTML、CSS、JavaScript 文件等，用于 Grafana 的 Web 界面
**storybook**：用于存放 Storybook 配置和故事文件，
**VERSION**：包含当前 Grafana 版本号的文件，通常是一个文本文件
#### 3.使用案例
案例一：
##### 添加数据源
添加数据源： ， ， ： ，
指定数据源的名字，名字自定义，有意义就可以
指定数据源的地址，
保存及测试
##### 创建仪表盘
添加指标：
##### 查看图形
#### 4.Variables使用
##### 初识变量
（ ）
##### 使用原因
， ， ， ；
##### 如何定义
，
##### 变量类型
`Interval` （ ） ，
`Query` （ ） ， ， ， ，
`Datasource` （数据源）次变量 用于指定数据源， ， ， ，
`Custom` （自定义）用户自定义设置的变量
`Constant` （常量）定义可以隐藏的常量。对于要共享的仪表盘中包括路径或者前缀很有用。在仪表盘导入过程中。常量变量将成为导入时的选项
`Ad hoc filters` （ ）
`Text Box` （文本框）次变量用于提供一个可以自由输入的文本框
##### General配置
- Name（ ）
- Label（ ） ，
- Description （描述），类似于说明书可以省略
- Show on dashboard （展示在仪表盘）默认展示标签和值
##### Query options 配置
Data source（ ）
##### Refresh 配置
##### Selection options 配置
Multi-value：
##### Apply
##### Kubernetes应用案例
Node变量
Namespace变量
Pod变量
：
Containerd变量
： ，
变量在Dashboard中展示
###### 获取每个节点POD的数量
指标中调用变量
数据展示
###### 每个容器在该时间窗口内的总 CPU 使用率
指标中调用变量
```shell
rate(container_cpu_usage_seconds_total{job="xingdiancloud-kube-node-cadvisor", namespace="$Namespace", pod="$Pod", container="$Containerd"}[5m])
```
数据展示
## 五：
#### 1.Promql简介
，
，
， ， ，
， ，
， ： （ ） （ ） （ ） （ ）
#### 2.Promql基本语法
##### 语言数据类型
： ， ， ，
： ，
： ，
： ， ；
##### Literals数据格式
String literals： （ ‘ ’ ） （ ） （
Float literals： ：
##### Time series(时间序列)选择器
Instant vector selectors(即时矢量选择器)
，
案例：查询指标名`kubelet_http_requests_total`对应的所有time series表达式
> 可以通过在花括号 ( {}) 中附加一个逗号分隔的标签匹配器列表来进一步过滤这些时间序列
>
> 仅选择具有`kubelet_http_requests_total`度量名称且`instance`标签设置为`xingdiancloud-native-node-a`且其`job`标签设置为的时间序列`kube-node-kubelet`
```promql
kubelet_http_requests_total{instance="xingdiancloud-native-node-a",job="kube-node-kubelet"}
```
通过负匹配或正则表达式匹配tag选择时间序列， ：
> = 等于
> != 不等于
> =~ 选择与提供的字符串进行正则表达式匹配的标签
> !~ 选择与提供的字符串不匹配的标签
##### Range vector selectors(范围矢量选择器)
案例：为所有时间序列选择了过去 5 分钟内记录的所有值，指标名称`kubelet_http_requests_total`和`job`标签设置为`kube-node-kubelet`且`instance`标签设置为`xingdiancloud-native-node-a`
```promql
kubelet_http_requests_total{instance="xingdiancloud-native-node-a",job="kube-node-kubelet"}[5m]
```
##### Offset modifier(偏移修改器)
案例：返回`kubelet_http_requests_total`相对于当前查询评估时间过去 5 分钟的值
注意：
```promql
kubelet_http_requests_total offset 5m
```
##### Subquery(子查询)
> <instant_query> [ <range> : [<resolution>]] [offset <duration>]
>
> 注：<resolution>是可选的，默认为全局评估间隔
案例： （ ） ，
```promql
rate(container_cpu_usage_seconds_total{pod="calico-node-rzkp5"}[5m])[30m:1m]
```
#### 3.PromQL运算符
； ，
##### 算数运算符
> +（加法）
>
> \- （减法）
>
> \* （乘法）
>
> / （除法）
>
> %（模数）
>
> ^（幂）
##### 匹配运算符
> == （等于）
>
> != （不等于）
>
> \> （大于）
>
> < （小于）
>
> \>=（大于或等于）
>
> <=（小于或等于）
>
> `=~` (正则表达式匹配)
>
> `!~` (正则表达式不匹配)
##### 逻辑/集合运算符
> and
>
> or
>
> unless 过滤出左边向量里，右边没有的时间序列
##### 聚合运算符
> sum
>
> min
>
> max （最大值）
>
> avg （平均值）
>
> group （ ）
>
> stddev （计算维度上的总体标准偏差）
>
> stdvar （计算维度上的总体标准方差）
>
> count （计算向量中的元素个数）
>
> count_values（ ）
>
> bottomk （ ）
>
> topk （ ）
>
> quantile （在维度上计算 φ-quantile (0 ≤ φ ≤ 1)）
##### 选择运算符
> `{}` (标签选择器)
>
> `[]` (时间范围选择器)
##### 集合运算符
> on 指定了应该用于匹配的标签。只有这些标签完全匹配的向量才会被计算在内
>
> ignoring 指定了在匹配时应该忽略的标签；除了这些被忽略的标签外，其他标签必须匹配
>
> group_left、group_right 用于多对一或一对多的匹配，保留其他不匹配的标签
##### 函数调用
> ```
> rate() 函数用于计算每秒的平均变化率，通常用于计算每秒钟的平均增长量。它适用于计数器类型的指标，这些指标只会单调递增
> increase() 函数同样用于计算计数器指标的增长量，但它返回的是指定时间窗口内的增量总和
> delta() 函数用于计算任意类型指标的增量，它可以计算两个样本点之间的差值
> irate() 函数用于估计瞬时的变化率，它计算在最近的时间间隔内的变化率。与 rate() 相比，
> ```
##### 运算符优先级
> 聚合运算符
>
> 选择运算符
>
> 函数调用
>
> 逻辑运算符
>
> 匹配运算符
>
> 算术运算符
>
> 集合运算符
案例：
```promql
sum(rate(kubelet_http_requests_total{job="kube-node-kubelet"}[5m])) / sum(rate(kubelet_http_requests_total[5m]))
```
> `rate(kubelet_http_requests_total{job="kube-node-kubelet"}[5m])` 和 `rate(kubelet_http_requests_total[5m])` 中的选择运算符 `[]` 具有最高优先级
> 然后是函数调用 `rate()`
> 接下来是聚合运算符 `sum()`
> 最后是算术运算符 `/`
总结：了解这些优先级可以帮助你更准确地构建 PromQL 查询，确保查询按预期顺序执行
#### 4.PromQL内置函数
； ， ，
> abs()：
> absent()：
> absent_over_time()： ；
> ceil()：
> changes()： ， ，
> clamp()： ： ， ：
> day_of_month()：
> day_of_week()： ，
> days_in_month()：
> delta()：
案例：
```promql
delta(container_cpu_system_seconds_total{pod="calico-node-pwlrv"}[2h])
```
> **container**：表示特定容器的 CPU 使用情况
>
> **cpu**：表示 CPU 资源
>
> **system_seconds_total**：系统模式下使用的总 CPU 时间，系统模式指的是操作系统内核执行的时间。
> deriv()：
>
> 注：
> exp()：
> histogram_quantile()：分位直方图； histogram_quantile(φ scalar, b instant-vector) 从instant vector中获取数据计算q分位（ ） ； ， ；
案例：指标名为`kubelet_http_requests_duration_seconds_bucket`，
```promql
histogram_quantile(0.9,rate(kubelet_http_requests_duration_seconds_bucket[10m]))
```
案例：指标名`kubelet_http_requests_duration_seconds_bucket`对应的每个tags组合（ ） ， ，
```promql
histogram_quantile(0.9, sum(rate(kubelet_http_requests_duration_seconds_bucket[10m])) by (instance, le))
```
> hour()：
> increase()：
案例：返回范围向量中每个时间序列在过去 5 分钟内测量的 HTTP 请求数
```
increase(kubelet_http_requests_total{instance="xingdiancloud-native-node-a"}[5m])
```
> 注： （ ） ， ，
> irate()：
案例：返回针对范围向量中每个时间序列的两个最近数据点的 HTTP 请求的每秒速率，最多可追溯 5 分钟
```promql
irate(kubelet_http_requests_total{instance="xingdiancloud-native-node-a"}[5m])
```
> 注： ，
> ln()：
> log2()：
> rate()：
案例：返回在过去 5 分钟内测量的每秒 HTTP 请求速率，范围向量中的每个时间序列
```派人快马起来、
rate(kubelet_http_requests_total{instance="xingdiancloud-native-node-a"}[5m])
```
> resets()： ，
>
> 注意：
> round()：
> scalar()： ， ，
> sort()：
> time()：
> year()：
#### 5.相关案例
**获取被监控的服务器内存的总量**
```promql
machine_memory_bytes
```
上图中每一行都是一个服务器的内存总量指标数据，后面是具体的值，单位： 字节。
**获取被监控节点每个节点POD数量**
```promql
kubelet_running_pods
```
**获取其中某一个节点POD数量**
```promql
kubelet_running_pods{instance="xingdiancloud-native-node-a"}
```
注意：`instance` 是一个标签，用来表示数据来源的实例。它通常用于区分不同的主机、服务器或服务实例；在 PromQL 查询中，`instance` 标签常用于筛选、分组和聚合来自不同实例的监控数据
#### 基本查询
**查询某个时间序列的最新值**
```promql
up
```
`up` 是一个内置指标，表示目标是否处于活动状态
**查询某个时间序列的所有数据点**
```promql
up[5m]
```
案例二：
**自带指标**
#### 比率和变化率
**计算指标在过去 5 分钟内每秒的变化率**
```promql
rate(kubelet_http_requests_total[5m])
kubelet_http_requests_total: 这个指标表示 Kubelet 处理的 HTTP 请求的总数。
rate(): 这个函数用于计算时间序列的平均速率。它需要一个时间范围作为参数。
[5m]: 这个时间范围表示计算过去 5 分钟内的数据。
```
##### 扩展了解
如果`kubelet_http_requests_total`指标包含`method`标签，你可以按 HTTP 方法分组查看请求速率：
```promql
rate(kubelet_http_requests_total{method="GET"}[5m])
```
如果 `kubelet_http_requests_total` 指标包含 `code` 标签，你可以按状态码分组查看请求速率
```
rate(kubelet_http_requests_total{code="200"}[5m])
```
## 六：企业案例
#### 1.监控Kubernetes集群中数据库MYSQL应用
， ； ； ， ，
##### 集群架构
##### 部署Mysql-exporter
###### 部署方式
（ ）
###### 简介
，
###### 功能
###### 常见 MySQL Exporter 指标
`mysql_global_status_uptime` : MySQL 服务器的运行时间
`mysql_global_status_threads_connected` : 当前连接的线程数
`mysql_global_status_threads_connected` : 当前连接的线程数
`mysql_global_status_slow_queries` : 慢查询的数量
`mysql_global_status_queries` : 总查询数
###### 安装部署
前提： ， ，
```yaml
[root@xingdiancloud-master mysql-exporter]# cat mysql-exporter.yaml
apiVersion: v1
kind: Secret
metadata:
name: mysql-exporter-secret
type: Opaque
data:
mysql_user: cm9vdA== # base64 encoded value of your MySQL username
mysql_password: MTIzNDU2 # base64 encoded value of your MySQL password
---
apiVersion: v1
kind: Service
metadata:
name: mysql-exporter-service
labels:
app: mysql-exporter
spec:
type: NodePort
ports:
- name: mysql-exporter
port: 9104
targetPort: 9104
nodePort: 30182
selector:
app: mysql-exporter
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: mysql-exporter
spec:
selector:
matchLabels:
app: mysql-exporter
template:
metadata:
labels:
app: mysql-exporter
spec:
containers:
- name: mysql-exporter
#image: prom/mysqld-exporter
image: 10.9.12.201/xingdian/mysql-exporter
env:
- name: DATA_SOURCE_NAME
value: "root:123456@(10.9.12.206:30180)/"
- name: DATA_SOURCE_PASS
valueFrom:
secretKeyRef:
name: mysql-exporter-secret
key: mysql_password
ports:
- containerPort: 9104
```
```shell
[root@xingdiancloud-master mysql-exporter]# kubectl create -f mysql-exporter.yaml
```
##### 关联Prometheus
前提： ， ，
```
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: 'xingdiancloud-mysql-exporter'
scrape_interval: 15s
static_configs:
- targets: ['10.9.12.206:30182']
```
##### 案例
注意：
###### 监控总查询数
数据源已添加完成
创建Dashboard
添加图标
选择数据源
选择指标
选择总查询数指标
标签过滤，如果监控数据库集群，可以使用标签指定对应的数据库主机
设置图标名字
获取数据
查看数据
保存并应用
###### 监控 MySQL 中 TPS 的指标
`mysql_global_status_commands_total` : 提交事务的次数
- `com_select` : 查询操作的次数
- `com_insert` : 插入操作的次数
- `com_update` : 更新操作的次数
- `com_delete` : 删除操作的次数
- `com_replace` : 替换操作的次数
- `com_load` : 加载数据操作的次数
- `com_commit` : 提交事务的次数
- `com_rollback` : 回滚事务的次数
- `com_prepare_sql` : 准备 SQL 语句的次数
- `com_stmt_execute` : 执行 SQL 语句的次数
- `com_stmt_prepare` : 准备 SQL 语句的次数
- `com_stmt_close` : 关闭 SQL 语句的次数
- `com_stmt_reset` : 重置 SQL 语句的次数
添加数据源
创建Dashboard
创建图标
设置指标
：
：
查询数据
设置图标名称
数据展示
管理员执行的操作的TPS
扩展该指标的command
`mysql_global_status_commands_total` 中的 `command` 标签代表了 MySQL 数据库执行的不同类型的命令，这些命令涵盖了数据库的各个方面，包括管理、查询、事务等
```shell
admin_commands: 管理命令，涉及数据库服务器的管理操作，如用户管理、权限管理等
user_commands: 用户命令，用户发起的数据库操作命令，如查询、更新等
delete: DELETE 操作的次数
insert: INSERT 操作的次数
update: UPDATE 操作的次数
select: SELECT 操作的次数
commit: 事务提交的次数
rollback: 事务回滚的次数
create_db: 创建数据库的次数
drop_db: 删除数据库的次数
create_table: 创建表的次数
drop_table: 删除表的次数
alter_table: 修改表结构的次数
set: 执行 SET 命令的次数
show: 执行 SHOW 命令的次数
.....
```
###### Grafana模板监控
获取模板地址：
Grafana导入模板
数据展示
#### 2.监控Kubernetes集群
##### 集群架构
##### 部署采集器
###### 简介
###### 部署
##### 常见指标
注意：指标名字可能会有所差别但是其原理不变
###### kubelet 相关指标
```shell
kubelet_running_pod_count: 当前运行的 Pod 数量
kubelet_running_containers: 当前运行的容器数量
kubelet_volume_stats_used_bytes: 使用的卷存储字节数
kubelet_volume_stats_available_bytes: 可用的卷存储字节数
```
###### kube-state-metrics 提供的指标
```shell
kube_deployment_status_replicas_available: 可用的部署副本数
kube_node_status_capacity_cpu_cores: 节点的 CPU 核心容量
kube_node_status_capacity_memory_bytes: 节点的内存容量
```
###### Kubernetes API Server 相关指标
```shell
apiserver_request_count: API 请求计数
apiserver_request_latencies: API 请求的延迟
```
###### Etcd 相关指标
```shell
etcd_server_has_leader: 是否存在 Etcd 集群的领导者
etcd_server_storage_db_size_bytes: Etcd 存储的数据库大小Etcd 相关指标
```
##### 案例
###### 集群中所有容器在该时间窗口内的总 CPU 使用率
添加数据源
创建Dashboard
创建图标
设置指标
：
：
表达式为
```shell
sum(rate(container_cpu_usage_seconds_total[$__rate_interval]))
```
数据展示
###### 集群某节点 CPU 核心在指定时间间隔内的空闲时间速率
添加数据源
创建Dashboard
创建图标
设置指标
```shell
sum by(cpu) (rate(node_cpu_seconds_total{job="xingdiancloud-kubernetes-nodes", instance="10.9.12.203:9100", mode="idle"}[$__rate_interval]))
```
指标解释
**`rate(node_cpu_seconds_total{...}[$__rate_interval])`**：
- `rate` 函数计算在指定时间间隔（`$__rate_interval`）内时间序列的每秒平均增长率。
- `node_cpu_seconds_total{...}` 过滤 `node_cpu_seconds_total` 指标，使其只包括以下标签：
- `job="xingdiancloud-kubernetes-nodes"` ：指定 Prometheus 监控任务的名称
- `instance="10.9.12.203:9100"` ：指定特定节点的实例地址。
- `mode="idle"` ：指定 CPU 模式为 `idle` ，即空闲时间
**`sum by(cpu) (...)`**：
- `sum by(cpu)` 汇总计算结果，按 `cpu` 标签分组
- 这意味着它会计算每个 CPU 核心的空闲时间速率
综上所述，这段查询语句的功能是：
- 计算特定节点（`10.9.12.203:9100`）上每个 CPU 核心在指定时间间隔内的空闲时间速率
- 结果按 CPU 核心进行分组和汇总
数据展示
## 七：
#### 1.监控简介
，
， ，
#### 2.监控架构
#### 3.Grafana Alerting
，
， ，
#### 4.原理图
`Alert rule` ：设置确定警报实例是否会触发的评估标准；警报规则由一个或多个查询和表达式、条件、评估频率以及满足条件的持续时间（可选）组成
`Labels` ：将警报规则及其实例与通知策略和静默相匹配；它们还可用于按严重性对警报进行分组
`Notification policy` ：设置警报的发送地点、时间和方式；每个通知策略指定一组标签匹配器来指示它们负责哪些警报；通知策略具有分配给它的由一个或多个通知者组成的联系点
`Contact points` ：定义触发警报时如何通知您的联系人；我们支持多种 ChatOps 工具，确保您的团队收到警报
#### 5.配置关联邮箱
##### 修改Grafana配置文件
```shell
[root@grafana grafana]# vim conf/defaults.ini
[smtp]
enabled = true 启用SMTP邮件发送 false：
host = smtp.163.com:25 SMTP服务器的主机名和端口
user = zhuangyaovip@163.com 用于身份验证的SMTP用户名，
password = MYNCREJBMRFBV*** 授权密码
cert_file = 用于TLS/SSL连接的证书文件路径； ，
key_file = 用于TLS/SSL连接的私钥文件路径； ，
skip_verify = true 是否跳过对SMTP服务器证书的验证； ： ； ：
from_address = zhuangyaovip@163.com 发送邮件时的发件人地址
from_name = Grafana 发送邮件时的发件人名称
ehlo_identity = 用于EHLO命令的标识符， ，
startTLS_policy = 指定STARTTLS的策略， ： ，
enable_tracing = false 是否启用SMTP通信的调试跟踪； ： ， ：
```
##### 重启服务
```
[root@grafana grafana]# nohup ./bin/grafana-server --config ./conf/defaults.ini &
```
##### 配置联络点
##### 指定联络点名称，收件人地址
##### 配置信息模板和主题模板
##### 测试是否可用
##### 收件人确认
至此，邮箱配置成功
#### 6.通知策略
##### 作用
##### 配置
#### 7.配置使用
##### 查看警报规则
关联数据源和Dashboard
###### 告警规则（ ）
- 告警规则是一组评估标准，用于确定告警实例是否会触发。该规则由一个或多个查询和表达式、一个条件、评估频率以及满足条件的持续时间（可选）组成
- 在查询和表达式选择要评估的数据集时，条件会设置告警必须达到或超过才能创建警报的阈值
- 间隔指定评估警报规则的频率。持续时间在配置时表示必须满足条件的时间。告警规则还可以定义没有数据时的告警行为
###### 告警规则状态（ ）
| 状态 | 描述 |
| :-----: | :-----------------------------------------------------: |
| Normal | 评估引擎返回的时间序列都不是处于Pending 或者 Firing状态 |
| Pending | 评估引擎返回的至少一个时间序列是Pending |
| Firing | 评估引擎返回的至少一个时间序列是Firing |
###### 告警规则运行状况（ ）
| 状态 | 描述 |
| :----: | :--------------------------------------------: |
| Ok | 评估告警规则时没有错误 |
| Error | 评估告警规则时没有错误 |
| NoData | 在规则评估期间返回的至少一个时间序列中缺少数据 |
###### 告警实例状态（ ）
| 状态 | 描述 |
| :------: | :--------------------------------------: |
| Normal | 既未触发也未挂起的告警状态，一切正常 |
| Pending | 已激活的告警状态少于配置的阈值持续时间 |
| Alerting | 已激活超过配置的阈值持续时间的告警的状态 |
| NoData | 在配置的时间窗口内未收到任何数据 |
| Error | 尝试评估告警规则时发生的错误 |
##### New alert rule
Enter alert rule name
Define query and alert condition
Rule type
Expressions
表达式
（ ）
（ ） ，
临界点参数：
IS ABOVE：
IS BELOW： ，
IS WITHIN RANGE：
IS OUTSIDE RANGE：
Set evaluation behavior
定义如何评估警报规则
Notifications
使用通知策略
使用联络点
保存规则
查看状态
查看是否接收到邮件
邮箱告警成功
修改临界点值回复正常状态
