广州市建设注册中心网站,外贸网站建设及优化ppt,设计师网站接单,做网站栏目都包括什么安装Prometheus Operator
目前网上主要有两种安装方式#xff0c;分别为#xff1a;1. 使用kubectl基于manifest进行安装 2. 基于helm3进行安装。第一种方式比较繁琐#xff0c;需要手动配置yaml文件#xff0c;特别是需要配置pvc相关内容时#xff0c;涉及到的yaml文件太…安装Prometheus Operator
目前网上主要有两种安装方式分别为1. 使用kubectl基于manifest进行安装 2. 基于helm3进行安装。第一种方式比较繁琐需要手动配置yaml文件特别是需要配置pvc相关内容时涉及到的yaml文件太多故本文选用第二种基于helm安装的方式。 下面开始重点介绍安装流程其实安装过程可以概括为以下几点
配置服务类型主要是altermanager/prometheus/grafana这三个服务如果想在浏览器访问就需要进行服务类型的配置默认情况使用的是ClusterIP这样无法在浏览器中访问这里我们使用LoadBalancer和ingress的方式配置服务这样我们就可以使用域名和IP:Port进行访问。关于ingress与LoadBalaner的部署可以参考 第二篇k8s之ingress-nginx-controller与metallb部署持久化存储的使用默认安装没有配置持久化存储默认情况是安装到部署的节点本地这里会有数据丢失的风险生产环境下需要配置自己的持久化存储我这里使用的是ceph rbd作为storageclass,如果没有安装ceph csi, 可以参考我之前的文章 第三篇k8s之容器存储接口(CSI)ceph-csi-rbd部署
配置altermanager/prometheus/grafana三个服务
服务类型配置
将这个服务的类型由ClusterIP改成LoadBalancer
分别在这三个服务对应的session下找到service项进行如下配置
prometheus:...service:...type: LoadBalancer将grafana的服务开启并配置ingress公司内部通过域名访问
修改grafana配置下的ingress选项开启功能并配置hosts
grafana:...ingress:enable: true...hosts: [monitor.prod.wuyacapital.com]所有Pod绑定到master节点 (可选项没有这方面的需求可以跳过)
为方便管理应用服务将应用服务与每日作业计算任务进行区分所有Pod均绑定到master类型的节点上这里通过使用affinity进行配置对应的Pod.
所涉及的Pod主要包括grafana, kube-state-metrics, prometheusOperator, prometheus, alertmanager。其中 grafana, kube-state-metrics, prometheusOperator由于没有Spec配置所以直接放在其声明下即可例如
grafana: # prometheusOperator/kube-state-metrics 类似...affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: kubernetes.io/hostnameoperator: Invalues:- master01- master02- master03...对于 prometheus, alertmanager由于有Spec配置所以放在各自的session下即可例如
prometheus: # alertmanager 对应 alertmanagerSpec, 配置类似添加下面affinity的内容即可...prometheusSpec:...affinity:nodeAffinity:requiredDuringSchedulingIgnoredDuringExecution:nodeSelectorTerms:- matchExpressions:- key: kubernetes.io/hostnameoperator: Invalues:- master01- master02- master03...storage配置
Prometheus在使用过程中会涉及到指标数据的存储问题下面是Prometheus的架构图 这里我们可以看到我们需要存储指标数据以方便监控系统Grafana进行读取并展示。
我们使用的持久化存储为ceph rbd存储对应的storageclass为csi-rbd-sc, 这是我之前创建的存储类现在可以在这直接调用涉及到存储的部分主要有以下2处
(1) alertmanager—alertmanagerSpec—storage
(2) prometheus—prometheusSpec—storageSpec
内容如下
volumeClaimTemplate:spec:storageClassName: csi-rbd-scaccessModes: [ReadWriteOnce]resources:requests:storage: 100Gi #根据实际情况设置配置完成后查看完整的配置文件
启动部署脚本
helm upgrade --install prometheus --namespace monitoring --create-namespace prometheus-community/kube-prometheus-stack -f prometheus.yaml --debug
查看所有Pod的资源信息
master01 ➜ helm git:(master) ✗ kubectl get pod -n monitoring
NAME READY STATUS RESTARTS AGE
alertmanager-prometheus-kube-prometheus-alertmanager-0 2/2 Running 1 (3h47m ago) 3h49m
prometheus-grafana-bc859db95-s2pzh 3/3 Running 0 172m
prometheus-kube-prometheus-operator-8995df666-d7wl5 1/1 Running 0 3h49m
prometheus-kube-state-metrics-6855494647-njsc5 1/1 Running 0 166m
prometheus-prometheus-kube-prometheus-prometheus-0 2/2 Running 0 3h49m
prometheus-prometheus-node-exporter-56m49 1/1 Running 0 3h49m
prometheus-prometheus-node-exporter-5b5cx 1/1 Running 0 3h49m
prometheus-prometheus-node-exporter-khzzn 1/1 Running 0 3h49m
prometheus-prometheus-node-exporter-nfj5m 1/1 Running 0 3h49m
prometheus-prometheus-node-exporter-pcjgz 1/1 Running 0 3h49m
prometheus-prometheus-node-exporter-r6r82 1/1 Running 0 3h49m
prometheus-prometheus-node-exporter-t8dsh 1/1 Running 0 3h49m
说明部署成功。
可以查看service信息并打开浏览器查看prometheus服务http://192.168.1.192:9090, 查看所有的target是否监控成功
master01 ➜ helm git:(master) ✗ kubectl get svc -n monitoring
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
alertmanager-operated ClusterIP None none 9093/TCP,9094/TCP,9094/UDP 3h50m
prometheus-grafana ClusterIP 10.101.246.163 none 80/TCP 3h50m
prometheus-kube-prometheus-alertmanager LoadBalancer 10.102.35.159 192.168.1.194 9093:30033/TCP 3h50m
prometheus-kube-prometheus-operator LoadBalancer 10.101.1.10 192.168.1.193 443:30001/TCP 3h50m
prometheus-kube-prometheus-prometheus LoadBalancer 10.106.88.156 192.168.1.192 9090:31242/TCP 3h50m
prometheus-kube-state-metrics ClusterIP 10.109.156.237 none 8080/TCP 3h50m
prometheus-operated ClusterIP None none 9090/TCP 3h50m
prometheus-prometheus-node-exporter ClusterIP 10.105.10.206 none 9100/TCP 3h50m
这里可以看到所有服务均可监控。
targets无法监控的问题
注意这里经常会遇到这样的问题kube-controller-manager与kube-scheduler的target是Down的状态原因是因为这两个服务无法访问为什么无法访问原因是因为在k8s集群创建时这两个服务的的bind-address绑定的是127.0.0.1所以无法通过其他服务器访问。
解决方案分别在这三台服务器上打开 /etc/kubernetes/manifests/kube-controller-manager.yaml与 /etc/kubernetes/manifests/kube-scheduler.yaml,然后找到bind-address这个字段将后面的127.0.0.1替换成0.0.0.0即可。这里无需重启对应的服务k8s会自动读取最新的配置。改完之后过一会就可以看到这2哥监控正常了。
参考文档解决controller与scheduler无法访问的问题
卸载流程
helm uninstall prometheus -n monitoring
kubectl delete crd alertmanagerconfigs.monitoring.coreos.com
kubectl delete crd alertmanagers.monitoring.coreos.com
kubectl delete crd podmonitors.monitoring.coreos.com
kubectl delete crd probes.monitoring.coreos.com
kubectl delete crd prometheuses.monitoring.coreos.com
kubectl delete crd prometheusrules.monitoring.coreos.com
kubectl delete crd servicemonitors.monitoring.coreos.com
kubectl delete crd thanosrulers.monitoring.coreos.com查看pvc是否需要手动删除
