K8s使用prometheus监控pod的jvm内存

基础环境：

k8s集群，集群中已经安装prometheus。

第一步：下载监控使用的agent github连接：jmx_exporter

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.16.1/jmx_prometheus_javaagent-0.16.1.jar

第二步：编辑prometheus-jmx-config.yaml文件

vim jmx-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
 name: prometheus-jmx-config
 namespace: default
data:
 prometheus-jmx-config.yaml: |
    lowercaseOutputLabelNames: true
    lowercaseOutputName: true
    whitelistObjectNames: ["java.lang:type=OperatingSystem"]
    blacklistObjectNames: []
    rules:
      - pattern: 'java.lang<type=OperatingSystem><>(committed_virtual_memory|free_physical_memory|free_swap_space|total_physical_memory|total_swap_space)_size:'
        name: os_$1_bytes
        labels: {}
        type: GAUGE
        attrNameSnakeCase: true
      - pattern: 'java.lang<type=OperatingSystem><>((?!process_cpu_time)\w+):'
        name: os_$1
        labels: {}
        type: GAUGE
        attrNameSnakeCase: true

第三步：在启动的java程序中配置agent，通常配置在JAVA_OPTS中，因为java在启动时会读取JAVA_OPTS中的配置。

在环境变量中添加如下内容
JAVA_OPTS="-javaagent:/data/jmx_exporter/jmx_prometheus_javaagent-0.16.1.jar=12345:/jmx/jmx-config.yaml"
启动方式： java ${JAVA_OPTS} -jar app.jar
官方给出的例子是：
java -javaagent:./jmx_prometheus_javaagent-0.16.1.jar=8080:config.yaml -jar yourJar.jar
因为我们是在pod中可选的方法有很多：
第一种方法：
   直接在制作dockerImage时将jmx_prometheus_javaagent-0.16.1.jar和jmx-config.yaml 打包进去，在启动java项目时直接引用即可。
第二种方法（本文主要介绍）：
   使用configmap挂载jmx-config.yaml配置文件，将jmx_prometheus_javaagent-0.16.1.jar放在存储中挂载到容器内使用。

第四步：在prometheus配置文件中增加监控job

vim prometheus-configmap.yaml
......
    - job_name: jvm
      scrape_interval: 5s
      kubernetes_sd_configs:
      - role: endpoints
      relabel_configs:
      - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_jvm]
        action: keep
        regex: true
      - source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port]
        action: replace
        target_label: __address__
        regex: ([^:]+)(?::\d+)?;(\d+)
        replacement: $1:$2
      - source_labels: [__meta_kubernetes_service_name]
        action: replace
        regex: (.+)
        target_label: application
        replacement: $1
      - action: labelmap
        regex: __meta_kubernetes_service_label_(.+)

第五步：修改services 标签：

1.直接修改yaml文件： kubectl edit svc 你的service名字 
例：kubectl edit svc app
apiVersion: v1
kind: Service
metadata:
  annotations:                         #这是新增的annotate
    prometheus.io/jvm: "true"          #这是新增的lable
    prometheus.io/port: "12345"        #这是新增的lable
  labels:
    app: app
    name: app
  name: app
  namespace: default
spec:
  clusterIP: 10.247.4.104
  externalTrafficPolicy: Cluster
  ports:
  - name: cce-service-0
    nodePort: 30000
    port: 30000
    protocol: TCP
    targetPort: 30000
  selector:
    app: app
  sessionAffinity: None
  type: NodePort
status:
  loadBalancer: {}
2.直接命令行修改：
kubectl annotate svc 你的service名字 prometheus.io/jvm='true' prometheus.io/port='12345' --overwrite
例：
kubectl annotate svc app prometheus.io/jvm='true' prometheus.io/port='12345' --overwrite

第六步：检查prometheus 监控Targets （指标）是否存在job名为jvm的Targets

第七步：grafana添加模板

模板ID：8563