祺石业务运维监控分析系统(QS-WSM)

Apache Kafka

【操作步骤】

1.下载安装

省略...

2.配置

2.1 jmx_exporter

将下载的jmx_prometheus_javaagent-0.14.0.jar 放在Kafka的安装目录下

2.2配置Kafka-agent.yaml

当然这个文件是没有的要在Kafka的安装目录下创建

配置如下:

hostPort: 0.0.0.0:9999
lowercaseOutputName: true
whitelistObjectNames:
 - "kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions"
 - "kafka.server:type=ReplicaManager,name=IsrShrinksPerSec"
 - "kafka.server:type=ReplicaManager,name=IsrExpandsPerSec"
 - "kafka.controller:type=KafkaController,name=ActiveControllerCount"
 - "kafka.controller:type=KafkaController,name=OfflinePartitionsCount"
 - "kafka.network:type=RequestMetrics,name=TotalTimeMs,request={Produce-FetchConsumer-FetchFollower}"
 - "kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec"
 - "kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec"
 - "kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec"
 - "kafka.controller:type=ControllerStats, name=LeaderElectionRateAndTimeMs"
 - "kafka.controller:type=ControllerStats, name=UncleanLeaderElectionsPerSec"
 - "kafka.server:type=ProducerRequestPurgatory,name=PurgatorySize"
 - "kafka.server:type=FetchRequestPurgatory,name=PurgatorySize"
 - "kafka.producer:type=producer-metrics,client-id=([-.w]+)"

2.3修改Kafka的启动文件

修改Kafka-server-start.sh

在上方添加:

export JMX_PORT="9999"
export KAFKA_OPTS="-javaagent:/usr/local/kafka/jmx_prometheus_javaagent-0.14.0.jar=9990:/usr/local/kafka/kafka-agent.yaml"