kafka常用指令

1. 前言

kafka作为数据中间键在数据服务解耦,大数据,日志方面堪称一把瑞士军刀,备受青睐,作为提供了一套完整命令行的程序,日常进行调试过程中难免会用到一些指令,现总结18条最常用指令。

2. 常用指令

  1. 启动消费者

    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -topic quickstart-events --from-beginning
    
  2. 启动生产者

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic quickstart-events
    
  3. 启动zookeeper

    /mnt/d/wsl/kafka_2.12-2.8.0# bin/zookeeper-server-start.sh config/zookeeper.properties
    
  4. 启动kafka服务端进程

    /mnt/d/wsl/kafka_2.12-2.8.0# bin/kafka-server-start.sh config/server.properties
    
  5. 创建topic

    bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181
    
  6. 查看topic

    bin/kafka-topics.sh --list --zookeeper localhost:2181
    
  7. 查看所有topic

    ./bin/kafka-topics.sh --zookeeper localhost:2181 --list 
    
  8. 删除某个topic

    bin/kafka-topics.sh --delete --topic synch.postgres_db  --zookeeper localhost:2181
    
  9. 查看topic详情

    bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic soar_alarm --describe
    
  10. 查看topic消费进度,必须参数为--group, 不指定--topic,默认为所有topic

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service
    
  11. 列出所有主题中的所有用户组

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members
    
    # 输出
    CONSUMER-ID                                  HOST            CLIENT-ID       #PARTITIONS
    rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24  rdkafka         1
    
  12. 删除消费者组

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --delete --group merge_data_service
    
  13. 通过 state 参数来查看消费组当前的状态

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --state
    
    # 输出
    COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
    linkage:9094 (1001)       range                     Stable               1
    
  14. 通过 verbose 参数,那么还会罗列出每个消费者成员的分配情况

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members --verbose
    
    # 输出
    CONSUMER-ID                                  HOST            CLIENT-ID       #PARTITIONS     ASSIGNMENT
    rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24  rdkafka         1               soar_alarm_merge(0)
    
    
  15. 查看所有消费者组

    ./bin/kafka-consumer-groups.sh --bootstrap-server 10.48.93.9:9092 --list
    # 输出
    sabre.monitor
    merge_data_service
    rule_data_topic
    test-consumer-gr
    filebeat-soar
    salmon_groupid_002
    
  16. 查看 集群版 topic详情

    ./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181  --describe --topic test05
    
  17. 获取某个topic每个分区的文件条目

    ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic SOAR_OCNN57
    
  18. 彻底删除topic

    # 进入zookeeper客户端
    zookeeper-client
    rmr /admin/delete_topics/soar_alarm_merge
    rmr /brokers/topics/soar_alarm_merge
    

热门相关:骑士归来   寂静王冠   豪门闪婚:帝少的神秘冷妻   大神你人设崩了   禁止性爱:欲罢不能