• 技术文章 >Python技术 >Python基础教程

    Python中Kafka是什么

    小妮浅浅小妮浅浅2021-02-21 18:07:26原创4271

    1、什么是Kafka

    Kafka是一个分布式流处理系统,流处理系统使它可以像消息队列一样publish或者subscribe消息,分布式提供了容错性,并发处理消息的机制

    2、Kafka的基本概念

    kafka运行在集群上,集群包含一个或多个服务器。kafka把消息存在topic中,每一条消息包含键值(key),值(value)和时间戳(timestamp)。

    kafka有以下一些基本概念:

    Producer - 消息生产者,就是向kafka broker发消息的客户端。

    Consumer - 消息消费者,是消息的使用方,负责消费Kafka服务器上的消息。

    Topic - 主题,由用户定义并配置在Kafka服务器,用于建立Producer和Consumer之间的订阅关系。生产者发送消息到指定的Topic下,消息者从这个Topic下消费消息。

    Partition - 消息分区,一个topic可以分为多个 partition,每个

    partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。

    Broker - 一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。

    Consumer Group - 消费者分组,用于归组同类消费者。每个consumer属于一个特定的consumer group,多个消费者可以共同消息一个Topic下的消息,每个消费者消费其中的部分消息,这些消费者就组成了一个分组,拥有同一个分组名称,通常也被称为消费者集群。

    Offset - 消息在partition中的偏移量。每一条消息在partition都有唯一的偏移量,消息者可以指定偏移量来指定要消费的消息。

    以上就是Python中Kafka的介绍,希望能对大家有所帮助!

    专题推荐:python kafka
    上一篇:Python itemgetter函数怎么用? 下一篇:Python使用平面文件进行存储

    相关文章推荐

    • python列表中删除元素的三种方法• Python中Operator计算函数• python中remove()方法如何使用删除后的值?• Python itemgetter函数怎么用?

    全部评论我要评论

    © 2021 Python学习网 苏ICP备2021003149号-1

  • 取消发布评论
  • 

    Python学习网