认识达内从这里开始

认真做教育专心促就业

青岛it培训机构：kafka

发布：青岛it培训机构
来源：青岛it培训机构
时间：2018-05-03 17:09

大家好，今天为大家介绍一个非常火爆的大数据工具，kafka,希望大家喜欢
为什么是Kafka

青岛it培训班告诉我们，Kafka常用于实时流数据结构的实时分析。由于Kafka是一种快速、可扩展、可持久和高容错的发布-订阅消息系统（publish-subscribe messaging system），所以Kafka对于一些Use Case（有大数据量和高响应需求）的支持远好于JMS、RabbitMQ和AMQP.相比于那些工具，Kafka支持更高的吞吐量，更高的稳定性和副本（replication）特性。这使得它比传统的MOM更加适合跟踪服务调用（可以跟踪每次调用）或跟踪IoT传感器数据。

青岛it培训机构

Kafka可以与Flume/Flafka、Spark Streaming、Storm、HBase、Flink以及Spark配合使用，用于实时获取、分析和处理流数据。Kafka可以为Hadoop大数据湖（Hadoop BigData lake）提供数据流。Kafka Broker支持在Hadoop或Spark中低延时地处理和分析海量信息流。此外，Kafka子项目KafkaStreaming可用于实时分析。
什么是Kafka Use Case
简而言之，Kafka用于流处理、网站活动跟踪、度量收集和监视、日志聚合、实时分析、CEP、将数据注入Spark和Hadoop、CQRS、重放消息、错误恢复以及分布式提交内存计算（微服务）的日志。
谁在使用Kafka
许多需要快速处理大量数据的大公司都在使用Kafka.Kafka最初是由LinkedIn开发，用它来跟踪活动数据和运营指标。Twitter把它作为Storm的一部分来作为流处理的基础。Square把Kafka当作总线，将所有系统事件（日志，自定义事件，指标等）传输到各个Square数据中心，或者输出到Splunk,或者应用于Graphite（仪表板），或者实现Esper-like/ CEP警报系统。Spotify,Uber,Tumbler,Goldman Sachs,PayPal,Box,Cisco,CloudFlare和Netflix等公司也都在使用它。
为什么Kafka这么流行
青岛it培训班告诉我们，首先最主要的原因是Kafka具有极佳的性能表现。它非常稳定，能提供稳定的持久化，具有灵活的订阅-发布消息队列，可与N个消费者群组进行良好扩展，具有强大的复制功能，为生产者提供可调整的一致性保证，并在碎片级别提供保留排序（即Kafka主题分区）。其次，Kafka可以很好地兼容需要数据流处理的系统，并将这些系统融合、转换并加载到其他存储。另外，Kafka操作（配置和使用）都非常简单，而且Kafka的工作原理也很好理解。当然了，如果Kafka处理数据很慢，有再多其他优点都是没有意义的，所以，“多快好省”就是Kafka的最大优势。
为什么Kafka这么快
Kafka基于zero copy原则，深度依靠操作系统内核实现快速移动数据。Kafka能将数据记录分批处理。这些批次数据可以通过端到端的方式从生产者到文件系统（Kafka主题日志）再到消费者。批处理能实现更高效的数据压缩并减少I / O延迟。Kafka将不可变的提交日志写入连续磁盘，从而避免了随机磁盘访问和磁盘寻道速度慢的问题。Kafka支持增加分区进行横向扩展。它将主题日志分成几百个（可能有数千个）分区分布到数千个服务器。这种方式可以让Kafka承载海量负载。
希望对您有所帮助

更多青岛it培训机构相关资讯，请扫描下方二维码

青岛it培训机构