For investors
股价:
5.36 美元 %
认识达内从这里开始
认真做教育 专心促就业
使用中间组件推送数据到HDFS、HBase等存储系统是常见的使用案例.其中Flume是其中的一种,其他的还有KAFKA.
一个Agent是三个组件构成,分别是Source|Sink|Channel.
Source:负责获取事件到Agent
Channel:它是位于Source与Sink之间的缓冲区,保存通过Source传入到Flume Agent的数据,直到它被Sink移除.
Sink:Sink负责从Agent移走事件并转发到下个Agent.可以是 HDFS、HBASE、Solr等.
现在 Flume的使用率越来越高,它可以继续有效地提供高弹性|容错|可靠和高效的机制,将大量的数据从各种各样的数据源移动到目的地系统,如HDFS|HBase等.
一个很好的Flume拓扑,可以无限期地自运行.它提供了上下文的路由,当连接恢复时,通过提供可靠存储和重新发送消息的能力,能够处理宕机,网络中断问题.
Flume是专门设计用来从大量的源,推送数据到Hadoop生态系统中各种各样的存储系统中去的,例如HDFS|HBASE.
Flume被设计成为一个灵活的分布式系统,可以很容易地扩展,而且是高度可定制的,一个配置正确的Flume Agent和由相互连接的Agent创建的Agent的管道,保证不会丢失数据,提供持久的Channel.
Flume部署的最简单元是Agent.一个Agent可以连接一个或多个其他的Agent.一个Agent也可以从一个或多个Agent接受数据.通过相互连接的多个Flume Agent,一个流作业就建立.
大量的Agent从应用服务器接受数据,然后将数据写入到HDFS等.
Agent的数据流方式:
生产、接受的数据源写入数据到一个或者更多Channel,一个或者多个Sink从Channel读取这些事件,然后推送它们到下一个Agent,或存储系统.
Flume是一个分布式、可靠的和高可用的海量日志采集、集合和传输的系统.它可以定制各类数据发送方,用来收集数据,且Flume也可以对数据进行简单处理和写到各种数据接受方.
一个Agent是三个组件构成,分别是Source|Sink|Channel.
Source:负责获取事件到Agent
Channel:它是位于Source与Sink之间的缓冲区,保存通过Source传入到Flume Agent的数据,直到它被Sink移除.
Sink:Sink负责从Agent移走事件并转发到下个Agent.可以是 HDFS、HBASE、Solr等.
现在 Flume的使用率越来越高,它可以继续有效地提供高弹性|容错|可靠和高效的机制,将大量的数据从各种各样的数据源移动到目的地系统,如HDFS|HBase等.
一个很好的Flume拓扑,可以无限期地自运行.它提供了上下文的路由,当连接恢复时,通过提供可靠存储和重新发送消息的能力,能够处理宕机,网络中断问题.
Flume是专门设计用来从大量的源,推送数据到Hadoop生态系统中各种各样的存储系统中去的,例如HDFS|HBASE.
Flume被设计成为一个灵活的分布式系统,可以很容易地扩展,而且是高度可定制的,一个配置正确的Flume Agent和由相互连接的Agent创建的Agent的管道,保证不会丢失数据,提供持久的Channel.
Flume部署的最简单元是Agent.一个Agent可以连接一个或多个其他的Agent.一个Agent也可以从一个或多个Agent接受数据.通过相互连接的多个Flume Agent,一个流作业就建立.
大量的Agent从应用服务器接受数据,然后将数据写入到HDFS等.
Agent的数据流方式:
生产、接受的数据源写入数据到一个或者更多Channel,一个或者多个Sink从Channel读取这些事件,然后推送它们到下一个Agent,或存储系统.
Agent可以被配置成在数据被写入到目的地之前,从管道的一个Agent发送数据到另一个Agent.由于Channel的持久性,可以保证数据不会丢失.
本篇文章是有青岛达内培训为您呈现,希望给您带来更多更好的文章
< 上一篇：阿里菜鸟大数据为中国快递助攻
下一篇：确保大数据分析真正为决策所用 >
2023-03-09
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 4月26日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 4月26日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 4月26日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 4月26日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 4月26日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 4月26日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 4月26日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 4月26日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 4月26日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 4月26日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 4月26日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 4月26日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 4月26日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 4月26日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 4月26日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 4月26日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 4月26日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 4月26日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 4月26日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 4月26日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 4月26日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 4月26日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 4月26日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 4月26日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 4月26日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 4月26日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 4月26日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 4月26日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 4月26日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 4月26日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 4月26日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 4月26日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 4月26日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 4月26日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 4月26日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 4月26日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 4月26日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 4月26日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 4月26日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 4月26日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 4月26日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 4月26日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 4月26日
- 火热抢座中
- 立即咨询
预约申请试听课
开设课程
开课城市
友情链接
Copyright © 2023 Tedu.cn All Rights Reserved 京ICP备08000853号-56 京公网安备 11010802029508号达内时代科技集团有限公司 版权所有
注：学员信息+企业信息均来自达内教育内部CRM系统真实统计，非宣传使用。
课程适用人群：成人
400-111-8989
lihm@tedu.cn
