
课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
互联网的高速发展,也诞生了一种新的科目,大数据,这种科目主要致力于通过漫天的数据进行分析,对用户的心里以及行为进行预估与预测,像现在比较常见淘宝app的推荐商品,这就是大数据所诞生出的作品,今天青岛大数据培训小编为大家带来,怎么学大数据,希望大家喜欢!
Map-Reduce高级编程实践
重要的组件了解
i. InputFormat 输入格式(FileInputFormat,TextInputFormat,SequenceInputFormat等)
ii. OutputFormat 输出格式(FileOutputFormat,TextOutputFormat等)
iii. 多种输入与输出使用(MultipleInputs 多种输入,MultipleOututs 多种输出)
iv. Combiner
v. Partitioner
vi. RecordReader
vii. Writable 接口
viii. WritableComparable 接口与 RawComparator 接口
ix. 如何自定义的 Writable 类
计数器(内置计数器,如何自定义计数器)
i. MapReduce 任务计数器:TaskCounter
ii. 文件系统计数器:FileSystemCounter
iii. 输入文件计数器:FileInputFormatCounter
iv. 输出文件计数器:FileOutputFormatCounter
v. 任务计数器:JobCounter
join(Map端Join,Reduce)
排序(全排序,部分排序,二次排序)
Hadoop运维工具学习
dfsadmin/mradmin/balancer/distcp/fsck/job等