本篇文章给大家分享的是有关MapReduce的特性有哪些,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站建设、外贸网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的金门网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
计数器
- 作用:计数器是收集作业统计信息的有效手段之一,用于质量控制或应用级统计。计数器还可辅助诊断系统故障。 
- 任务计数器 
- 文件系统计数器 
- FileInputFormat 计数器 
- FileOutputFormat计数器 
- 作业计数器 
- 作业计数器由application master维护,因此无需在网络间传输数据 
- 用户定义的java计数器 
- 用户定义的Streaming 计数器 
排序
- 部分排序 
- 许多应用并不强求待处理的文件全局有序 
- 全排序 
- 思路:首先,创建一系列排好序的文件 其次 串联这些文件 最后生成一个全局排序的文件。主要思路是使用一个partitioner来描述输出的全局排序 
连接
- MapReduce 能够执行大型数据集间的“连接”操作 
- map端连接 
- reduce 端连接 更常用 
边数据分布
- 是作业所需的额外的只读数据,已辅助处理主数据集 
- 利用JobConf来配置作业 
- 分布式缓存 
以上就是MapReduce的特性有哪些,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
标题名称:MapReduce的特性有哪些
本文链接:http://www.cqwzjz.cn/article/godicj.html

 建站
建站
 咨询
咨询 售后
售后
 建站咨询
建站咨询 
 