加入收藏 | 设为首页 | 会员中心 | 我要投稿 辽源站长网 (https://www.0437zz.com/)- 云专线、云连接、智能数据、边缘计算、数据安全!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

MapReuce中对大数据处理最合适的数据格式是什么?

发布时间:2018-09-26 19:33:01 所属栏目:教程 来源:赵钰莹
导读:【新品产上线啦】51CTO播客,随时随地,碎片化学习 在本章的第一章节介绍中,我们简单了解了Mapreduce数据序列化的概念,以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两

Protocol Buffers 已被Google大量用于互操作,其优势在于其版本支持二进制格式。缺点是MapReduce(或任何第三方软件)缺乏对读取Protocol Buffers 序列化生成的文件支持。但是,Elephant Bird可以在容器文件中使用Protocol Buffers序列化。

Thrift

Thrift是Facebook内部开发的数据序列化和RPC框架,在本地数据序列化格式中不支持MapReduce,但可以支持不同的wire-level数据表示,包括JSON和各种二进制编码。 Thrift还包括具有各种类型服务器的RPC层。本章将忽略RPC功能,并专注于数据序列化。

Avro

Avro格式是Doug Cutting创建的,旨在帮助弥补SequenceFile的不足。

Parquet

(编辑:辽源站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

推荐文章
    热点阅读