由于具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL（Structured Query Language）出现一样，Hadoop正带来了新一轮的数据革命。如今Hadoop已从初出茅庐的小象变成了行业的巨人，但Hadoop仍需继续完善。

基于Java语言构建的Hadoop框架实际上一种分布式处理大数据平台，其包括软件和众多子项目。在近十年中Hadoop已成为大数据革命的中心。MapReduce作为Hadoop的核心是一种处理大型及超大型数据集（TB级别的数据。包括网络点击产生的流数据、日志文件、社交网络等所带来的数据）并生成相关的执行的编程模型。其主要思想是从函数式编程语言借鉴而来的，同时也包含了从矢量编程语言借鉴的特性。

互联网巨头Yahoo！作为Hadoop框架的先驱研究者，在6年时间已经将Hadoop塑造成了极为成功的技术。但相比于SQL，Hadoop在某些方面仍然显得不够完善。这直接导致现今所有目光都集中在Hadoop供应商的身上。包括Amazon、Cloudera等公司带来众多的创新并提供强大的工具。Cloudera推出的CHD3包含众多的附加软件，可以帮助管理、运行Hadoop上的复杂任务，例如：Apache Mahout、Flume、Sqoop、Pig、Oozie、Hive、HBase、ZooKeeper、Whirr等。同时Cloudera也是目前最大的提供企业Hadoop技术支持和培训的厂商。而Amazon是较早在公共云中运行Hadoop的公司，其提供的基于MapReduce的弹性计算可提供海量的数据计算服务。

但数据处理只是大数据处理的一部分，组织最终想要得到的是经过分析后的有价值的数据。商业智能和数据分析厂商如Datameer、Hadapt以及Karmasphere就显的不可或缺。

Hadoop在2011年证明自身的价值，最明显的迹象就是五大数据库管理软件供应商EMC、IBM、Informatica、Microsoft以及Oracle都投入了Hadoop的怀抱。EMC与MapR展开合作，而Microsoft和Oracle则分别与Hortonworks和Cloudera展开了合作。而EMC和Oracle已经推出了Hadoop专有设备。下面就让我们来看一下Hadoop在大数据领域都俘虏了那些公司的心。

Amazon基于MapReduce的服务

Amazon早在2009年就推出了基于Hadoop MapReduce的EC2（Elastic Compute Cloud）服务。因此Amazon在应对用户应用和需求上显得胸有成竹。无论是中小型企业还是超大型的组织，基于MapReduce的EC2服务都经受住了考验。同时AWS（Amazon Web Service）还包括Amazon S3（Simple storage Service）。Amazon S3可提供高伸缩性、靠可靠性、高可用性以及极低的存储成本。利用AWS可高效的处理数据密集型的任务，如Web索引、数据挖掘、日志文件分析、机器学习以及科技和生物信息的学术研究。

Cloudera提供安全的Hadoop平台

Cloudera也是比较早的大规模Hadoop软件和服务提供商。Cloudera一直专注于将开源的Apache Hadoop完善成可靠的平台。Cloudera目前拥有100多家客户，并且在本月还与Oracle展开合作，共同进军大数据领域。

在Cloudera提供了用于管理大数据的管理控制台和负责管理Hadoop部署的工具以及企业级的支持。Cloudera的管理工具提供基于向导式的Hadoop安装和配置菜单。同时提供相应的工具，以帮助系统管理员监控平台的健康状况、诊断问题、优化性能，并进行所需的配置和安全变更。而Cloudera的企业级支持与服务包括配置检查、升级和与第三方系统集成以及其他技术资源。现今Cloudera管理软件现在的价格是每节点每年4000美元（不包括硬件）。

Datameer将大数据与商业智能有机结合

Datameer宣称其公司基于Hadoop平台的产品方案DAS（Datameer Analytics Solution）非常适用于商业智能（BI）。Datameer可通过JDBC、Hive、Http连接任何的数据源。同时包括一个向导驱动集成平台，可安排负载并从任何结构化、半结构化和非结构化的大数据集。Datameer的大数据分析解决方案通过表格接口整合Hadoop的数据挖掘能力。并通过REST API在私有云和公共云中输入和输出数据。

EMC的统一数据分析平台

EMC推出用于支持大数据分析的平台――EMC Greenplum统一分析平台(UAP)。Greenplum UAP是一个唯一的统一数据分析平台，可扩展至其他工具，其独特之处在于，它将对大数据的认知和分享贯穿整个分析过程，实现比以往更高的商业价值。UAP包括EMC Greenplum 关系数据库、EMC Greenplum HD Hadoop以及EMC Greenplum Chorus。UAP就好比一个数据分析团队，包括了从数据科学家和BI分析师到DBA和在线商业用户和管理者。EMC针对硬件设备DCA（Data Computing Appliance），其足以运行EMC Greenplum 关系数据库和EMC Greenplum HD节点。DCA提供控制管理界面，方便管理人员监视、管理Greenplum数据库和Hadoop系统性能。

Hadapt与Hadoop环境无缝集成

Hive作为运行在Hadoop上的数据仓库组件并不像Hadoop那样受人关注。而Hadapt则提供集众多功能于一身的数据分析环境，旨在处理存在于Hadoop和SQL环境中传统结构化的数据。Hadapt平台可运行在私有云和公共云之上，并提供从一个环境访问数据的能力。包括现有基于SQL的工具以及MapReduce处理和大数据分析。Hadapt自动分开执行Hadoop和关系数据库之间的查询，处分利用了Hadoop的高扩展性和关系数据库的高速性。

Hortonworks继承Yahoo！ Hadoop衣钵

Yahoo!在去年剥离了Hadoop业务，并与硅谷风投公司Benchmark Capital合资组建一家名为Hortonworks的公司。新公司包含在Yahoo！贡献最大的50名工程师，旨在继续推动Hadoop的发展。Hortonworks高管断言这支以Yahoo!开发团队为班底的公司将会贡献更多的Hadoop代码，并指引Hadoop平台未来的发展。Hortonworks已在去年10月与微软成为合作伙伴关系。Hortonworks可帮助Microsoft推出Windows平台之上的Hadoop。Hortonworks在去年11月也推出了自由的HDP（Hortonworks Data Platform）V1，而结合了最新0.23版Hadoop的HDP V2将在2012年第一季度推出。Hortonworks还提供Hadoop的培训与支持，加强在这方面与Cloudera和MapR的竞争。

IBM的Hadoop之路

IBM在多年以前就开始研究Hadoop。现今IBM提供基于云服务的海量数据分析方面多种方案的选择，但目前IBM的策略似乎主要是围绕Hadoop在发展。IBM在4月推出了其SmartCloud云计算平台。并承诺改善Hadoop工作负载。IBM提供了基于Hadoop的InfoSphere BigInsights（IBM InfoSphere BigInsights是用于分析和虚拟化海量数据的软件和服务，这款新产品由 ApacheHadoop 提供技术支持。）基本版和企业版。 InfoSphere BigInsights之前作为IBM测试和开发的云产品，现在被SmartCloud取代。

Informatica 向云更进一步

大多数的数据管理软件供应商（如IBM、Oracle、Syncsort、Talend）都涉及到Hadoop。Informatica在去年10月也推出了Hadoop环境下的数据编译转换解决方案――HParser。

该方案可以运行在几乎所有的Apache Hadoop分布式环境中，与MapReduce架构平行，能高效率地把无结构的复杂数据――诸如网络记录、社交媒体数据、通话详细记录以及其他数据格式――转换为Hadoop中结构或半结构格式。当把数据转化为更具结构性的格式后，便可以得到更快速的使用和生效，从而驱动业务发展、提高运营效率。

Karmasphere Hadoop数据分析利器

Karmasphere提供了直接访问Hadoop中结构化和非结构化数据以及进一步分析查询的特性，同时Karmasphere还提供的可视化工作空间。Karmasphere提供的可视化工具提供了SQL或其他特定查询语言分析位于Amazon S3、工作流以及本地文件系统上的结构化和非结构数据的特性。企业还可以使用数据库或相关工具（例如Excel）来提取分析得出的数据。

MapR带来更高性能的Hadoop

MapR在Hadoop的舞台上显得格外耀眼，其提供Hadoop非常独特。MapR基于开源Hadoop，在只需有限硬件的环境中提供更快的Hadoop。同时Mapr配备了快照，并号称不会出现SPOF单节点故障，且被认为是与现有HDFS的API兼容。因此非常容易替换原有的系统。MapR最新的0.23版解决许多开源Hadoop的缺陷。而MapR与EMC的合作体现在了EMC Greenplum HD Enterprise Edition上，其就是基于MapR M5构建的。

Microsoft全面拥抱Hadoop

当EMC、IBM、Oracle都在2011年涉及Hadoop时，Microsoft全面拥抱Hadoop的举动就显得不足为奇了。而Hadoop的Windows Server将在在2012年推出，届时其还会与微软现有的BI工具联合处理任务。去年微软表示推出Windows Azure上的Hadoop预览版，微软还使Hadoop的数据通过部署在基于云的Windows Azure获取。并使其能够与企业的商业智能工具一起分析数据。微软目前正与Hortonworks合作旨在努力简化下载、安装和配置等几个Hadoop的相关技术。包括HDFS、Hive、Pig。这将有利于企业通过Hadoop拓宽自身的业务。微软将编写新的ODBC驱动程序并扩展自己现有的查询系统到Hive。这样一来用户将能够直接从Excel、PowerView执行Hadoop查询。

Oracle进军云计算

Oracle在2011 Oracle全球大会上宣布推出了Oracle Big Data Appliance。Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。Oracle还在今年1月与Cloudera成为合作伙伴关系。Oracle现已将Cloudera Distribution Including Apache Hadoop（CDH）和Cloudera Manager集成到Oracle大数据机之中。Oracle也将利用Cloudera在Hadoop领域的专业知识提供培训及咨询业务。Oracle大数据机中运行了Oracle Linux操作系统，1个机架中包含18个Oracle-Sun服务器，共计216个核心，同时具备864GB的内存和648TB的存储能力，其售价为45万美元。（李智/编译）

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。

Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？

现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。

本文就重点探讨了Hadoop系统的组成部分，并解释各个组成部分的功能。

MapReduce——Hadoop的核心

Google的网络搜索引擎在得益于算法发挥作用的同时，MapReduce在后台发挥了极大的作用。MapReduce框架成为当今大数据处理背后的最具影响力的“发动机”。除了Hadoop，你还会在MapReduce上发现MPP（Sybase IQ推出了列示数据库）和NoSQL（如Vertica和MongoDB）。

MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分布式计算优势就体现出来。将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。Yahoo在2006年看到了Hadoop未来的潜力，并邀请Hadoop创始人Doug Cutting着手发展Hadoop技术，在2008年Hadoop已经形成一定的规模。Hadoop项目再从初期发展的成熟的过程中同时吸纳了一些其他的组件，以便进一步提高自身的易用性和功能。

HDFS和MapReduce

以上我们讨论了MapReduce将任务分发到多个服务器上处理大数据的能力。而对于分布式计算，每个服务器必须具备对数据的访问能力，这就是HDFS（Hadoop Distributed File System）所起到的作用。

HDFS与MapReduce的结合是强大的。在处理大数据的过程中，当Hadoop集群中的服务器出现错误时，整个计算过程并不会终止。同时HFDS可保障在整个集群中发生故障错误时的数据冗余。当计算完成时将结果写入HFDS的一个节点之中。HDFS对存储的数据格式并无苛刻的要求，数据可以是非结构化或其它类别。相反关系数据库在存储数据之前需要将数据结构化并定义架构。

开发人员编写代码责任是使数据有意义。Hadoop MapReduce级的编程利用Java APIs，并可手动加载数据文件到HDFS之中。

Pig和Hive

对于开发人员，直接使用Java APIs可能是乏味或容易出错的，同时也限制了Java程序员在Hadoop上编程的运用灵活性。于是Hadoop提供了两个解决方案，使得Hadoop编程变得更加容易。

•Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

•Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询。与Pig一样，Hive的核心功能是可扩展的。

Pig和Hive总是令人困惑的。Hive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。Pig赋予开发人员在大数据集领域更多的灵活性，并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。Pig相比Hive相对轻量，它主要的优势是相比于直接使用Hadoop Java APIs可大幅削减代码量。正因为如此，Pig仍然是吸引大量的软件开发人员。

改善数据访问：HBase、Sqoop以及Flume

Hadoop核心还是一套批处理系统，数据加载进HDFS、处理然后检索。对于计算这或多或少有些倒退，但通常互动和随机存取数据是有必要的。HBase作为面向列的数据库运行在HDFS之上。HBase以Google BigTable为蓝本。项目的目标就是快速在主机内数十亿行数据中定位所需的数据并访问它。HBase利用MapReduce来处理内部的海量数据。同时Hive和Pig都可以与HBase组合使用，Hive和Pig还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。

但为了授权随机存储数据，HBase也做出了一些限制：例如Hive与HBase的性能比原生在HDFS之上的Hive要慢4-5倍。同时HBase大约可存储PB级的数据，与之相比HDFS的容量限制达到30PB。HBase不适合用于ad-hoc分析，HBase更适合整合大数据作为大型应用的一部分，包括日志、计算以及时间序列数据。

获取数据与输出数据

Sqoop和Flume可改进数据的互操作性和其余部分。Sqoop功能主要是从关系数据库导入数据到Hadoop，并可直接导入到HFDS或Hive。而Flume设计旨在直接将流数据或日志数据导入HDFS。

Hive具备的友好SQL查询是与繁多数据库的理想结合点，数据库工具通过JDBC或ODBC数据库驱动程序连接。

负责协调工作流程的ZooKeeper和Oozie

随着越来越多的项目加入Hadoop大家庭并成为集群系统运作的一部分，大数据处理系统需要负责协调工作的的成员。随着计算节点的增多，集群成员需要彼此同步并了解去哪里访问服务和如何配置，ZooKeeper正是为此而生的。

而在Hadoop执行的任务有时候需要将多个Map/Reduce作业连接到一起，它们之间或许批次依赖。Oozie组件提供管理工作流程和依赖的功能，并无需开发人员编写定制的解决方案。

Ambari是最新加入Hadoop的项目，Ambari项目旨在将监控和管理等核心功能加入Hadoop项目。Ambari可帮助系统管理员部署和配置Hadoop，升级集群以及监控服务。还可通过API集成与其他的系统管理工具。

Apache Whirr是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr现今相对中立，当前支持Amazon EC2和Rackspace服务。

机器学习：Mahout 

各类组织需求的不同导致相关的数据形形色色，对这些数据的分析也需要多样化的方法。Mahout提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。

使用Hadoop

通常情况下，Hadoop应用于分布式环境。就像之前Linux的状况一样，厂商集成和测试Apache Hadoop生态系统的组件，并添加自己的工具和管理功能。（李智/编译）