Apache Hadoop 2.2.0
apache hadoop2.20版本较比以前以前稳定版本(hadoop-1.x)有显著改进
此处简要针对hdfs和MapReduce的改进说明如下:
HDFS联盟
为了水平扩展命名服务,联盟采用了多重无依赖的Namenode和Namespace。namenodes是联合在一起的,每个namenode相互独立不需要跟其他的namenode进行通信协调。datanode被namenode用来作为通用的基于block存储。每个datanode在所有的集群namenode中都注册。datanode维持间隔心跳、块信息报告,同时处理namenode传过来的命令。
更多详细请参考 HDFS Federation
MapReduce下一代又称YARN,又称MRv2
新的架构设计在hadoop-0.23中提到过,JobTracker拆分成两大主要单独模块:资源管理和job生命周期管理。
新在资源管理器管理整个应用的计算资源分配,应用主控管理应用的调度和协作。
一个应用指的是MapReduce中的一个单独的job或一组job。
资源管理器和每个节点管理器守护进程,他们管理用户在此节点上的计算。
每个机器上的ApplicationMaster实际上是一个特殊的框架负责跟ResourceManager协商资源同时和NodeManager协调监控任务执行情况。
更多详情请参考YARN 。
Getting Started
hadoop文档包括使用hadoop的帮助信息。可以先从单节点启动开始,他会告知你如何构建一个hadoop单机安装模式。后续可以开始集群安装,去了解多节点安装。
相关推荐
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。
Hadoop2.2.0安装配置手册,新手安装和配置
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
Hadoop官网上下载的hadoop-2.2.0安装包是32位的,直接运行在64位的linux系统上会有问题,所以需要自己将hadoop-2.2.0安装包编译为64位。
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在网上查了一下发现Apache官网提供的是32位编译的,在64...
此hadoop是hadoop-2.2.0是32位的编译出来的,亲测可用
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
Apache Hadoop 2.2.0 is the GA release of Apache Hadoop 2.x. Users are encouraged to immediately move to 2.2.0 since this release is significantly more stable and is guaranteed to remain compatible in...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop2.2.0安装指南
Hadoop 2.2.0 分布式安装指导
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用
64位的hadoop安装包和源码包
Hadoop2.2.0 CHM 英文 API 如果打不开,右键解除锁定即可查阅
hadoop2.2.0集群搭建