Hadoop执行Job时因超时自动kill,信息如下:
Task attempt_201305231045_3281_m_000003_0 failed to report status for 600 seconds. Killing!
原因:
1.执行MR的时间过长,超过了mapred.task.timeout中设置的值
2.MR执行中因业务比较复杂,没有report status从而使得master感觉不到此task的存在而kill
解决方案:
方案1修改mapred-site.xml:
<property> <name>mapred.task.timeout</name> <value>600000</value><!--默认为600S-->可以改的更长! </property>
方案2根据业务需要手动set值:
conf.setLong("mapred.task.timeout", 900000L);
方案3定时report status
在Mapper或者Reducer的时候,执行复杂的业务操作的时候report status
context.progress();
相关推荐
Hadoop高级编程- 构建与实现大数据解决方案.Hadoop高级编程- 构建与实现大数据解决方案
win7下hadoop job提交
巨大的数据量 •IDC预测全球的数据使用量到2020年会增长44倍,达到35.2ZB (1ZB = 10亿TB) –宽带普及和提速(直接导致访问量、网络访问日志、通讯记录等迅猛增加) –社交网络(Facebook, Twitter, 微博等) ...
hadoop 构建与实现大数据解决方案
基于Hadoop生态系统的大数据解决方案,贯穿案例,音乐排行榜,是最好的项目实战案例
《Hadoop高级编程——构建与实现大数据解决方案》本书关注用于构建先进的、基于Hadoop的企业级应用的架构和方案,并为实现现实的解决方案提供深入的、代码级的讲解。本书还会带你领略数据设计以及数据设计如何影响...
Hadoop大数据平台安全问题和解决方案的综述
在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法...
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path...解决方案:下载本资源解压将hadoop.dll和winutils.exe文件复制到hadoop2.7.3的bin目录下即可解决。
内容概要: HadoopMR程序代码; job提交流程; mr程序的几种提交运行模式;
hadoop 启动时 TaskTracker无法启动 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-admin \mapred\...
HADOOP第一代文件系统的问题和解决方案,和同软件提出自已的解决方案
Hadoop高级编程之构建与实现大数据解决方案,详尽的使用方法和说明,实例
Hadoop高级编程——构建与实现大数据解决方案.rar
[Wrox] Hadoop 专业解决方案 (英文版) [Wrox] Professional Hadoop Solutions (E-Book) ☆ 图书概要:☆ If you're ready to make the most out of massively scalable analytics, you need to know how to take ...
利用ansible 自动 安装Hadoop 集群
Logstash6整合Hadoop-报错与解决方案.docx
大数据(bigdata)中,Hadoop如何处理提交的作业(Job),本课件深入分析,一目了然。