`
小网客
  • 浏览: 1211723 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop操作Hbase时自动kill任务相关说明

 
阅读更多

背景:

      用Hadoop基于Hbase进行数据分析的时候,发现其会自动kill任务,但是job能够正常执行,结果也正确,只是Hbase的压力比较大。

原因:

      Hadoop在执行task的时候采用预先计算的方法来加快整个处理过程。具体的就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务哪个先执行完就把另外一个kill掉,这也是我们经常在Job Tracker页面看到任务执行成功,但是总有些任务被kill,就是这个原因。 其中有两项配置可以指定是否预测执行:

mapred.map.tasks.speculative.execution=true 
mapred.reduce.tasks.speculative.execution=true 

 这两个是预测执行的配置项,它们默认值是true 。

结论:

在HBase中,采用预测执行这样做,会加重regionserver的load。 

用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 所以,强烈建议关闭 Speculative Execution 关闭的方法是在Configuration中设定 :

conf.setBoolean("mapred.map.tasks.speculative.execution", false);
conf.setBoolean("mapred.reduce.tasks.speculative.execution", false);

 

1
6
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics