`
小网客
  • 浏览: 1218706 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop之wordcount性能测试

 
阅读更多

概述:

利用wordcount做hadoop性能测试,依据count的数据规模增长进行性能分析评测

 

版本:

bin/hadoop version

Hadoop 2.3.0-cdh5.0.0

 

测试步骤:

1.利用randomtextwriter生成指定规模的测试集合

2.执行wordcount:

nohup bin/hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.0.jar wordcount /home/test/mrinput50 /home/test/mroutput50 > wc.log 2>&1 & 

3.评测内容:

Total time spent by all maps in occupied slots (ms)=1504892
Total time spent by all reduces in occupied slots (ms)=84038
Total time spent by all map tasks (ms)=1504892
Total time spent by all reduce tasks (ms)=84038
GC time elapsed (ms)=17285
CPU time spent (ms)=1812107

 

0
0
分享到:
评论
2 楼 小网客 2014-11-26  
planeking2009 写道
你好,请问你有没有发现randomtextwriter写出来的text会有乱码?然后会影响job例如wordcount的output结果。请问你用randomtextwriter写出来的text有乱码吗?也有可能是我的编码问题?谢谢啊。

那你们是中文的吗?如果是中文的话那么编码是gbk还是utf8 如果是gbk就会有乱码,默认utf8 如果必须要gbk那么需要重写
1 楼 planeking2009 2014-11-26  
你好,请问你有没有发现randomtextwriter写出来的text会有乱码?然后会影响job例如wordcount的output结果。请问你用randomtextwriter写出来的text有乱码吗?也有可能是我的编码问题?谢谢啊。

相关推荐

Global site tag (gtag.js) - Google Analytics