概述:
此分享是关于Hadoop在网盘和在线备份的应用与挑战的汇总
汇总点:
前端应用负载均衡LVS/Ngnix/Jetty; 文件存储基于HDFS和MongoDB; Hbase合理设计RowKey 和 Pre-Sharding; Hbase充分利用Filter功能; 大文件基于HDFS,小文件基于MongoDB; Hadoop的NameNode采取人工切换模式;
MongoDB遵循:
尽量创建索引; 限定返回结果条数; Filter只返回需要的数据; 优化主键,尽量自己控制主健ID; UUID主键使用BinaryData数据类型存储; 文件大小不超过16M;
更多详情参见附件
相关推荐
本演讲介绍了HDFS和HBase在网盘和在线备份的应用,大数据的挖掘与处理,小文件的存储,备份文件至云端的优先级策略,文件全路径的存放方式及Namespace的管理等。
NULL 博文链接:https://snv.iteye.com/blog/1909116
基于hadoop的网盘应用
hadoop中国阿里与京东应用分享:hadoop hive hbase 京东 淘宝!价值1.8万的内容分享
Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等
《Hadoop大数据技术原理与应用》课后习题答案
Hadoop集群配置文件备份
hadoop大数据平台技术与应用 --课后习题参考答案.pdf
Hadoop在雅虎的应用(Hadoop Usage At Yahoo)
hadoop架构十年发展与应用实践 hadoop架构十年发展与应用实践 hadoop架构十年发展与应用实践
snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据,和数据备份的作用 快照的对象为HDFS目录,前提是该目录是可以允许设置快照的(SnapShotable)
Hadoop平台在云计算中的应用Hadoop平台在云计算中的应用
,Hadoop 技术已经在互联网领域得到了广泛的应用。互联网公司往往需要 存储海量的数据并对其进行处理,而这正是Hadoop 的强项。如Facebook 使用Hadoop 存储 内部的日志拷贝,以及数据挖掘和日志统计;Yahoo !利用...
基于Hadoop的校园网盘的设计与实现 (2).pdf基于Hadoop的校园网盘的设计与实现 (2).pdf基于Hadoop的校园网盘的设计与实现 (2).pdf基于Hadoop的校园网盘的设计与实现 (2).pdf基于Hadoop的校园网盘的设计与实现 (2).pdf...
java WriteHDFS实现,hadoop应用java WriteHDFS实现,hadoop应用java WriteHDFS实现,hadoop应用java WriteHDFS实现,hadoop应用java WriteHDFS实现,hadoop应用java WriteHDFS实现,hadoop应用java WriteHDFS实现,...
《Hadoop大数据平台构建与应用》_米洪
浅谈Hadoop在移动云计算中的应用.pdf
大数据云计算技术 Hadoop集群监控与Hive高可用-暴风影音技术团队分享(共17页).ppt 大数据云计算技术 Hadoop应用浅析(共16页).pptx 大数据云计算技术 Hadoop运维杂记(共21页).pptx 大数据云计算技术 暴风集团...
Hadoop 学习总结
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...