需求：
hive在0.9之后加入的审计日志，具体的信息在metastore下的org.apache.hadoop.hive.metastore.HiveMetaStore
开启hive的审计日志，并做其分析
实现：
1.先保存其日志，格式为：org.apache.hadoop.hive.metastore.HiveMetaStore.AUDIT_FORMAT
基于log4j，针对不同的日志配置不同的appender
log4j.logger.org.apache.hadoop.hive.metastore.HiveMetaStore.audit=INFO,HIVEAUDIT
log4j.appender.HIVEAUDIT=org.apache.log4j.FileAppender
log4j.appender.HIVEAUDIT.File=${hive.log.dir}/audit.log
log4j.appender.HIVEAUDIT.Append=false
log4j.appender.HIVEAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.HIVEAUDIT.layout.ConversionPattern=[%d{HH:mm:ss:SSS}][%C-%M] -%m%n
2.直接对${hive.log.dir}/audit.log分析即可
相关推荐
本资源适合hive使用log4j2作为日志去开启metastore审计日志，那么本文章就值得(不管是hive2还是hive3)
hive日志系统实战
这是我的一份课程作业，需要事先下载搜狗日志文件。有问题，可以问百度。里面也参考了其他博客主的文章，在最后有相关链接。
该实验数据主要用于Hive进行Apache Web日志的统计分析学习使用，数据量不是大。
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的...
针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题, 提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析...
基于Hadoop／Hive的web日志分析系统的设计，为广大大数据爱好者提供更好的帮助，喜欢可以下载
一种基于Hive日志分析的大数据存储优化方法，王正也，李书芳，从2002年起，某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长，数据集高速增长，原生的Hive的查询性能已经不能令人�
hive hive hive hive hive hive hive hive hive hive hive hive
Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件，具体使用方式可参见博文：https://blog.csdn.net/l1028386804/article/details/97975539
hive数据存储模式，对理解hive有帮助
利用Hive进行复杂用户行为大数据分析及优化案例（全套视频+课件+代码+讲义+工具软件），具体内容包括： 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现（一） 03_Hive表批量加载数据的脚本实现（二） ...
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高...
hive-jdbc
1 Hive 概念与连接使用: 2 2 Hive支持的数据类型： 2 2.1原子数据类型： 2 2.2复杂数据类型： 2 2.3 Hive类型转换： 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive ...
Hive表生成工具，Hive表生成工具Hive表生成工具
Hadoop网站日志分析源码（hive命令）.txt
在Hive 0.11.0版本之前，只有HiveServer服务可用，你得在程序操作Hive之前，必须在Hive安装的服务器上打开HiveServer服务，如下： 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 ...
基于Hive的hadoop集群日志的分析及错误排解...设计思路：利用hive的方法将hadoop中的指定日志存放在hive表中，然后再把hive表中保存的数据进行筛选后导入mysql数据库（对外可以访问的主机上），以供其他人进行访问。