Hive下查看表占用空间大小的方法
发布日期:2021-04-30 21:01:09
浏览次数:125
分类:精选文章
本文共 1034 字,大约阅读时间需要 3 分钟。
Hive下查看数据表信息的方法
方法1:查看表的字段信息
可以通过以下命令查看表的字段信息:
desc table_name;该命令提供了表的字段信息,包括字段名称、数据类型和注释等内容,适用于初步了解表结构的情况。 方法2:查看表的字段信息及元数据存储路径
desc extended table_name;
方法3:查看表的字段信息及元数据存储路径(推荐使用)
desc formatted table_name;
备注:如果需要查看表的元数据存储路径,推荐使用方法3,信息清晰且易于理解。
查看表容量大小
总容量大小查询
要查看表的总容量大小(以GB为单位),可以使用以下命令:
hadoop fs -du /user/hive/warehouse/table_name | awk '{ SUM += $1 } END { print SUM/(1024*1024*1024)}' 该命令通过Hadoop文件系统API查询指定路径下的文件总大小,并将其转换为GB为单位。
表容量大小批量统计
如果需要对多个表或数据仓库中的多个表进行容量统计,可以按照以下步骤操作:
查询数据仓库目录:
dbs=$(hadoop fs -ls /user/hive/warehouse | awk '{print $8}')该命令会返回数据仓库目录下的所有子目录(即数据库名称)。
遍历每个数据库,查询其中的表:
for db in $dbs do echo "统计库:$db" tables=$(hadoop fs -ls "$db" | awk '{print $8}') for table in $tables do echo "统计表:$table" size=$(hadoop fs -count -h "$table" | awk '{print $3}') echo "表 $table 占用空间为:$size" echo "$table,$size" >> result.csv done done该脚本会生成一个名为result.csv的CSV文件,文件中记录了每个表及其占用空间。
通过以上方法,可以轻松查看Hive表的字段信息及容量大小。
发表评论
最新留言
留言是一种美德,欢迎回访!
[***.207.175.100]2026年06月04日 09时50分44秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
php数组去重复数据的小例子
2023-03-01
php数组实现:哈希 +双向链表
2023-03-01
PHP数组排序函数array_multisort()函数详解(二)
2023-03-01
php数组的几个函数和超全局变量
2023-03-01
PHP文件上传详解
2023-03-01
PHP文件锁
2023-03-01
php文本框输入制定文本,php – 当用户没有向文本框输入任何内容时...
2023-03-01
PHP时间戳和日期相互转换操作总结
2023-03-01
php时间戳知识点,php 时间戳函数总结与示例
2023-03-01
php更新数据库失败,php – 无法更新MySQL数据库
2023-03-01
php机器人聊天对话框,基于AIML的PHP聊天机器人
2023-03-01
PHP查找数组中最大值与最小值
2023-03-01
php查最大值,在PHP数组中查找最大值
2023-03-01
php根据年月日计算年龄
2023-03-01
RabbitMQ - 单机部署(超详细)
2023-03-01
php检查注册,PHP检查注册的电子邮件地址是一个’school.edu’地址
2023-03-01
php模拟发送GET和POST请求
2023-03-01
RabbitMQ - 以 MQ 为例,手写一个 RPC 框架 demo
2023-03-01
php模板引擎smarty
2023-03-01