hive 表格式

🧙 Questions

分析hive各种表的格式，和使用场景

☄️ Ideas

hive中的文件都是基于 hadoop的SEQUENCEFILE实现的二进制存储

TEXTFILE

hive建表的默认存储格式，可以通过 hive.default.fileformat 修改默认存储格式

CREATE TABLE IF NOT EXISTS users2 (
    id         STRING ,
    username   STRING ,
    age        INT    
)
ROW FORMAT 
DELIMITED FIELDS TERMINATED BY '\001'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

RCFILE

facebook 提出的列式存储hive格式，减少重复数据的存储

ORC

对RCFILE的加强和优化

PARQUET

• parquet website

列式存储，Impala中间件可以识别的文件格式

CREATE TABLE IF NOT EXISTS users10 (
    id         STRING ,
    username   STRING ,
    age        INT    
)
ROW FORMAT 
DELIMITED FIELDS TERMINATED BY '\001'
LINES TERMINATED BY '\n'
STORED AS PARQUET;

AVRO

JSONFILE

INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

🔗 Links

• hive docs