下面是Hive数据类型汇总: ![hive数据类型](/media/editor/file_1574262327000_20191120230533540370.png "hive数据类型") ##基本类型 HQL 的基本类型和 Java 的基本类型很接近,虽然受到一些 MySQL 命名的影响。 ###整数类型 Hive 有 4 种带符号的整数类型:TINYINT,SMALLINT,INT,BIGINT,分别对应 Java 中的 byte,short,int,long。字节长度分别为 1,2,4,8 字节。在使用整数字面量时,默认情况下为 INT,如果要声明为其他类型,通过后缀来标识: |类型| 后缀| 例子| |---|---|---| |TINYINT| Y |100Y| |SMALLINT| S| 100S| |BIGINT| L |100L| ###小数 浮点类型包括 FLOAT 和 DOUBLE 两种,对应到 Java 的 float 和 double,分别为 32 位和 64 位浮点数。DECIMAL 用于表示任意精度的小树,类似于 Java 的 BigDecimal,通常在货币当中使用。例如 DECIMAL(5,2) 用于存储 -999.99 到 999.99 的数字,省略掉小数位,DECIAML(5) 表示 -99999 到 99999 的数字。DECIMAL 则等同于 DECIMAL(10,0)。小数点左边允许的最大位数为 38 位。 数值类型总结如下表: |类型名称| 大小| 范围| 示例| |------|-----|-----|----| |TINYINT| 1字节 |-128 ~ 127| 45Y| |SMALLINT| 2字节| -32768 ~ 32767| 100S| |INT| 4字节| -2147483648 ~ 2147483647 |36| |BIGINT |8字节| -9223372036854770000 ~ 9223372036854770000 |2000L| |FLOAT| 4字节 |-- |4字节单精度| |DOUBLE| 8字节 |--| 8字节双精度| |DECIMAL| --| -- |DECIMAL(9, 7)| ###文本类型 Hive 有 3 种类型用于存储字文本。STRING 存储变长的文本,对长度没有限制。理论上将STRING 可以存储的大小为 2GB,但是存储特别大的对象时效率可能受到影响,可以考虑使用 Sqoop 提供的大对象支持。VARCHAR 与 STRING 类似,但是长度上只允许在 1-65355 之间。例如 VARCHAR(100)。CHAR 则用固定长度来存储数据。 |类型名称 |描述| 示例| |-------|-----|----| |STRING |string 类型可以用单引号(')或双引号(")定义,Hive 在 string 中使用 C-style。| 'hadoop tutorial'| |VARCHAR |varchar 类型由长度定义,范围为 1-65355 ,如果存入的字符串长度超过了定义的长度,超出部分会被截断。尾部的空格也会作为字符串的一部分,影响字符串的比较。 |'hadoop tutorial'| |CHAR |char 是固定长度的,最大长度 255,而且尾部的空格不影响字符串的比较。 |'Hadooptutorial'| ###布尔及二进制 **BOOLEAN**:表示二元的 true 或 false。 **BINARY**:用于存储变长的二进制数据。 ###时间类型 TIMESTAMP 则存储纳秒级别的时间戳,同时 Hive 提供了一些内置函数用于在 TIMESTAMP 与 Unix 时间戳(秒)和字符串之间做转换。例如: ```sql cast(date as date) cast(timestamp as date) cast(string as date) cast(date as string) 时间戳类型的数据不包含任务的时区信息,但是 `to_utc_timestamp` 和 `from_utc_timestamp` 函数可以用于时区转换。DATE 类型则表示日期,对应年月日三个部分。 ###类型转换 Hive 的类型层次中,可以根据需要进行隐式的类型转换,例如 TINYINT 与 INT 相加,则会将TINYINT 转化成 INT 然后 INT 做加法。隐式转换的规则大致可以归纳如下: - 任意数值类型都可以转换成更宽的数据类型(不会导致精度丢失)或者文本类型。 - 所有的文本类型都可以隐式地转换成另一种文本类型。也可以被转换成 DOUBLE 或者 DECIMAL,转换失败时抛出异常。 - BOOLEAN 不能做任何的类型转换。 - 时间戳和日期可以隐式地转换成文本类型。 同时,可以使用 CAST 进行显式的类型转换,例如: ```sql CAST('1' as INT) 如果转换失败,CAST 返回 NULL。 ##复杂类型 Hive 有 4 种复杂类型的数据结构:`ARRAY`,`MAP`,`STRUCT`,`UNION`。 ###STRUCT 类似于 C、C# 语言,Hive 中定义的 struct 类型也可以使用点来访问。从文件加载数据时,文件里的数据分隔符要和建表指定的一致。 ```sql CREATE TABLE IF NOT EXISTS person_1 (id int,info struct ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY ':' STORED AS TEXTFILE; //创建一个文本文件test_struct.txt 1,'dd':'jp' 2,'ee':'cn' 3,'gg':'jp' 4,'ff':'cn' 5,'tt':'jp' //导入数据 LOAD DATA LOCAL INPATH '/data/test_struct.txt' OVERWRITE INTO TABLE person_1; //查询数据 hive> select * from person_1; 1 {"name":"'dd'","country":"'jp'"} 2 {"name":"'ee'","country":"'cn'"} 3 {"name":"'gg'","country":"'jp'"} 4 {"name":"'ff'","country":"'cn'"} 5 {"name":"'tt'","country":"'jp'"} Time taken: 0.046 seconds, Fetched: 5 row(s) hive> select id,info.name,info.country from person_1 where info.name='dd'; 1 dd jp Time taken: 1.166 seconds, Fetched: 1 row(s) ###ARRAY ARRAY 表示一组相同数据类型的集合,下标从零开始,可以用下标访问。 ```sql CREATE TABLE IF NOT EXISTS array_1 (id int,name array ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY ':' STORED AS TEXTFILE; //导入数据 LOAD DATA LOCAL INPATH '/data/test_array.txt' OVERWRITE INTO TABLE array_1; //查询数据 hive> select * from array_1; 1 ["dd","jp"] 2 ["ee","cn"] 3 ["gg","jp"] 4 ["ff","cn"] 5 ["tt","jp"] Time taken: 0.041 seconds, Fetched: 5 row(s) hive> select id,name[0],name[1] from array_1 where name[1]='cn'; 2 ee cn 4 ff cn Time taken: 1.124 seconds, Fetched: 2 row(s) ###MAP MAP 是一组键值对的组合,可以通过 KEY 访问 VALUE,键值之间同样要在创建表时指定分隔符。 ```sql CREATE TABLE IF NOT EXISTS map_1 (id int,name map ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY ':' MAP KEYS TERMINATED BY ':' STORED AS TEXTFILE; //加载数据 LOAD DATA LOCAL INPATH '/data/test_map.txt' OVERWRITE INTO TABLE map_1; //查询数据 hive> select * from map_1; 1 {"name":"dd","country":"jp"} 2 {"name":"ee","country":"cn"} 3 {"name":"gg","country":"jp"} 4 {"name":"ff","country":"cn"} 5 {"name":"tt","country":"jp"} Time taken: 0.038 seconds, Fetched: 5 row(s) select id,info['name'],info['country'] from map_1 where info['country']='cn'; 2 ee cn 4 ff cn Time taken: 1.088 seconds, Fetched: 2 row(s) ###UINON Hive 除了支持 STRUCT、ARRAY、MAP 这些原生集合类型,还支持集合的组合,不支持集合里再组合多个集合。 简单示例 MAP 嵌套 ARRAY,手动设置集合格式的数据非常麻烦,建议采用 `INSERT INTO SELECT` 形式构造数据再插入UNION 表。 ```sql //创建DUAL表,插入一条记录,用于生成数据 create table dual(d string); insert into dual values('X'); //创建UNION表 CREATE TABLE IF NOT EXISTS uniontype_1 id int, info map > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY '-' MAP KEYS TERMINATED BY ':' STORED AS TEXTFILE; //插入数据 insert overwrite table uniontype_1 select 1 as id,map('english',array(99,21,33)) as info from dual union all select 2 as id,map('english',array(44,33,76)) as info from dual union all select 3 as id,map('english',array(76,88,66)) as info from dual; //查询数据 hive> select * from uniontype_1; 3 {"german":[76,88,66]} 2 {"chinese":[44,33,76]} 1 {"english":[99,21,33]} Time taken: 0.033 seconds, Fetched: 3 row(s) hive> select * from uniontype_1 where info['english'][2]>30; 1 {"english":[99,21,33]} Time taken: 1.08 seconds, Fetched: 1 row(s)