Tag Archives: Hive

Hive自定义UDF/UDAF/UDTF中,如何获得List的ObjectInspector

在Hive中,在使用GenercU**F实现自定义UDF/UDAF/UDTF时,经常要制定输出类型,其中要获得一个ObjectInspector。

对于基础类型:

对于List等复合类型,要2步:

 

 

 

Hive中找出Table和Partition的真实路径。

在Hive中,如果使用了External Table或者Partition,那么路径是不在自己的hive warehouse下的。

 

[转载]Hive 窗口函数、分析函数 应用场景

Hive 0.12后,支持了窗口函数、分析函数 (具体见官方wiki)

转载自《HIVE 窗口及分析函数 应用场景》

窗口函数应用场景:

(1)用于分区排序
(2)动态Group By
(3)Top N
(4)累计计算
(5)层次查询

一、分析函数
用于等级、百分点、n分片等。
函数 说明
RANK() 返回数据项在分组中的排名,排名相等会在名次中留下空位
DENSE_RANK() 返回数据项在分组中的排名,排名相等会在名次中不会留下空位
NTILE([……]

继续阅读