如何在Hive中使用Json格式数据

本文参考了:http://pkghosh.wordpress.com/2012/05/06/hive-plays-well-with-json/

表示感谢!

总体来说,有两大类方法:

1、将json以字符串的方式整个入Hive表,然后使用LATERAL VIEW json_tuple的方法,获取所需要的列名。

2、将json拆成各个字段,入Hive表。这将需要使用第三方的SerDe,例如:https://code.google.com/p/hive-json-serde/

本文将主要使用第二种方法。

之后,就可以使用 SELECT等语句进行操作了。

备注:这个SerDe虽然比较老,但经过测试,支持到0.12的版本无压力。

Leave a Reply

Your email address will not be published.