有的时候，使用Hadoop Streaming比写Map、Reduce要轻量一些。但是由一些坑要注意。
例如，使用SequenceFile、指定分隔符等等。
hadoop jar /path/hadoop-xxxx-streaming.jar \
-D mapred.reduce.tasks=100 \
-input path/xxx \
-output path/yyy \
-file ./dna.[......]
这是 阮一峰 写的系列的文章，共6篇，对于投票类的排名计算，非常有意义，由于图、公式比较多，就直接贴出原文链接了。
基于用户投票的排名算法（一）：Delicious和Hacker News
基于用户投票的排名算法（六）：贝叶斯平均[......]
RT，在Hive中，使用了Group By后，是无法再sort，再取Top K的，我们可以用UDF + distributed by + sort by 实现这个功能。
参考自：EXTRACT TOP N RECORDS IN EACH GROUP IN HADOOP/HIVE
Assume you have a table with three columns: user, category and value. For each user, you want to select[......]
数据、例子，修改自：《Hive with Python example》
首先来看一下数据：
hive> select * from test;
OK
1 3
2 2
3 1
假设，我们要输出每一列的md5值。在目前的hive中是没有这个udf的。
我们看一下Python的代码：
#!/home/tops/bin/python
import sys
import hashlib
for line in sys.st[......]
前言
Hive中，默认使用的是TextInputFormat，一行表示一条记录。在每条记录(一行中)，默认使用^A分割各个字段。
在有些时候，我们往往面对多行，结构化的文档，并需要将其导入Hive处理，此时，就需要自定义InputFormat、OutputFormat，以及SerDe了。
首先来理清这三者之间的关系，我们直接引用Hive官方说法：
SerDe is a short name for "Serializer and Deserializer."
Hive us[......]