微软这个废柴的文件系统真麻烦……没办法，U盘下，FAT32不支持4GB，NTFS太慢。
sudo apt-add-repository ppa:relan/exfat
sudo apt-get update
sudo apt-get install fuse-exfat[......]
Ubuntu下支持exFat
Leave a reply
升级到JDK 7后，Sort出现兼容性问题的解法。
在昨天的文章 TimSort in Java 7 中，我们讨论了升级到JDK 7后，Collection的sort方法，出现兼容性问题的原因。
究其根本，还是我们写的compare函数不够严谨。
本文主要针对Hadoop、Hive，从系统的部署、配置层面提出一些解法。
1、Hive
在执行前，指定JVM选项。
set mapreduce.map.java.opts=-Xmx2000m -Djava.util.Arrays.useLegacyMergeSort=true[......]
[转载]TimSort in Java 7
1. 为什么写这篇文章
这篇文章的根源是在产品中发现了一个诡异的bug：只能在产品环境下重现，在我的本地开发环境无法重现，而双方的代码没有任何区别。最后用remote debug的方法找到异常所在：
Exception in thread "main" java.lang.IllegalArgumentException: Comparison
method violates its general contrac[......]
ssh + Tab 自动补全主机名
Bash shell 打 ssh [Tab] * 2, 會列出不少網址, 通常都是 hosts 檔案內 設定的網址, 會秀出蠻多不相關的東西.
此自動補齊的功能, 主要是撈 .bash_history (歷史資料) 來做補齊, 就是 ssh [Tab] * 2, 只會出現之前有連線過的網址, 應該會方便不少.
Bash shell - ssh 命令自動補齊
設定步驟如下述:
將此行加入 .bashrc 最後一行[......]
Hadoop使用Streaming的一些坑
有的时候，使用Hadoop Streaming比写Map、Reduce要轻量一些。但是由一些坑要注意。
例如，使用SequenceFile、指定分隔符等等。
hadoop jar /path/hadoop-xxxx-streaming.jar \
-D mapred.reduce.tasks=100 \
-input path/xxx \
-output path/yyy \
-file ./dna.[......]