1 打fat jar
fat jar也叫uber jar,all in one jar,就是把你依赖的其他pom的jar里的class打散、组合,打成一个大jar包。
下述加了一个exclude,即排除所有hadoop的包
更详细的排除规则,可以参考 这里
<build>
<plugins>
<plugin>
<groupId>org.apache.m[......]
需求:Reduce输出特殊的格式结果
例如:如Reducer的结果,压到Guava的BloomFilter中
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.h[......]
1 pom准备
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0[......]
我这里是以pb2为例,2和3不兼容,但是方法大致相同
1 pom依赖
<dependency>
<groupId>com.google.protobuf</groupId>
<artifactId>protobuf-java</artifactId>
<version>2.6.1</version>
</dependency>
<dependency&g[......]