Category Archives: Linux

Makefile模板

一个相对比较模式化的模板,g++用的。
参考资料:
http://www.metalshell.com/view/tutorial/120/
#Compiler and flags
CC = g++
LD = g++
CXXFLAGS := -O3 -I /usr/include -I ../include_deps/ -I../include_deps/thrift
LINKFLAGS := ../lib_deps/libthrift.a
#Objects
OBJS := $[......]

继续阅读

Linux下include/lib/bin等搜索路径的配置

很多时候,我们的.h/.so/.a/bin文件都不在Linux发行版所指定的默认路径下,这时可以通过~/.bashrc来增加搜索路径。
#增加.so搜索路径
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/liheyuan/soft/lib

#增加.a搜索路径
LIBRARY_PATH=$LIBRARY_PATH:/home/liheyuan/soft/lib

#增加bin搜索路径
export PATH=$PATH:/home/l[......]

继续阅读

Hadoop The Definitive Guide 2nd读书笔记 - 第五章

这一章主要是走开发Map/Reduce流程,另外介绍Hadoop的配置。

1、配置类org.apache.hadoop.conf.Configuration
属性名是String,Value是boolean、int、long、float、String、Class、File等。

2、上面提到的Configuration是从如下的xml配置文件中读出来的。
注意格式!
<?xml version="1.0"?>
<configuration>
<p[......]

继续阅读

关于Hadoop中出现“Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误

出现在日志或者Web控制界面,有类似如下的情况:
10/09/07 19:24:51 INFO mapred.JobClient: Task Id : attempt_201009071911_0004_r_000000_2, Status : FAILED
Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
导致这种错误的原因很多,主要来说是Reduce阶段取map结果->reduce结点时出错的。
我的[......]

继续阅读