后缀数组 - 扫盲篇

一、后缀的定义

后缀数组,做为后缀树的替代品,可以解决很多棘手的字符串处理问题。

长度为n的String[0, 1...n-1]

定义后缀Suffix(i)=sub_string[i...n-1]。

例如字符串aabaaaab,Suffix[1] = abaaaab,Suffix[7]=b。

考虑到空间问题,以及C系列语言中,Suffix[i]非常好求得(&str[i]即可)。一般不会保存Suffix[i]这个数组。

二、后缀数组sa和逆运算数组rank。

后缀数组,一般写做sa,它的定义非常简单:将Suffix[i] i=0~n-1,按照字典序排序

之后,sa[j]=i表示,排序后的第j位是Suffix[i]。

如下图所示:

名次数组:与sa数组对应的逆运算数组是排名数组rank。rank[i]=j,表示Suffix[i]在sa[j]中。

后缀数组说明:排名第几的是谁,名次数组说明:你排第几名。

三、后缀数组的算法:倍增算法(Doubling Algorithm)

表示看不懂思路,看不懂代码,只能借了模板,研究下输入、输出是什么……

基本思路:对每个字符开始的长度为2^k的子字符串进行排序,求出排名,即rank值,k从0开始,每次加1。

时间复杂度O(nlogn),空间复杂度6*n

输入参数如下:

r是要排序的字符串,一般为了方便处理,把字母转换到'a'~'z'之间。

sa是输出的后缀数组,其长度至少为len(r)。

n是r的长度。

m是r中数字的最大值范围。因为本算法内部用了基数排序。

此外,wa、wb、wv、ws是辅助

#include <stdio.h>
#include <string.h>

#define MAXN  100

int wa[MAXN],wb[MAXN],wv[MAXN],ws[MAXN];

int cmp(int *r,int a,int b,int l)
{
	return r[a]==r[b]&&r[a+l]==r[b+l];
}

void da(int *r,int *sa,int n,int m)
{
	int i,j,p,*x=wa,*y=wb,*t;
	for(i=0;i<m;i++) ws[i]=0;
	for(i=0;i<n;i++) ws[x[i]=r[i]]++;
	for(i=1;i<m;i++) ws[i]+=ws[i-1];
	for(i=n-1;i>=0;i--) sa[--ws[x[i]]]=i;
	for(j=1,p=1;p<n;j*=2,m=p)
	{
		for(p=0,i=n-j;i<n;i++) y[p++]=i;
		for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
		for(i=0;i<n;i++) wv[i]=x[y[i]];
		for(i=0;i<m;i++) ws[i]=0;
		for(i=0;i<n;i++) ws[wv[i]]++;
		for(i=1;i<m;i++) ws[i]+=ws[i-1];
		for(i=n-1;i>=0;i--) sa[--ws[wv[i]]]=y[i];
		for(t=x,x=y,y=t,p=1,x[sa[0]]=0,i=1;i<n;i++)
			x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
	}
	return;
}

int main()
{
	char* str = "aabaaaab";
	int sa[MAXN];
	int str_i[MAXN];
	int i;
	int len = strlen(str);
	// Process ascii string to 'a'~'z', cut range to < 30
	for(i=0; i<len; i++)
	{
		str_i[i] = str[i] - 'a';
	}
	da(str_i, sa, len, 30);
	for(i=0; i<len; i++)
	{
		printf("Rank %d, Suffix %s\n", i, &str[sa[i]]);
	}
	return 0;
}

输出如下:

Rank 0, Suffix aaaab
Rank 1, Suffix aaab
Rank 2, Suffix aab
Rank 3, Suffix aabaaaab
Rank 4, Suffix ab
Rank 5, Suffix abaaaab
Rank 6, Suffix b
Rank 7, Suffix baaaab

四、后缀数组的算法:DC3

本算法时间复杂度为O(nlogn),空间复杂度10*n。是03年新提出的算法。

DC3算法区别于DA算法:s、sa数组都必须是3的倍数。

如果s不够,需要补len(s)-3n个0到达len_3n,而且结果数组sa中前len_3n-len个字符会是0。即从len_3n-len开始才是正式的sa数组。

代码如下:

#include <string.h>
#include <stdio.h>

#define MAXN 100

#define F(x) ((x)/3+((x)%3==1?0:tb))
#define G(x) ((x)<tb?(x)*3+1:((x)-tb)*3+2)
int wa[MAXN],wb[MAXN],wv[MAXN],ws[MAXN];
int c0(int *r,int a,int b)
{return r[a]==r[b]&&r[a+1]==r[b+1]&&r[a+2]==r[b+2];}
int c12(int k,int *r,int a,int b)
{if(k==2) return r[a]<r[b]||r[a]==r[b]&&c12(1,r,a+1,b+1);
	else return r[a]<r[b]||r[a]==r[b]&&wv[a+1]<wv[b+1];}
void sort(int *r,int *a,int *b,int n,int m)
{
	int i;
	for(i=0;i<n;i++) wv[i]=r[a[i]];
	for(i=0;i<m;i++) ws[i]=0;
	for(i=0;i<n;i++) ws[wv[i]]++;
	for(i=1;i<m;i++) ws[i]+=ws[i-1];
	for(i=n-1;i>=0;i--) b[--ws[wv[i]]]=a[i];
	return;
}
void dc3(int *r,int *sa,int n,int m)
{
	int i,j,*rn=r+n,*san=sa+n,ta=0,tb=(n+1)/3,tbc=0,p;
	r[n]=r[n+1]=0;
	for(i=0;i<n;i++) if(i%3!=0) wa[tbc++]=i;
	sort(r+2,wa,wb,tbc,m);
	sort(r+1,wb,wa,tbc,m);
	sort(r,wa,wb,tbc,m);
	for(p=1,rn[F(wb[0])]=0,i=1;i<tbc;i++)
		rn[F(wb[i])]=c0(r,wb[i-1],wb[i])?p-1:p++;
	if(p<tbc) dc3(rn,san,tbc,p);
	else for(i=0;i<tbc;i++)
		san[rn[i]]=i;
	for(i=0;i<tbc;i++)
		if(san[i]<tb)
			wb[ta++]=san[i]*3;
	if(n%3==1)
		wb[ta++]=n-1;
	sort(r,wb,wa,ta,m);
	for(i=0;i<tbc;i++)
		wv[wb[i]=G(san[i])]=i;
	for(i=0,j=0,p=0;i<ta
			&&
			j<tbc;p++)
		sa[p]=c12(wb[j]%3,r,wa[i],wb[j])?wa[i++]:wb[j++];
	for(;i<ta;p++)
		sa[p]=wa[i++];
	for(;j<tbc;p++)
		sa[p]=wb[j++];
	return;
}

int main()
{
	char* str = "aabaaaab";
	int sa[MAXN];
	int str_i[MAXN];
	int i;
	int len = strlen(str);
	int len_3n = 0;
	// Process ascii string to 'a'~'z', cut range to < 30
	for(i=0; i<len; i++)
	{
		str_i[i] = str[i] - 'a'+1;
	}
	// Append r's len to 3n
	len_3n = len;
	while(len_3n%3) {
		str_i[len_3n++] = 0;
	}
	dc3(str_i, sa, len_3n, 27);
	for(i=(len_3n-len); i<len_3n; i++)
	{
		printf("Rank %d, Suffix %s\n", i-(len_3n-len), &str[sa[i]]);
	}
	return 0;
}

输出:

Rank 0, Suffix aaaab
Rank 1, Suffix aaab
Rank 2, Suffix aab
Rank 3, Suffix aabaaaab
Rank 4, Suffix ab
Rank 5, Suffix abaaaab
Rank 6, Suffix b
Rank 7, Suffix baaaab

本文只讲述了基础的后缀数组sa的算法,具体到应用问题,一般还要结合另外一个数组height,改日再续……

 

One thought on “后缀数组 - 扫盲篇

  1. woodlgz

    上边dc3的代码有bug,在进行SA0和SA12 的merge之前应该将r数组的n位后的内容置0,否则在比较过程中可能出错。
    bug的证明:测试样例:char str="aaaaaa";

    Reply

Leave a Reply to woodlgz Cancel reply

Your email address will not be published. Required fields are marked *