Lucene的分析器

2〉tokenizer主要用于对文本资源进行切分，将文本规则切分为一个个可以进入索引的最小单元 
3〉tokenfilter主要对分词器切分的最小单位进入索引进行预处理，如：大写转小写，复数转单数，也可以复杂（根据语义改写拼写错误的单词） 

Token： 如果一个字段被token化，这表示它经过了一个可将内容转化为tokens串的分析程序。 Token是建立索引的基本单位，表示每个被编入索引的字符。 在token化的过程中，分析程序会在使用任何转换逻辑（例如去掉 "a” 或 "the" 这类停用词，执行词干搜寻，将无大小写区分的所有文字转换成小写等）的同时，抽取应被编入索引的文本内容。由于和字段相关的内容减少到只剩核心元素，因此，索引作为与某个字段相关的文字内容，它的规模也被缩小了。只有被token化的字段也将被编入索引的情况下才有意义。 对Akamai.com来说，“标题”被token化，所以Lucene不用搜寻如 "a" 或 "the" 这类单词。 
 TokenStream是用来走访Token的iterator(迭代器) 
public abstract class TokenStream {public abstract Token next() throws IOException;public void close() throws IOException {}} 

Tokenizer继承自TokenStream，其输入为Reader 
public abstract class Tokenizer extends TokenStream {
protected Reader input;
protected Tokenizer() {}
protected Tokenizer(Reader input) {
this.input = input;
}
public void close() throws IOException {
input.close();
}
}

TokenFilter继承自TokenStream,其作用是用来完成对TokenStream的过滤操作，譬如 
去StopWords，将Token变为小写等。 
public abstract class TokenFilter extends TokenStream {
protected TokenStream input;
protected TokenFilter() {}
protected TokenFilter(TokenStream input) {
this.input = input;
}
public void close() throws IOException {
input.close();
}
}

Analyzer就是一个TokenStream工厂 
public abstract class Analyzer {
public TokenStream tokenStream(String fieldName, Reader reader){
return tokenStream(reader);
}
public TokenStream tokenStream(Reader reader){
return tokenStream(null, reader);
}
}
Analyzer的作用就是把文本分解为便于Lucene处理的token,好比人体的肠道，负责把食物分解成易于吸收的小块。

   1.1 Analyzer的概述：中文翻译是"分析器"。
   它主要用于分析切词或者过滤搜索时遇到的各种文本。用更具体的话说其实就是"分词"和"过滤"。
   
   ** 作用：分析器作用与索引和文本之间，索引要进入索引库的文本资源都要先通过分析器的分析(切词和过滤)，
   以便确保索引库中的索引内容的正确性。
   如果不经过分析器分析就把文本内容存入索引中，那么会引起索引内容数据的不一致，也会降低索引的效率，
   进而影响整个搜索引擎的性能。
   
   ** 注意：一个分析器主要包括分词器和过滤器两种组件。
   
    1.1.1 分词器：就是用于对文本资源进行切词，
    将文本按照规则切分为一个个可以进入索引的最小单位--分词。(具体下边标题会讲到)
    
    1.1.2 过滤器：对分词器切成的索引最小单位，即对分词进行预处理操作。
    比如大写转小写、复数转单数、根据语义改写拼写错误的单词等。(具体下边标题会讲到)
   
   ** 说明：此处我们着重讲解Analyzer分析器的实现。所有的分析器都是继承的org.apache.lucene.analysis.Analyzer抽象类，
   该类中只定义了两个方法《自己可查看源代码》
   
   1.2 分词器(Tokenizer)和过滤器(TokenFilter)：前边说过分析器的功能就是进行分词和过滤。
   所以在Analyzer分析器的对象中一定会保存对分词器对像和过滤器对象的引用，然后调用分词器对象和过滤器对象的API接口，
   以便完成切词和过滤的功能目的。