11大Java開源中文分詞器，不同的分詞器有不同的用法，定義的接口也不一樣，我們先定義一個統(tǒng)一的接口：

/**

 * 獲取文本的所有分詞結(jié)果, 對比不同分詞器結(jié)果

*/

public interface WordSegmenter {

    /**

     * 獲取文本的所有分詞結(jié)果

     * @param text 文本

     * @return 所有的分詞結(jié)果，去除重復(fù)

     */

    default public Set<String> seg(String text) {

        return segMore(text).values().stream().collect(Collectors.toSet());

    }

    /**

     * 獲取文本的所有分詞結(jié)果

     * @param text 文本

     * @return 所有的分詞結(jié)果，KEY 為分詞器模式，VALUE 為分詞器結(jié)果

     */

    public Map<String, String> segMore(String text);

}

從上面的定義我們知道，在Java中，同樣的方法名稱和參數(shù)，但是返回值不同，這種情況不可以使用重載。

這兩個方法的區(qū)別在于返回值，每一個分詞器都可能有多種分詞模式，每種模式的分詞結(jié)果都可能不相同，第一個方法忽略分詞器模式，返回所有模式的所有不重復(fù)分詞結(jié)果，第二個方法返回每一種分詞器模式及其對應(yīng)的分詞結(jié)果。

在這里，需要注意的是我們使用了Java8中的新特性默認方法，并使用stream把一個map的value轉(zhuǎn)換為不重復(fù)的集合。

下面我們利用這11大分詞器來實現(xiàn)這個接口：

1、word分詞器

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){

        map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));

    }

    return map;

}

private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {

    StringBuilder result = new StringBuilder();

    for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){

        result.append(word.getText()).append(" ");

    }

    return result.toString();

}

2、Ansj分詞器

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    StringBuilder result = new StringBuilder();

    for(Term term : BaseAnalysis.parse(text)){

        result.append(term.getName()).append(" ");

    }

    map.put("BaseAnalysis", result.toString());

    result.setLength(0);

    for(Term term : ToAnalysis.parse(text)){

        result.append(term.getName()).append(" ");

    }

    map.put("ToAnalysis", result.toString());

    result.setLength(0);

    for(Term term : NlpAnalysis.parse(text)){

        result.append(term.getName()).append(" ");

    }

    map.put("NlpAnalysis", result.toString());

    result.setLength(0);

    for(Term term : IndexAnalysis.parse(text)){

        result.append(term.getName()).append(" ");

    }

    map.put("IndexAnalysis", result.toString());

    return map;

}

3、Stanford分詞器

private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");

private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");

private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("Stanford Beijing University segmentation", seg(PKU, text));

    map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));

    return map;

}

private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){

    PrintStream err = System.err;

    System.setErr(NULL_PRINT_STREAM);

    Annotation document = new Annotation(text);

    stanfordCoreNLP.annotate(document);

    List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);

    StringBuilder result = new StringBuilder();

    for(CoreMap sentence: sentences) {

        for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {

            String word = token.get(CoreAnnotations.TextAnnotation.class);;

            result.append(word).append(" ");

        }

    }

    System.setErr(err);

    return result.toString();

}

4、FudanNLP分詞器

private static CWSTagger tagger = null;

static{

    try{

        tagger = new CWSTagger("lib/fudannlp_seg.m");

        tagger.setEnFilter(true);

    }catch(Exception e){

        e.printStackTrace();

    }

}

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("FudanNLP", tagger.tag(text));

    return map;

}

5、Jieba分詞器

private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("INDEX", seg(text, SegMode.INDEX));

    map.put("SEARCH", seg(text, SegMode.SEARCH));

    return map;

}

private static String seg(String text, SegMode segMode) {

    StringBuilder result = new StringBuilder();

    for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){

        result.append(token.word.getToken()).append(" ");

    }

    return result.toString();

}

6、Jcseg分詞器

private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();

private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);

static {

    CONFIG.setLoadCJKSyn(false);

    CONFIG.setLoadCJKPinyin(false);

}

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("復(fù)雜模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));

    map.put("簡易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));

    return map;

}

private String segText(String text, int segMode) {

    StringBuilder result = new StringBuilder();

    try {

        ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});

        IWord word = null;

        while((word=seg.next())!=null) {

            result.append(word.getValue()).append(" ");

        }

    } catch (Exception ex) {

        throw new RuntimeException(ex);

    }

    return result.toString();

}

7、MMSeg4j分詞器

private static final Dictionary DIC = Dictionary.getInstance();

private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);

private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);

private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));

    map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));

    map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));

    return map;

}

private String segText(String text, Seg seg) {

    StringBuilder result = new StringBuilder();

    MMSeg mmSeg = new MMSeg(new StringReader(text), seg);

    try {

        Word word = null;

        while((word=mmSeg.next())!=null) {

            result.append(word.getString()).append(" ");

        }

    } catch (IOException ex) {

        throw new RuntimeException(ex);

    }

    return result.toString();

}

8、IKAnalyzer分詞器

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("智能切分", segText(text, true));

    map.put("細粒度切分", segText(text, false));

    return map;

}

private String segText(String text, boolean useSmart) {

    StringBuilder result = new StringBuilder();

    IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);

    try {

        Lexeme word = null;

        while((word=ik.next())!=null) {

            result.append(word.getLexemeText()).append(" ");

        }

    } catch (IOException ex) {

        throw new RuntimeException(ex);

    }

    return result.toString();

}

9、Paoding分詞器

private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));

    map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));

    return map;

}

private static String seg(String text, int mode){

    ANALYZER.setMode(mode);

    StringBuilder result = new StringBuilder();

    try {

        Token reusableToken = new Token();

        TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));

        Token token = null;

        while((token = stream.next(reusableToken)) != null){

            result.append(token.term()).append(" ");

        }

    } catch (Exception ex) {

        throw new RuntimeException(ex);

    }

    return result.toString();

}

10、smartcn分詞器

private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("smartcn", segText(text));

    return map;

}

private static String segText(String text) {

    StringBuilder result = new StringBuilder();

    try {

        TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));

        tokenStream.reset();

        while (tokenStream.incrementToken()){

            CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);

            result.append(charTermAttribute.toString()).append(" ");

        }

        tokenStream.close();

    }catch (Exception e){

        e.printStackTrace();

    }

    return result.toString();

}

11、HanLP分詞器

private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);

private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);

@Override

public Map<String, String> segMore(String text) {

    Map<String, String> map = new HashMap<>();

    map.put("標(biāo)準(zhǔn)分詞", standard(text));

    map.put("NLP分詞", nlp(text));

    map.put("索引分詞", index(text));

    map.put("N-最短路徑分詞", nShort(text));

    map.put("最短路徑分詞", shortest(text));

    map.put("極速詞典分詞", speed(text));

    return map;

}

private static String standard(String text) {

    StringBuilder result = new StringBuilder();

    StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

    return result.toString();

}

private static String nlp(String text) {

    StringBuilder result = new StringBuilder();

    NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

    return result.toString();

}

private static String index(String text) {

    StringBuilder result = new StringBuilder();

    IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

    return result.toString();

}

private static String speed(String text) {

    StringBuilder result = new StringBuilder();

    SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));

    return result.toString();

}

private static String nShort(String text) {

    StringBuilder result = new StringBuilder();

    N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));

    return result.toString();

}

private static String shortest(String text) {

    StringBuilder result = new StringBuilder();

    DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));

    return result.toString();

}

    動寶兒歡迎各位大牛和同學(xué)們補充和指正，到哪里系統(tǒng)的學(xué)習(xí)Java，動寶兒推薦動力節(jié)點Java培訓(xùn)學(xué)校，多年大型企業(yè)項目經(jīng)驗的大牛導(dǎo)師會一站式解決你對Java學(xué)習(xí)的所有困惑，不信就來試聽。