java如何分詞??

java如何分詞??

如果你的分詞規(guī)則是在一個字符串的開頭和結尾加上\”_\”,然后兩個字符一分的話,代碼可以這樣寫:import java.util.ArrayList;import java.util.List;public class Participle{ private static final String HEAD_END_STR = \”_\”; private static final int PARTICIPLE_LENGTH = 2; public static void main(String[] args) { String exampleWord = \”計算機\”; exampleWord = \”_\” + exampleWord + \”_\”; int length = exampleWord.length(); List<String> result = new ArrayList<String>(); for (int i = 0; i < length – 1; i++) { String str = exampleWord.substring(i, i + PARTICIPLE_LENGTH); result.add(str); } System.out.println(result); }}輸出結果:_計, 計算, 算機, 機_

java編個中文分詞的程序

imp

怎么使用java中文分詞組件word

參考如下1、快速體驗運行項目根目錄下的腳本demo-word.bat可以快速體驗分詞效果用法: command [text] [input] [output]命令command的可選值為:demo、text、filedemotext 楊尚川是APDPlat應用級產(chǎn)品開發(fā)平臺的作者file d:/text.txt d:/word.txtexit2、對文本進行分詞移除停用詞:List<Word> words = WordSegmenter.seg(\”楊尚川是APDPlat應用級產(chǎn)品開發(fā)平臺的作者\”);保留停用詞:List<Word> words = WordSegmenter.segWithStopWords(\”楊尚川是APDPlat應用級產(chǎn)品開發(fā)平臺的作者\”); System.out.println(words);輸出:移除停用詞:[楊尚川, apdplat, 應用級, 產(chǎn)品, 開發(fā)平臺, 作者]保留停用詞:[楊尚川, 是, apdplat, 應用級, 產(chǎn)品, 開發(fā)平臺, 的, 作者]3、對文件進行分詞String input = \”d:/text.txt\”;String output = \”d:/word.txt\”;移除停用詞:WordSegmenter.seg(new File(input), new File(output));保留停用詞:WordSegmenter.segWithStopWords(new File(input), new File(output));4、自定義配置文件默認配置文件為類路徑下的word.conf,打包在word-x.x.jar中自定義配置文件為類路徑下的word.local.conf,需要用戶自己提供如果自定義配置和默認配置相同,自定義配置會覆蓋默認配置配置文件編碼為UTF-85、自定義用戶詞庫自定義用戶詞庫為一個或多個文件夾或文件,可以使用*百科*路徑或相對路徑用戶詞庫由多個詞典文件組成,文件編碼為UTF-8詞典文件的格式為文本文件,一行代表一個詞可以通過系統(tǒng)屬性或配置文件的方式來指定路徑,多個路徑之間用逗號分隔開類路徑下的詞典文件,需要在相對路徑前加入前綴classpath:指定方式有三種: 指定方式一,編程指定(高優(yōu)先級): WordConfTools.set(\”dic.path\”, \”classpath:dic.txt,d:/custom_dic\”); DictionaryFactory.reload();//更改詞典路徑之后,重新加載詞典 指定方式二,Java虛擬機啟動參數(shù)(中優(yōu)先級): java -Ddic.path=classpath:dic.txt,d:/custom_dic 指定方式三,配置文件指定(低優(yōu)先級): 使用類路徑下的文件word.local.conf來指定配置信息 dic.path=classpath:dic.txt,d:/custom_dic如未指定,則默認使用類路徑下的dic.txt詞典文件6、自定義停用詞詞庫使用方式和自定義用戶詞庫類似,配置項為:stopwords.path=classpath:stopwords.txt,d:/custom_stopwords_dic7、自動檢測詞庫變化可以自動檢測自定義用戶詞庫和自定義停用詞詞庫的變化包含類路徑下的文件和文件夾、非類路徑下的**路徑和相對路徑如:classpath:dic.txt,classpath:custom_dic_dir,d:/dic_more.txt,d:/DIC_DIR,D:/DIC2_DIR,my_dic_dir,my_dic_file.txtclasspath:stopwords.txt,classpath:custom_stopwords_dic_dir,d:/stopwords_more.txt,d:/STOPWORDS_DIR,d:/STOPWORDS2_DIR,stopwords_dir,remove.txt8、顯式指定分詞算法對文本進行分詞時,可顯式指定特定的分詞算法,如:WordSegmenter.seg(\”APDPlat應用級產(chǎn)品開發(fā)平臺\”, SegmentationAlgorithm.BidirectionalMaximumMatching);SegmentationAlgorithm的可選類型為: 正向**匹配算法:MaximumMatching逆向**匹配算法:ReverseMaximumMatching正向最小匹配算法:MinimumMatching逆向最小匹配算法:ReverseMinimumMatching雙向**匹配算法:BidirectionalMaximumMatching雙向最小匹配算法:BidirectionalMinimumMatching雙向**最小匹配算法:BidirectionalMaximumMinimumMatching全切分算法:FullSegmentation最少分詞算法:MinimalWordCount**Ngram分值算法:MaxNgramScore9、分詞效果評估運行項目根目錄下的腳本evaluation.bat可以對分詞效果進行評估評估采用的測試文本有253 3709行,共2837 4490個字符評估結果位于target/evaluation目錄下:corpus-text.txt為分好詞的人工標注文本,詞之間以空格分隔test-text.txt為測試文本,是把corpus-text.txt以標點符號分隔為多行的結果standard-text.txt為測試文本對應的人工標注文本,作為分詞是否正確的標準result-text-***.txt,***為各種分詞算法名稱,這是word分詞結果perfect-result-***.txt,***為各種分詞算法名稱,這是分詞結果和人工標注標準完全一致的文本wrong-result-***.txt,***為各種分詞算法名稱,這是分詞結果和人工標注標準不一致的文本

java word分詞器怎樣安裝在java中

word分詞是一個Java實現(xiàn)的分布式的中文分詞組件,提供了多種基于詞典的分詞算法,并利用ngram模型來消除歧義。
如果需要安裝word分詞器可以參考下面的步驟:
1、確保電腦上已經(jīng)安裝了JDK軟件和Eclispe工具,沒有安裝的可以到對應的官網(wǎng)下載安裝:
JDK官網(wǎng):http://www.oracle.com/technetwork/java/javase/downloads/index.html
Eclipse官網(wǎng):http://www.eclipse.org
2、下載word分詞器的相關jar包:
打開word分詞器的**github主頁:https://github.com/ysc/word

下拉找到ReadME部分,點擊“編譯好的jar下載”:

頁面將會跳轉到到百度云盤的下載頁面,按照需求下載指定的版本即可。

注意:word1.3需要JDK1.8。

下載完成之后解壓到指定目錄。
3、創(chuàng)建Java項目,導入word分詞器的相關jar包:
打開Eclipse,右鍵創(chuàng)建Java project項目:

然后右鍵項目選擇Build path打開導入頁面,導入剛才下載的jar包到項目中:

導入成功之后就可以在自己的項目中使用word分詞器了。

如何用接瓦法在java中對文章進行分詞

用Java的StringTokenizer可以直接將字符串按照空格進行分詞。