日本語の単語境界による分解

日本語のテキストを単語に分解するテストをしてみました。まずは java.text.BreakIterator を試してみました。java.text.spi.BreakIteratorProvider に対して、実際の処理を行うサービスを実装していくことになりますが、今回はデフォルトのままです。

import java.text.BreakIterator;
import java.util.Locale;

public class Test {

　　public static void main(String[] args) {
　　　　if (args.length == 1) {
　　　　　　String stringToExamine = args[0];

　　　　　　BreakIterator boundary = BreakIterator.getWordInstance(Locale.JAPANESE);
　　　　　　boundary.setText(stringToExamine);
　　　　　　int start = boundary.first();
　　　　　　for (int end = boundary.next();
　　　　　　　　end != BreakIterator.DONE;
　　　　　　　　start = end, end = boundary.next()) {
　　　　　　　　System.out.println("[" + stringToExamine.substring(start, end) + "]");
　　　　　　}
　　　　}
　　}

}