Yahoo! Pipesで形態素解析+日英翻訳
9 月 9th, 2008
Yahoo! Pipesで形態素解析+日英翻訳ができたらいいなーと思ってやってみた。
結果的にできてないんだけどっw
目的は昨日書いた投稿スラッグを自動生成するためで、日本語を形態素解析して単語に分解したあと必要なものだけ英語に翻訳して繋げようという試みです。
・形態素解析はYahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析を使う。
・形態素解析ができたら、とりあえず名詞だけ抜き出して英語に翻訳。
・翻訳した単語のリストを返却。
この一連の流れをYahoo!Pipesでやってみたのですが、Yahoo!の日本語形態素解析の結果が文字化けするのです。
xmlのエンコーディングはutf-8になっているのですが、Yahoo!PipesはそこじゃなくてHTTPヘッダのcharsetを見ている様子。
形態素解析の結果は、
Content-Type: text/xml
となっているみたいで、charsetは送出されてないのか…
キャラクタセットはiso 8859-1かなんかに勘違いされて処理されてるのが原因ぽい。
んー。どうしたもんか。
最近のコメント