IM-ContentsSearch Ver7.1 の形態素解析エンジン「MeCab」及び「cmecab-java」をバージョンアップしました。

【更新内容】
IM-ContentsSearch Ver7.1で利用するSolrサーバ用ファイルに同梱されている、形態素解析エンジン「MeCab」とそのJNIバインディングである「cmecab-java」をバージョンアップしました。
バージョンアップ用のファイルは、以下に添付しております[im_contents_search.zip]になります。
(TRY版ダウンロードサイト及び、今後出荷される製品メディアにも同梱されます。) 
http://www.intra-mart.jp/download/try/im_contents_search.zip
また、バージョンアップ手順の詳細につきましては下記リンク先にある、「MeCab・cmecab-java バージョンアップガイド」を参照して下さい。
http://www.intra-mart.jp/download/product/v71_doc/im_ContentsSearch/im_contentssearch_mecab_verup_guide_v71.pdf
■対象環境 IM-ContentsSearch Ver7.1を利用し、テキスト解析方法に形態素解析を用いている環境
■更新内容:バージョンアップ
  MeCab: MeCab 0.97 → MeCab 0.98
  cmecab-java: cmecab-java1.3 → cmecab-java1.6
■バージョンアップで改善される問題 
[Windows・UNIX共通で対応した問題]
・cmecab-javaを利用して大量データに対してクローラを動作させた際に、OutOfMemoryErrorによりSolrサーバの停止が発生する問題が改善されました。
※上記の問題はcmecab-java1.3において連続利用時にnative領域(JVM外)のメモリリークが発生し、更にnative領域のメモリ不足をJVM内のOutOfMemoryErrorとして処理していた事に起因しておりました。
[UNIXのみで対応した問題]
・64bit環境でMeCabを利用した際に、解析できる最大テキストサイズが32bit環境と同サイズに制限されていた問題を修正しました。
・MeCabによる形態素解析処理に失敗した際に、Solrサーバが停止する問題を修正しました。
※ cmecab-javaのJNI実装をコンパイルする際のMakefileに、NDEBUGオプションを追加しました。

-- 対象 ------------------------------------------------------------------------
iWP/Webシステム構築基盤/IM-ContentsSearch
--------------------------------------------------------------------------------

FAQID:108
この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています
Powered by Zendesk