IM-ContentsSearch Ver7.1 の形態素解析エンジン「MeCab」及び「cmecab-java」をバージョンアップしました。

 
【更新内容】
IM-ContentsSearch Ver7.1で利用するSolrサーバ用ファイルに同梱されている、形態素解析エンジン「MeCab」とそのJNIバインディングである「cmecab-java」をバージョンアップしました。

バージョンアップ用のファイルは、以下に添付しております[im_contents_search.zip]になります。
http://www.intra-mart.jp/download/try/im_contents_search.zip

また、バージョンアップ手順の詳細につきましては下記リンク先にある、「MeCab・cmecab-java バージョンアップガイド」を参照して下さい。
https://www.intra-mart.jp/download/product/v71_doc/im_ContentsSearch/im_contentssearch_mecab_verup_guide_v71.pdf

■対象環境 IM-ContentsSearch Ver7.1を利用し、テキスト解析方法に形態素解析を用いている環境

■更新内容:バージョンアップ
  MeCab: MeCab 0.97 → MeCab 0.98
  cmecab-java: cmecab-java1.3 → cmecab-java1.6

■バージョンアップで改善される問題 

[Windows・UNIX共通で対応した問題]
・cmecab-javaを利用して大量データに対してクローラを動作させた際に、OutOfMemoryErrorによりSolrサーバの停止が発生する問題が改善されました。
※上記の問題はcmecab-java1.3において連続利用時にnative領域(JVM外)のメモリリークが発生し、更にnative領域のメモリ不足をJVM内のOutOfMemoryErrorとして処理していた事に起因しておりました。

[UNIXのみで対応した問題]
・64bit環境でMeCabを利用した際に、解析できる最大テキストサイズが32bit環境と同サイズに制限されていた問題を修正しました。
・MeCabによる形態素解析処理に失敗した際に、Solrサーバが停止する問題を修正しました。
※ cmecab-javaのJNI実装をコンパイルする際のMakefileに、NDEBUGオプションを追加しました。

-- 対象 ------------------------------------------------------------------------
iWP/Webシステム構築基盤/IM-ContentsSearch
--------------------------------------------------------------------------------


FAQID:108
この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています
Powered by Zendesk