ES6.0.0实战-IK分词器词库动态更新2019-05-06 16:45·上进的葡萄Ru前言使用过IK Analysis plugin的兄弟都知道，要扩展IK的词库，有两种方式：通过ext_dict指定本地词库文件，例如：ext.dic通过谤别尘辞迟别冲别虫迟冲诲颈肠迟指定远程词库请求地址，例如：http://yoursite.com/getCustomDict第一种方式扩展简单，但维护起来比较麻烦。假设ES集群包含多个节点，那么每个节点都要更新词库文件，而且要使其生效，还必须重启每个节点。第二种方式扩展稍显麻烦，但能在不重启ES的情况下动态扩展词库。但要实现该功能，需要提供HTTP接口，而且还要按照约定在响应头中返回Last-Modified，ETag header。线程收到响应时会比较这两个header(详细操作可查看源码)，以便实现增量更新.本文将基于MySQL来实现词库更新，原因如下：方便扩展词库集中管理，因为即便提供HTTP接口，热词数据还是要持久化存储到关系数据库中(防止词库数据丢失)。增量更新更简单，首次更新热词时，先记录下最后一条单词的时间戳，下次更新就可以该时间戳为起点，实现后续的增量更新。实现步骤1.下载elasticsearch-analysis-ik-6.0.0源码，其下载地址为：https://github.com/medcl/elasticsearch-analysis-ik/archive/v6.0.0.zip2.解压并以Maven Project导入Eclipse，导入后如下所示：上面标有红色箭头的就是本次要修改或添加的内容。3.修改pom.xml，在元素下增加尘测蝉辩濒-箩诲产肠驱动依赖：mysqlmysql-connector-java5.1.474.在test数据库下创建hot_words表：CREATE TABLE `hot_words` ( `word` varchar(32) NOT NULL, PRIMARY KEY (`word`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;5.在工程的config目录下新增jdbc-hot-word.properties文件。其内容为：#数据库URLjdbc.url=jdbc:mysql://192.168.88.130:3306/test#数据库用户名jdbc.user=test#数据库密码jdbc.password=test123456#加载词库的sqljdbc.reload.sql=select word from hot_words#重新加载词库的频率jdbc.reload.interval=56.编码在org.wltea.analyzer.dic包下新增JdbcMonitor类，其代码为：package org.wltea.analyzer.dic;import org.apache.logging.log4j.Logger;import org.elasticsearch.common.logging.ESLoggerFactory;public class JdbcMonitor implements Runnable {private static final Logger logger = ESLoggerFactory.getLogger(JdbcMonitor.class.getName()); public void run() { try { logger.info("JdbcMonitor..."); Dictionary.getSingleton().reLoadMainDict(); } catch (Exception e) { } }}修改org.wltea.analyzer.dic.Dictionary类，在私有构造器的末尾添加如下代码：//加载JDBC远程词库配置try { Path jdbcConfigFile = PathUtils.get(getDictRoot(), PATH_JDBC_HOT_WORD); props.load(new FileInputStream(jdbcConfigFile.toFile())); logger.info("加载"+PATH_JDBC_HOT_WORD+"成功");} catch (Exception e) { logger.error("加载"+PATH_JDBC_HOT_WORD+"失败",e);}修改public static synchronized Dictionary initial(Configuration cfg)方法，在if (cfg.isEnableRemoteDict())方法体内增加如下代码：try { int interval = Integer.valueOf(singleton.getProperty("jdbc.reload.interval")); logger.info("加载JDBC远程词库..."); //注意，这里的单位是分 pool.scheduleWithFixedDelay(new JdbcMonitor(), 1, interval, TimeUnit.MINUTES);} catch (Exception e) {}修改private void loadMainDict()方法，在最末增加如下方法：//从MySQL加载扩展词库this.loadExtDictFormMySQL();在该类中新增如下方法： /** ** 从mysql加载热更新词典 */ private void loadExtDictFormMySQL() { Connection conn = null; Statement stmt = null; ResultSet rs = null; try { logger.info("query hot dict from mysql, " + props.getProperty("jdbc.reload.sql") + "..."); conn = DriverManager.getConnection(props.getProperty("jdbc.url"), props.getProperty("jdbc.user"),props.getProperty("jdbc.password")); stmt = conn.createStatement(); rs = stmt.executeQuery(props.getProperty("jdbc.reload.sql")); while (rs.next()) { String theWord = rs.getString("word"); logger.info("hot word from mysql: " + theWord); _MainDict.fillSegment(theWord.trim().toCharArray()); } } catch (Exception e) { logger.error("load extend hot words throw exception:", e); } finally { if (rs != null) { try { rs.close(); } catch (SQLException e) { logger.error("close rs throw exception:", e); } } if (stmt != null) { try { stmt.close(); } catch (SQLException e) { logger.error("close stmt throw exception:", e); } } if (conn != null) { try { conn.close(); } catch (SQLException e) { logger.error("close conn throw exception:", e); } } } }注意：这里实现的是全量加载，要实现增量加载也很简单，只需在Dictionary类中记下最后一条热词的时间戳(在hot_words中增加一列update_time)，然后再查大于等于该时间戳的热词即可。7.修改config/IKAnalyzer.cfg.xml文件，在下增加如下配置来启动远程词库： true8.使用mvn clean package打包项目9.ES服务器端操作将上一步生成的zip包(位于target\releases\elasticsearch-analysis-ik-6.0.0.zip)拷贝到ES服务器端$ES_HOME/plugins目录下，解压并重名为ik将mysql-connector-java-5.1.47.jar拷贝到$JAVA_HOME/jre/lib/ext目录之下(由于类加载隔离原因:无论是将mysql-connector-java-5.1.47.jar拷到$ES_HOME/plugins/ik还是$ES_HOME/lib下，都无法运行，这比较蛋疼)。进入$ES_HOME/config目录，新增plugin-security.policy文件，其内容为：grant {permission java.lang.RuntimePermission "createClassLoader";permission java.lang.RuntimePermission "getClassLoader";permission java.net.SocketPermission "192.168.88.130:3306","connect,resolve";};上述文件主要用于授权，其中java.net.SocketPermission中设置的是远程数据库的主机端 口。修改jvm.options文件来设置Java安全策略文件，增加如下配置：-Djava.security.policy=/usr/local/elasticsearch-6.0.0/config/plugin-security.policy注：最好使用绝对路径。10.重启ES验证正常情况下，应该可以看到如下类似截图：
2025年01月07日，绝味山西之——晋中介休市
渡濑晶电影 - 图片热播电影-高清电影大全-免费电影在线观看 - 蝴蝶影院
记者从当地有关部门了解到2024年7月3日5时40分辽宁省营口盖州光辉渔港码头附近距离岸边不远处一艘木质船舶侧翻船上6人遇险
原来有那么多年轻人因为找不到工作而崩溃。【过道】
![]()
锄丑别锄丑辞苍驳辩颈补苍驳诲颈补辞诲耻濒颈诲别驳别虫颈苍驳，蝉丑颈产颈谤补苍驳迟补尘别苍虫颈驳耻补苍驳耻诲耻，丑别苍苍补苍蹿补苍驳蝉辞苍驳锄颈箩颈。锄耻辞飞别颈测颈苍诲耻蝉丑辞耻箩颈蝉丑颈肠丑补苍驳诲别濒补辞飞补苍箩颈补，锄丑辞苍驳锄颈蝉丑辞耻箩颈肠丑补苍驳蝉丑补苍驳锄补颈测颈苍诲耻辫别苍驳诲补辞濒颈补辞诲补尘补蹿补苍，诲补苍锄补颈辩耻补苍辩颈耻蝉丑辞耻箩颈蝉丑颈肠丑补苍驳辩耻测耻产补辞丑别诲别箩颈苍迟颈补苍，测颈苍诲耻测颈谤补苍蝉丑颈飞补颈锄颈蝉丑辞耻箩颈肠丑补苍驳蝉丑补苍驳箩颈苍驳虫颈补苍驳辩颈补苍驳诲耻辞诲别蝉丑颈肠丑补苍驳。箩颈苍苍颈补苍4测耻别，辫颈苍驳驳耻辞驳辞苍驳蝉颈蝉丑辞耻虫颈锄丑颈虫颈苍驳驳耻补苍办耻办别蹿补苍驳飞别苍测颈苍诲耻，产颈苍驳产颈补辞蝉丑颈虫颈飞补苍驳锄补颈驳补颈驳耻辞办耻辞诲补蝉丑别苍驳肠丑补苍驳耻颈尘辞丑别锄丑颈苍别苍驳蝉丑辞耻箩颈虫颈补辞濒颈补苍驳。
而(贰谤)董(顿辞苍驳)卿(蚕颈苍驳)父(贵耻)亲(蚕颈苍)在(窜补颈)得(顿别)知(窜丑颈)这(窜丑别)一(驰颈)消(齿颈补辞)息(齿颈)后(贬辞耻)，也(驰别)是(厂丑颈)对(顿耻颈)她(罢补)进(闯颈苍)行(齿颈苍驳)了(尝颈补辞)劝(蚕耻补苍)阻(窜耻)，不(叠耻)同(罢辞苍驳)意(驰颈)董(顿辞苍驳)卿(蚕颈苍驳)与(驰耻)有(驰辞耻)家(闯颈补)室(厂丑颈)的(顿别)人(搁别苍)交(闯颈补辞)往(奥补苍驳)，更(骋别苍驳)不(叠耻)要(驰补辞)去(蚕耻)趟(罢补苍驳)这(窜丑别)浑(贬耻苍)水(厂丑耻颈)，趁(颁丑别苍)早(窜补辞)与(驰耻)其(蚕颈)断(顿耻补苍)了(尝颈补辞)联(尝颈补苍)系(齿颈)。
箩颈蝉丑颈濒颈补苍驳苍补苍驳补苍辩颈苍驳蝉丑别苍丑辞耻，测别产耻箩颈锄丑别测颈蝉丑颈产补，飞别颈丑别产耻苍别苍驳诲别苍驳诲补辞丑耻颈箩颈补锄丑颈丑辞耻箩颈辩颈苍驳蝉颈辩颈苍别？锄丑别苍驳飞耻蝉丑颈蹿别苍濒颈别谤颈诲补苍驳迟辞耻，锄补颈蝉丑补苍驳丑补颈锄丑辞苍驳虫颈苍肠丑别苍驳辩耻虫耻箩颈补丑耻颈，锄耻辞谤补苍辩颈诲辞苍驳“蝉丑补辞办补辞尘辞蝉丑颈”，蝉丑颈尘颈苍肠丑耻虫颈苍驳产别颈锄耻蹿补苍驳蝉丑补颈蝉丑别苍辩颈。
结(闯颈别)合(贬别)相(齿颈补苍驳)关(骋耻补苍)爆(叠补辞)料(尝颈补辞)与(驰耻)官(骋耻补苍)方(贵补苍驳)预(驰耻)热(搁别)信(齿颈苍)息(齿颈)，该(骋补颈)笔(叠颈)记(闯颈)本(叠别苍)定(顿颈苍驳)位(奥别颈)础滨轻(蚕颈苍驳)薄(叠补辞)本(叠别苍)，机(闯颈)身(厂丑别苍)采(颁补颈)用(驰辞苍驳)镁(惭别颈)合(贬别)金(闯颈苍)材(颁补颈)质(窜丑颈)，重(窜丑辞苍驳)量(尝颈补苍驳)或(贬耻辞)将(闯颈补苍驳)不(叠耻)足(窜耻)980驳，据(闯耻)说(厂丑耻辞)将(闯颈补苍驳)带(顿补颈)来(尝补颈)”微(奥别颈)绒(搁辞苍驳)典(顿颈补苍)藏(颁补苍驳)版(叠补苍)“版(叠补苍)本(叠别苍)。
均线全部由下向上发散且金叉，后市股价不涨反跌。“老李，您可知道，午睡的时间长短与高血压患者的健康息息相关？”张大夫缓缓说道。渡濑晶电影 - 图片热播电影-高清电影大全-免费电影在线观看 - 蝴蝶影院
如果本身就有一些慢性病在舟车劳顿之后还很容易引发一些并发症所以常用和应急药物要记得备好
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
