全文检索引擎Solr：整合MySQL、MongoDB

　　一、MySQL

　　1.把mysql-connector-java-5.1.25-bin.jar拷贝到E:\solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib目录下面

　　2.配置E:\solr-4.8.0\example\solr\collection1\conf\solrconfig.xml  如图1所示

　                                              　图1

　　3.导入依赖库文件，如图2所示：

                                                　图2

　　加在

　　                                              图3

　　前面。

　 4.创建E:\solr-4.8.0\example\solr\collection1\conf\data-config.xml，指定MySQL数据库的地址，用户名、密码以及建立索引的数据表，如图4所示

　　                                 图4

　　（1）query 用于初次导入到索引的sql语句。

• 　   　考虑到数据表中的数据量非常大，比如千万级，不可能一次索引完，因此需要分批次完成，那么查询语句query要设置两个参数：${dataimporter.request.length} ${dataimporter.request.offset}
• 　　   query=”select id,title,content from blog_blog limit ${dataimporter.request.length} offset ${dataimporter.request.offset}”
• 　   　请求：http://localhost:8983/solr/collection2/dataimport?command=full-import&commit=true&clean=false&offset=0&length=10000

　  （2）deltaImportQuery 根据ID取得需要进入的索引的单条数据。

  　（3）deltaQuery 用于增量索引的sql语句，用于取得需要增量索引的ID。

  　（4）deletedPkQuery 用于取出需要从索引中删除文档的的ID

　　5.为数据库表字段建立域(field)，编辑E:\solr-4.8.0\example\solr\collection1\conf\schema.xml   如图5所示

　                                                　图5

　　6.配置增量索引更新文件

  　参考文献：

• 　　http://josh-persistence.iteye.com/blog/2017155
• 　　http://wiki.apache.org/solr/DataImportHandler#Using_delta-import_command

　　二、Mongodb

　　1.安装mongo-connector的时候最好使用手动安装方式：

　  　git clone https://github.com/10gen-labs/mongo-connector.git cd mongo-connector #安装前修改mongo_connector/constants.py的变量：设置DEFAULT_COMMIT_INTERVAL = 0 python setup.py install

　　默认是不会自动提交了，这里设置成自动提交，否则mongodb数据库更新，索引这边没法同时更新，或者在命令行中可以指定是否自动提交，不过我现在还没发现。

　　2.配置schema.xml，把mongodb中需要加上索引的字段配置到schema.xml文件中，如图6所示：

                                                   　　图6

　　3.启动Mongod，如下所示：

　          　mongod --replSet myDevReplSet --smallfiles

　  初始化:rs.initiate()

　　4.启动mongo-connector，如下所示:

　　E:\Users\liuzhijun\workspace\mongo-connector\mongo_connector\doc_managers>mongo-connector -m localhost:27017 -t http://localhost:8983/solr/collection2 -n s_soccer.person -u id -d ./solr_doc_manager.py

　　(1) -m：mongod服务

　　(2) -t：solr服务

　　(3) -n：mongodb命名空间，监听database.collection，多个命名空间逗号分隔

　　(4) -u：uniquekey

　　(5) -d：处理文档的manager文件

　　请注意：mongodb通常使用_id作为uniquekey，Solrmore使用id作为uniquekey，如果不做处理，在索引文件时将会失败，有两种方式来处理这个问题：

　　第一种：指定参数--unique-key=id到mongo-connector，Mongo Connector 就可以翻译把_id转换到id。

　　第二种：(1)把schema.xml文件中的:

　　       <uniqueKey>id<uniqueKey>

　 　    替换成

　　       <uniqueKey>_id</uniqueKey>

　(2)　同时还要定义一个_id的字段：

　　<field name="_id" type="string" indexed="true" stored="true" />

　　(3)   启动时如果报错：

　　2014-06-18 12:30:36,648 - ERROR - OplogThread: Last entry no longer in oplog cannot recover! Collection(Database(MongoClient('localhost', 27017), u'local'), u'oplog.rs')

　(4)清空E:\Users\liuzhijun\workspace\mongo-connector\mongo_connector\doc_managers\config.txt中的内容，需要删除索引目录下的文件重新启动

　　5.测试

　　mongodb的数据变化会同步到solr中去。