当删除mysq查询限制时,来自mysql的solr dataimport会死掉

发布时间：2021-03-05 13:49:39 所属栏目：MySql教程来源：网络整理

导读：我有一个mysql数据库,在一个表中有超过400,000,000条记录. 当我设置限制时,Solr导入运行正常.我的最后一次测试是10,它在大约5分钟内成功运行.在Solr中拥有完整的数据集是必需的,当我删除限制时,solr报告它已经丢失了与mysql的连接. 我相信我遇到的是当前配置

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
wait_timeout=66600
net_read_timeout=66600
interactive_timeout=666666
max_allowed_packet=50G
max_connect_errors=666666
innodb_buffer_pool_size=22GB
innodb_flush_log_at_trx_commit = 2
thread_cache_size=4
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

Solr data-config.xml



最佳答案
您可以创建多个根实体以及LIMIT子句,如 – 


直到你需要的行
要么
您可以传递限制和偏移参数作为请求参数,state from names limit ${dataimporter.request.startAt},${dataimporter.request.count}">
  
第二个选项的查询链接如下所示 –  http：//< hostname>：< port> / solr / dataimport？command = full-import& startAt = 0& count = 10000000
                        （编辑：辽源站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

3/3

首页