es从每分钟200万优化到每分钟2000万
2019-12-08 暂无标签

最终结果

效果图

优化es索引模版

1.索引模板改成这个了,去掉了所有分词,增加了一些配置项:{

"order": 0,
"template": "tenants_*",
"settings": {
    "index": {
        "translog": {
            "flush_threshold_size": "5g"
        },
        "number_of_replicas": "0",
        "refresh_interval": "120s"
    }
},
"mappings": {},
"aliases": {}

}

扩容flink处理程序

2、flink程序增加到两个,目前已经增加到了3个。

优化flink批量写入

3.flink写es增加优化配置:

 esConfig.put("bulk.flush.max.actions", "2000");
 //ES批量提交,最大写入日志存储量
 esConfig.put("bulk.flush.max.size.mb", "500");
 // 3、进行重试的时间间隔。对于指数型则表示起始的基数
 esConfig.put("bulk.flush.backoff.delay", "2");
 // 4、失败重试的次数
 esConfig.put("bulk.flush.backoff.retries", "3");
 //5.强行刷入批量提交时间
 esConfig.put("bulk.flush.interval.ms", "5000");

Leave a Reply

如果您是第一次在本站留言,需要审核后才会显示内容!