ElasticSearch - 备份和迁移

方案

离线方案

• Snapshot
• Reindex
• Logstash
• ElasticSearch-dump
• ElasticSearch-Exporter

增量备份方案

• logstash

使用快照进行备份

配置信息

注册前要注意配置文件加上: elasticsearch.yml

ElasticSearch - WrapperQuery

在工作中遇到ElasticSearch版本升级时出现Java High Level接口变更导致的兼容性问题: 之前使用的是2.4.x，考虑性能和功能的增强，需要更换为6.4.x; 2.4.x中我们使用DSL语句直接查询(数据的不确定性和方便动态建立查询规则等因素)，而新的ES Java 高阶API中去掉了相关接口的支持。 此文主要记录通过 ES Wrapper Query实现对6.x版本中 Java high-level transport client对json DSL查询对支持。

ES详解 - 资料：Awesome Elasticsearch

本文来自 GitHub Awesome Elasticsearch 项目在新窗口打开, 搜集ElasticSearch相关的优秀资料。

General

Elastic Stack

• Elasticsearch在新窗口打开 official website
• Logstash在新窗口打开 is a data pipeline that helps you process logs and other event data from a variety of systems
• Kibana在新窗口打开 is a data analysis tool that helps to visualize your data; Kibana Manual docs在新窗口打开
• beats在新窗口打开 is the platform for building lightweight, open source data shippers for many types of data you want to enrich with Logstash, search and analyze in Elasticsearch, and visualize in Kibana.

大厂实践 - 美团：美团外卖搜索基于Elasticsearch的优化实践

美团外卖搜索工程团队在Elasticsearch的优化实践中，基于Location-Based Service（LBS）业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-Length Encoding（RLE）设计了一款高效的倒排索引结构，使检索耗时（TP99）降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述，并给出最终灰度验证的结论。

1. 前言

最近十年，Elasticsearch 已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的 C 端场景，目前可参考的资料并不多。因此，我们希望通过分享在外卖搜索场景下的优化实践，能为大家提供 Elasticsearch 优化思路上的一些借鉴。

大厂实践 - 腾讯：腾讯万亿级 Elasticsearch 技术实践

腾讯在ES优化上非常具备参考价值，本文来源于腾讯相关团队的技术分享。Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景，目前单集群规模达到千级节点、万亿级吞吐，同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践，希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。

大厂实践 - 哈啰：记录一次ElasticSearch的查询性能优化

再分享一篇哈啰单车技术团队对ElasticSearch的查询性能优化的分析文章。

问题: 慢查询

搜索平台的公共集群，由于业务众多，对业务的es查询语法缺少约束，导致问题频发。业务可能写了一个巨大的查询直接把集群打挂掉，但是我们平台人力投入有限，也不可能一条条去审核业务的es查询语法，只能通过后置的手段去保证整个集群的稳定性，通过slowlog分析等，下图中cpu已经100%了。

ES详解 - 优化：ElasticSearch性能优化详解

Elasticsearch 作为一个开箱即用的产品，在生产环境上线之后，我们其实不一定能确保其的性能和稳定性。如何根据实际情况提高服务的性能，其实有很多技巧。这章我们分享从实战经验中总结出来的 elasticsearch 性能优化，主要从硬件配置优化、索引优化设置、查询方面优化、数据结构优化、集群架构优化等方面讲解。

硬件配置优化

升级硬件设备配置一直都是提高服务能力最快速有效的手段，在系统层面能够影响应用性能的一般包括三个因素：CPU、内存和 IO，可以从这三方面进行 ES 的性能优化工作。

ES详解 - 原理：ES原理之读取文档流程详解

ElasticSearch中最重要原理是文档的索引和文档的读取，前文介绍了索引文档流程，本文带你理解ES文档的读取过程。

文档查询步骤顺序

先看下整体的查询流程

单个文档

以下是从主分片或者副本分片检索文档的步骤顺序：

ES详解 - 原理：ES原理之索引文档流程详解

ElasticSearch中最重要原理是文档的索引和文档的读取，本文带你理解ES文档的索引过程。

文档索引步骤顺序

单个文档

新建单个文档所需要的步骤顺序：

ES详解 - 原理：ES原理知识点补充和整体结构

通过上文图解了解了ES整体的原理后，我们便可以基于此知识体系下梳理下ES的整体结构以及相关的知识点，这将帮助你更好的理解ElasticSearch索引文档和搜索文档的原理。

ElasticSearch整体结构

通过上文，在通过图解了解了ES整体的原理后，我们梳理下ES的整体结构