升级检查

在升级百度智能云 Elasticsearch 集群版本前，用户需要通过升级检查，检查集群状态是否正常、是否存在不兼容的配置等，并进行调整。

本文介绍在版本升级前需要完成的人工检查、集群状态检查和系统兼容性检查，以及兼容性检查失败时的调整方法。

背景信息

• 升级检查操作入口，在 百度智能云 Elasticsearch 控制台-集群详情，单击版本升级。版本升级操作步骤详见版本升级。
• 本文的命令都可在Kibana控制台上执行，关于如何登录Kibana控制台，请参见Kibana使用指南。

注意：

需特别留意本文中需要人工检查的部分（无法自动检查），并在升级前完成代码兼容性改造，避免升级后造成集群无法正常访问。

通用检查项

每个版本升级之前，系统都会自动进行以下几个通用检查项的检查。

集群健康状态检查

备份检查

系统插件检查

说明：

• 自定义插件不支持直接升级，请先卸载自定义插件，再进行版本升级操作。升级成功后可重新安装自定义插件。

Elasticsearch 6.5 版本升级到 6.8 版本配置检查

自动检查的配置项列表

以下均为升级检查中自动执行的系统检查项，用户也可手动检查并修改。

说明：

• 警告（WARNING）：检查失败时仍可以升级。此类型检查项对应设置在升级后将被忽略。
• 错误（CRITICAL）：检查失败时无法升级。此类型检查项对应设置在目标版本无法兼容。

配置不兼容调整方法

集群级别

• 集群设置（node.store.allow_mmapfs） 在配置修改页面Elasticsearch YML文件配置中删除设置后重启集群
• 索引设置（geo_shape） 通过 ES 索引设置更新接口取消此设置。

索引级别

• 索引设置（geo_shape） 通过 ES 索引设置更新接口取消此设置。

索引模板级别

1. 使用 API PUT _template/*** 更新模板。

Elasticsearch 6.x 版本升级到 7.x 版本配置检查

需人工自查的不兼容配置

• 对于超过1024个字段数的索引，查询时如果不指定字段会非常消耗性能。建议设置默认查询字段 index.query.default_field。如果仍要查询所有字段，那么可以通过提高“布尔查询最大子句数”设置 indices.query.bool.max_clause_count 来实现。
• include_type_name 默认为 false，升级后默认将无法创建包含 type 的索引，需要显式指定参数 include_type_name：

注意：

用户需重点关注集群是否有此项不兼容配置，避免升级后造成集群无法正常访问。

1   PUT my_index?include_type_name
2   {
3     "mappings": {
4       "type1": {
5         "properties": {
6           "name": {
7             "type": "text"
8           }
9         }
10       }
11     }
12   }

自动检查的配置项列表

说明：

• 警告（WARNING）：检查失败时仍可以升级。此类型检查项对应设置在升级后将被忽略。
• 错误（CRITICAL）：检查失败时无法升级。此类型检查项对应设置在目标版本无法兼容。

配置不兼容调整方法

集群级别

• 用户代理预处理器（User agent processor）设置 使用非ecs格式的 user agent 将被废弃，应调整为：

1PUT _ingest/pipeline/my_pipeline1
2{
3  "processors" : [
4    {
5      "user_agent" : {
6        "field" : "agent",
7        "ecs": true
8      }
9    }
10  ]
11}

• 集群分片数 对于超过分片数限制的集群，有两种调整方法：
• 降低集群分片数（通过清理过期索引、shrink 索引 等）。
• 修改集群设置提高分片数限制。

1PUT _cluster/settings
2{
3  "persistent": {
4    "cluster.max_shards_per_node": 5000
5  }
6}

• 集群设置（discovery.zen.no_master_block） 对于使用了集群设置 discovery.zen.no_master_block 的集群，在升级完成后调整为 cluster.no_master_block，例如：

1PUT _cluster/settings
2{
3  "persistent": {
4    "cluster.no_master_block": "write"
5  }
6}

• 预处理器管道（Ingest pipeline）日期格式 可参考 Joda based date formatters are replaced with java ones 进行调整。
• 其他集群设置 在配置修改页面 Elasticsearch YML文件配置中删除设置后重启集群生效。

索引级别

• 索引创建版本和多Type索引 不允许6.0版本之前创建的索引升级到7.x版本，一个索引不能有多个Type，对于需要保留的索引，需要在升级前执行 reindex ， 例如：

1POST _reindex
2{
3  "source": {
4    "index": "my_index"
5  },
6  "dest": {
7    "index": "new_my_index"
8  }
9}

• Delimited payload 语汇单元过滤器（Token filter）索引模板设置 将索引设置中的 delimited_payload_filter 改为 delimited_payload，例如原始索引如下：

1PUT my_index
2{
3  "settings": {
4    "analysis": {
5      "analyzer": {
6        "whitespace_plus_delimited": {
7          "tokenizer": "whitespace",
8          "filter": [ "plus_delimited" ]
9        }
10      },
11      "filter": {
12        "plus_delimited": {
13          "type": "delimited_payload_filter",
14          "delimiter": "+",
15          "encoding": "int"
16        }
17      }
18    }
19  }
20}

修改后的索引：

1PUT my_index
2{
3  "settings": {
4    "analysis": {
5      "analyzer": {
6        "whitespace_plus_delimited": {
7          "tokenizer": "whitespace",
8          "filter": [ "plus_delimited" ]
9        }
10      },
11      "filter": {
12        "plus_delimited": {
13          "type": "delimited_payload",
14          "delimiter": "+",
15          "encoding": "int"
16        }
17      }
18    }
19  }
20}

• 索引设置（index.percolator.map_unmapped_fields_as_string） 将索引设置 index.percolator.map_unmapped_fields_as_string 调整为 index.percolator.map_unmapped_fields_as_text（此设置调整前需要 close 索引）。

1PUT my_index/_settings
2{
3  "index.percolator.map_unmapped_fields_as_text": true
4}

• 索引名 对于包含“:”的索引，需执行 reindex，例如：

1POST _reindex
2{
3  "source": {
4    "index": "my_index"
5  },
6  "dest": {
7    "index": "new_my_index"
8  }
9}

• 索引设置（index.unassigned.node_left.delayed_timeout） 将索引设置 index.unassigned.node_left.delayed_timeout 调整为正整数：

1PUT my_index/_settings
2{
3  "index.unassigned.node_left.delayed_timeout": 0
4}

• 索引设置（index.shard.check_on_startup） 将索引设置 index.shard.check_on_startup 值为 fix 调整为其它值，例如：

1PUT my_index/_settings
2{
3  "index.shard.check_on_startup": true
4}

• 经典相似性（classic similarity）索引 Mapping 参数、经典相似性（classic similarity）索引设置 对于包含经典相似性（classic similarity）的索引设置或 Mapping，调整为其他类型，例如原始索引如下：

1PUT my_index
2{
3  "mappings": {
4    "doc": {
5      "properties": {
6        "field1": {
7          "properties": {
8            "field4": {
9              "type": "text",
10              "similarity": "classic"
11            }
12          }
13        }
14      }
15    }
16  }
17}

修改后的索引为：

1PUT my_index
2{
3  "mappings": {
4    "doc": {
5      "properties": {
6        "field1": {
7          "properties": {
8            "field4": {
9              "type": "text",
10              "similarity": "BM25"
11            }
12          }
13        }
14      }
15    }
16  }
17}

• 索引字段数 对于超过1024个字段的索引，有两种调整方法：
• 设置默认查询字段设置 index.query.default_field。

1PUT my_index/_settings
2{
3  "index.query.default_field": "field1"
4}

• 在配置修改页面 Elasticsearch YML文件配置中，提升最大字段数设置 indices.query.bool.max_clause_count
• 索引 Mapping 日期格式 可参考 Joda based date formatters are replaced with java ones 进行调整。

索引模板级别

索引模板级别的不兼容设置调整请参考 索引级别 。

Elasticsearch 7.4 版本升级到 7.10 版本配置检查

自动检查的配置项列表

说明：

• 警告（WARNING）：检查失败时仍可以升级。此类型检查项对应设置在升级后将被忽略。
• 错误（CRITICAL）：检查失败时无法升级。此类型检查项对应设置在目标版本无法兼容。

配置不兼容调整方法

集群级别

• 集群设置 在配置修改页面 Elasticsearch YML文件配置中删除设置后重启集群生效。

索引级别

• 索引设置（boost） 去掉设置
• 索引设置（index.translog.retention.size和index.translog.retention.age） 去掉设置

索引模板级别

• 索引模板设置（boost） 去掉设置
• 索引模板设置（index.translog.retention.size和index.translog.retention.age） 去掉设置

内核版本升级检查项

重要

此检查只针对于Elastichsearch7.10.2版本，其他集群版本内核升级时不进行检查。

自动检查的配置项列表

说明：

• 警告（WARNING）：检查失败时仍可以升级。此类型检查项对应设置在升级后将被忽略。
• 错误（CRITICAL）：检查失败时无法升级。此类型检查项对应设置在目标版本无法兼容。