为了方便演示和切换 ES 地址,在
~/.bashrc
中添加如下变量和脚本:ES=localhost:9200 escurl () { curl -H 'Content-Type: application/json' "$@"; } 复制代码
Elasticsearch 具有非常强大的动态性和灵活性,例如当向一个不存在的索引添加文档时,会自动创建该索引,例如:
$ escurl -XPUT $ES/my_article/doc/1?pretty -d '
{
"title": "标题",
"createdAt": "2020-02-02T02:02:02.020Z",
"wordCount": 100,
"extra": {
"deleted": false,
"score": 8.5
}
}'
复制代码
如果 my_article 索引不存在,则会自动创建 my_article 索引,并向其中添加数据,其数据结构为:
{
"mappings": {
"doc": {
"properties": {
"createdAt": { "type": "date" },
"wordCount": { "type": "long" },
"extra": {
"properties": {
"score": { "type": "float" },
"deleted": { "type": "boolean" }
}
},
"title": {
"type": "text",
"fields": {
"keyword": {
"ignore_above": 256,
"type": "keyword"
}
}
}
}
}
}
}
复制代码
可以发现 ES 自动做了如下字段类型映射
- title 字段映射成 text 类型
- createdAt 字段映射成 date 类型
- wordCount 字段映射成 long 类型
- extra.score 字段映射成 float 类型
- extra.deleted 字段映射成 boolean 类型
猜测非常准确,而且后续增加新字段还可以动态猜测并更新 mapping。
动态更新映射
如果继续添加一个新文档,里面多出几个字段:
$ escurl -XPUT $ES/my_article/doc/2?pretty -d '
{
"title": "新文章",
"createdAt": "2020-02-02T02:02:02.020Z",
"wordCount": 100,
"likes": 0,
"author": "作者",
"extra": {
"deleted": false,
"score": 8.5,
"remark": "备注"
}
}'
复制代码
发现映射被自动更新了:
{
"mappings": {
"doc": {
"properties": {
"createdAt": { "type": "date" },
"wordCount": { "type": "long" },
"author": {
"type": "text",
"fields": { "keyword": { "ignore_above": 256, "type": "keyword" } }
},
"extra": {
"properties": {
"score": { "type": "float" },
"deleted": { "type": "boolean" },
"remark": {
"type": "text",
"fields": { "keyword": { "ignore_above": 256, "type": "keyword" } }
}
}
},
"title": {
"type": "text",
"fields": { "keyword": { "ignore_above": 256, "type": "keyword" } }
},
"likes": { "type": "long" }
}
}
}
}
复制代码
也就是说,ES 会根据该字段的值猜测其数据类型,并动态添加到类型映射里面。
手动干预动态映射
动态映射虽然灵活,但有时候又想明确数据结构,因为不是所有字段都需要被存储,此时可以配置索引的 dynamic 选项,有三个可选值:
- true:动态添加新的字段(默认值)
- false:忽略新的字段
- strict:如果遇到新字段抛出异常
$ escurl -XPUT $ES/my_article?pretty -d '
{
"mappings": {
"doc": {
"dynamic": "false",
"properties": {
"title": { "type": "keyword"},
"wordCount": { "type": "long" },
"createdAt": { "type": "date" },
"extra": {
"type": "object",
"dynamic": true
}
}
}
}
}'
复制代码
上面的索引的意思是:如果遇到新字段,会自动忽略,而内部对象 extra 遇到新字段就会动态创建新字段。注意,如果索引已经存在就会出错,必须删除重建。这个时候,如果再添加如下数据:
$ escurl -XPUT $ES/your_article/doc/2?pretty -d '
{
"title": "新文章",
"createdAt": "2020-02-02T02:02:02.020Z",
"wordCount": 100,
"likes": 0,
"author": "作者",
"extra": {
"deleted": false,
"score": 8.5,
"remark": "备注"
}
}'
复制代码
likes 和 author 字段就会被忽略,而 extra.remark 字段则被添加进去了。
用动态模板约束动态映射
动态映射的自动推断功能很强大,但有时候并不完全符合业务需求,例如我希望所有 string 类型都映射成 keyword 而不是 text,所有 number 都映射成 double 而不是 long,这个时候就需要动态模板(dynamic_templates),可以完全控制新生成字段的映射类型。例如:
$ escurl -XPUT $ES/my_article?pretty -d '
{
"settings": {
"index": {
"number_of_shards": 1,
"number_of_replicas": 0
}
},
"mappings": {
"doc": {
"dynamic_templates": [
{
"string_fields": {
"match": "*",
"match_mapping_type": "string",
"mapping": {
"type": "keyword",
"ignore_above": 256
}
}
},
{
"number_fields": {
"match": "*",
"match_mapping_type": "long",
"mapping": {
"type": "double"
}
}
}
]
}
}
}'
复制代码
dynamic_templates 是一个数组,也就是说可以添加多个模板,ES 会按照顺序来检测,启用第一个匹配的模板。
上面的做法是给当前索引指定动态模板,其实也可以反过来,先创建动态模板,让模板指定匹配的索引。
$ escurl -XPUT $ES/_template/my-template?pretty -d '
{
"index_patterns":[ "my_*" ],
"mappings": {
"doc": {
"dynamic_templates": [
{
"string_fields": {
"match": "*",
"match_mapping_type": "string",
"mapping": {
"type": "keyword",
"ignore_above": 256
}
}
},
{
"number_fields": {
"match": "*",
"match_mapping_type": "long",
"mapping": {
"type": "double"
}
}
}
]
}
}
}'
复制代码
这个时候再创建 my-xxx
索引的时候,动态字段映射会根据 my-template 里面的规则进行映射。由于动态模板非常实用,下面记录其增删改查的语法:
查看模板
escurl -XGET $ES/_template?pretty # 查看所有模板
escurl -XGET $ES/_template/tpl_1?pretty # 查看指定模板 tpl_1
escurl -XGET $ES/_template/tpl_1,tpl_2?pretty # 批量查看模板 tpl_1 和 tpl_2
复制代码
返回结果是一个对象,key 是模板名称,value 是模板定义。
检查模板是否存在
$ escurl --head $ES/_template/tpl_1
复制代码
存在则返回:
HTTP/1.1 200 OK
content-type: application/json; charset=UTF-8
content-length: 488
复制代码
否则返回:
HTTP/1.1 404 Not Found
content-type: application/json; charset=UTF-8
content-length: 2
复制代码
创建模板
$ escurl -XPUT $ES/_template/my-prefix-template
{
"order": 0,
"index_patterns": [
"prefix-*"
],
"settings": {
"index": {
"number_of_shards": "5",
"number_of_replicas": "0"
}
},
"mappings": {
"doc": {
"dynamic_templates": [
{
"string_fields": {
"match": "*",
"match_mapping_type": "string",
"mapping": {
"type": "keyword",
"ignore_above": 256
}
}
}
],
"properties": {
"discount": {
"type": "double"
},
"pay": {
"type": "double"
}
}
}
}
}
复制代码
删除模板
$ escurl -XDELETE $ES/_template/template_1