modify elasticsearch: dot in names

Author: puppylpg

_posts/2022-04-20-es-basic.md

@@ -215,7 +215,46 @@ object类型用于存储有层级的数据，**本质上它是把嵌套的field
 嵌套数据使用nested类型。**它和object类型最大的区别是在用于array时：object无法维护field之间的对应关系，但是nested可以**。
 - https://www.elastic.co/guide/en/elasticsearch/reference/current/nested.html#nested-arrays-flattening-objects
 
-TODO：**关于object、nested、join，会在存储关系型数据里做更详细的阐述。**
+关于object、nested、join，会在[Elasticsearch：关系型文档]({% post_url 2022-05-03-es-relations %})里做更详细的阐述。
+
+#### 带dot的名字
+[以前](https://stackoverflow.com/a/67278093/7676237)，es可以配置是否把点分的名字改成object形式，**从es5开始，[点分的名字](https://www.elastic.co/guide/en/elasticsearch/reference/2.4/dots-in-names.html)一定会被转换为object形式**。
+
+比如`"server.latency.max": 100`，生成的mapping为：
+```json
+{
+  "properties": {
+    "server": {
+      "type": "object",
+      "properties": {
+        "latency": {
+          "type": "object",
+          "properties": {
+            "max": {
+              "type": "long"
+            }
+          }
+        }
+      }
+    }
+  }
+}
+```
+
+但是有一种情况会失败：
+```json
+{
+  "properties": {
+    "server.latency": {
+      "type": "long"
+    },
+    "server": {
+      "type": "string"
+    }
+  }
+}
+```
+**这种情况下，server既是object（`server.latency`），又是string（`server`），是不可能的。**
 
 ### date
 - https://www.elastic.co/guide/en/elasticsearch/reference/current/date.html

_posts/2022-05-03-es-relations.md

@@ -32,8 +32,13 @@ es对关系型数据的处理方式：
 ## object - flatten
 [object](https://www.elastic.co/guide/en/elasticsearch/reference/current/object.html)是层级数据最简单的组织方式：flatten，而非我们平常理解的嵌套。
 
+### dot in names
+首先，所有的[带点的名字](https://www.elastic.co/guide/en/elasticsearch/reference/2.4/dots-in-names.html)都会被转换成object field（除了最后一个），参考[Elasticsearch：basic]({% post_url 2022-04-20-es-basic %})。
+
+或者看[这个回答](https://stackoverflow.com/a/72095595/7676237)。
+
 ### flatten
-包含一个object就是在定义mapping的时候出现了properties的嵌套。**但是这个嵌套的属性并非我们理解的那种嵌套，在es里object实际是被flatten为每个属性的全路径名，并使用点分隔，存储为独立字段**。比如：
+包含一个object就是在定义mapping的时候出现了properties的嵌套。**object的属性并非我们理解的那种嵌套，在es里object实际是被flatten为每个属性的全路径名，并使用点分隔，存储为独立字段**。比如：
 ```json
 PUT my-index-000001/_doc/1
 { 

_posts/2022-08-27-es-pipeline.md

@@ -1,3 +1,5 @@
+[toc]
+
 ---
 layout: post
 title: "Elasticsearch：pipeline"
@@ -167,6 +169,86 @@ POST /_ingest/pipeline/_simulate?verbose
 ```
 对于pikachu，remove执行成功，set则跳过了，因为不满足if前置条件；对于raichu，remove执行成功，set也执行成功。其中，每一个processor执行过后的数据状态也一一进行了展示。
 
+再看一个**remove object field**的例子——
+
+要删除hello下的similarity，所以hello应该是一个object：
+```json
+PUT _ingest/pipeline/remove_similarity
+{
+  "description": "remove hello.similarity",
+  "processors": [
+     {
+      "remove": {
+        "field": "hello.similarity",
+        "ignore_missing": true
+      }
+    }
+  ]
+}
+```
+我们预期pika和pikachu都会被删掉：
+```json
+POST /_ingest/pipeline/_simulate?verbose
+{
+  "pipeline": {
+    "processors": [
+      {
+        "pipeline": {
+          "name": "remove_similarity"
+        }
+      }
+    ]
+  },
+  "docs": [
+    {
+      "_source": {
+        "hello.similarity": "pika",
+        "hello": {
+          "similarity": "pikachu"
+        },
+        "age": 12,
+        "height": 171
+      }
+    }
+  ]
+}
+```
+结果只有pikachu被删掉了：
+```json
+{
+  "docs": [
+    {
+      "processor_results": [
+        {
+          "processor_type": "pipeline",
+          "status": "success"
+        },
+        {
+          "processor_type": "remove",
+          "status": "success",
+          "doc": {
+            "_index": "_index",
+            "_version": "-3",
+            "_id": "_id",
+            "_source": {
+              "hello.similarity": "pika",
+              "hello": {},
+              "age": 12,
+              "height": 171
+            },
+            "_ingest": {
+              "pipeline": "remove_similarity",
+              "timestamp": "2024-05-21T03:45:36.742463115Z"
+            }
+          }
+        }
+      ]
+    }
+  ]
+}
+```
+可能对于simulate api来说，没有把`hello.similarity`这个field转成object，直接把给出的doc当做最终的doc来处理了。
+
 # processor
 processor才是pipeline的灵魂！
 
@@ -416,3 +498,4 @@ PUT _ingest/pipeline/branding
 # 性能分析
 还能统计pipeline的使用频率和时间消耗，强啊：
 - https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest.html#get-pipeline-usage-stats
+