es创建索引（mapping和setting）

已于 2025-06-25 09:27:56 修改
阅读量1.6k 收藏 3
点赞数 9
CC 4.0 BY-SA版权
分类专栏： Elasticsearch 文章标签： elasticsearch 数据库
于 2024-03-31 19:13:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lixiaobai_boke/article/details/137206462
文章介绍了如何在Elasticsearch中创建person_news索引，包括字段定义（如companyName、newsTitle等）、数据结构（如nested嵌套字段）以及使用不同分词器（ik_max_word、ik_smart和standard）处理中文文本。通过示例展示了如何插入数据和分析分词效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、首先定义一个索引，如下

PUT /person_news
{
  "settings": {
    "index": {
      "number_of_shards": "3",
      "number_of_replicas": "0",
      "max_result_window": "2000000000"
    }
  },
  "mappings": {
    "properties": {
      "companyName": {
        "type": "text",
	"analyzer": "ik_max_word",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      "newsSource": {
        "type": "keyword"
      },
      "newsContent": {
        "type": "text",
	"analyzer": "ik_max_word"
      },
      "newsTitle": {
        "type": "text",
	"analyzer": "ik_max_word",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      "labels": {
        "type": "keyword"
      },
      "personInfo": {
        "type": "nested",
        "properties": {
          "personName": {
            "type": "keyword"
          },
          "age": {
            "type": "integer"
          }
        }
      },
      "hotPoint": {
        "type": "long"
      }
    }
  }
}

person_news 这个索引是新闻和人相关的索引，companyName公司名称，定义了text类型，分词器采用的是ik分词，同时定义子字段类型为keyword，表示不分词（可以用来聚合和精准匹配）；
newsSource 新闻来源，不分词；
newsContent 新闻内容，分词；
newsTitle 新闻标题，分词，同时建立子字段为keyword类型（同上companyName）；
labels 标签，不分词（这里我准备给这个字段存储的是一个数组类型，就是一个新闻有多个标签，详见下文插入文档）；
personInfo 新闻中的人物对象信息，采用的是nested结构，是一个数组对象，对象里面有personName和age字段；
hotPoint 新闻的热点值，通常通过此字段给新闻排序；
2、插入数据

PUT person_news/_doc/1
{
  "companyName": "中国恒大有限责任公司",
  "newsSource": "新华社",
  "newsContent": "今日中国证监会对中国恒大董事长许家印罚款4000万，并对其做出终身不能入市的处罚规定，其公司其他高管夏海钧也被做出相应处罚",
  "newsTitle": "恒大许家印被罚",
  "labels": [
    "恒大",
    "许家印"
  ],
  "personInfo": [
    {
      "personName": "许家印",
      "age": 60
    },
    {
      "personName": "夏海钧",
      "age": 59
    }
  ],
  "hotPoint": 1
}

PUT person_news/_doc/2
{
  "companyName": "阿里巴巴有限责任公司",
  "newsSource": "新华社",
  "newsContent": "今日阿里公司集团董事长张勇卸任，由蔡崇信接任",
  "newsTitle": "阿里张勇卸任",
  "labels": [
    "阿里",
    "蔡崇信",
    "张勇"
  ],
  "personInfo": [
    {
      "personName": "张勇",
      "age": 60
    },
    {
      "personName": "蔡崇信",
      "age": 54
    }
  ],
  "hotPoint": 2
}


PUT person_news/_doc/3
{
  "companyName": "中国恒大有限责任公司",
  "newsSource": "路透社",
  "newsContent": "中国恒大董事长传闻跳楼，恒大资产负债高达几万亿，传闻阿里张勇将对恒大进行投资，进军房地产，具体消息恒大高管夏海钧予以否认",
  "newsTitle": "恒大董事长许家印",
  "labels": [
    "恒大",
    "张勇"
  ],
  "personInfo": [
    {
      "personName": "张勇",
      "age": 54
    },
    {
      "personName": "夏海钧",
      "age": 59
    }
  ],
  "hotPoint": 3
}

3、可以通过kibana的DSL语句，查看文本采用某个分词器的效果(采用的是ik_max_word最大粒度分词)

GET /person_news/_analyze
{
  "analyzer": "ik_max_word",
  "text": "中国恒大有限责任公司"
}

结果如下：

{
  "tokens" : [
    {
      "token" : "中国",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "恒",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "大有",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "有限责任",
      "start_offset" : 4,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "有限",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "责任",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "公司",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 6
    }
  ]
}

采用ik_smart智能分词

{
  "tokens" : [
    {
      "token" : "中国",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "恒",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "大",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "CN_CHAR",
      "position" : 2
    },
    {
      "token" : "有限责任",
      "start_offset" : 4,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "公司",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}

使用es自带的默认分词器，分词效果如下（会把每个中文分成一个个的汉字）

GET /person_news/_analyze
{
  "analyzer": "standard",
  "text": "中国恒大有限责任公司"
}

{
  "tokens" : [
    {
      "token" : "中",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "国",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "恒",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "大",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "有",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    },
    {
      "token" : "限",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "<IDEOGRAPHIC>",
      "position" : 5
    },
    {
      "token" : "责",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 6
    },
    {
      "token" : "任",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "<IDEOGRAPHIC>",
      "position" : 7
    },
    {
      "token" : "公",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "<IDEOGRAPHIC>",
      "position" : 8
    },
    {
      "token" : "司",
      "start_offset" : 9,
      "end_offset" : 10,
      "type" : "<IDEOGRAPHIC>",
      "position" : 9
    }
  ]
}
【ELK03】ES 索引的Mapping映射详解、数据类型和settings属性设置
Alex的博客
12-08 2385
ES 索引的映射和设置&以及分词计算和热词更新操作
怎样合理创建es索引_ES（ElasticSearch） 索引创建
weixin_34626572的博客
12-24 3258
环境：ES 6.2.2os：Centos 7kibana:6.2.21、创建新的索引(index)PUT indexTest001结果：2、索引设置ES 默认提供了好多索引配置选项，参考https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index-modules.html，这些配置选项都有经过优化的默认配置值，除非你非常清楚这...
es索引的创建
lucky_ly的博客
05-09 2万+
es是一个分布式的文档数据库，索引的文档都是以json序列化形式存贮的，而不是像关系型数据库那样是列数据行的形式存贮的。 在es 7.0之前，常把es和关系型数据库的名词做如下映射 es mysql index (索引) datasource(数据库) type （类型） table mapping column document row es的index相当于关系数据库的数据库，而type 相当于表,mapping表示某个type的字段的定义，document这相当于表的每
Elasticsearch 索引创建及优化
最新发布
qq_50761817的博客
04-23 1350
es默认jvm在32G以下，启用指针压缩，使用的是32bit，如果大于32g，则禁用指针压缩，有助于提高CPU缓存的命中率，减少内存访问延迟，从而提高整体性能。8、调整refresh_interval（刷新时间），默认为1s，若调大后，会消耗更大的heap内存。默认值: true（大多数类型），某些类型如 text 默认为 false。冷热数据分离存储，热数据（比如最近 3 天或者一周的数据），其余为冷数据。（2）在查询中只检索必要的字段，使用 _source 参数限制返回字段。
es自动化脚本:创建索引和结构映射
02-07
以脚本方式创建es 索引和结构映射. 莎士比亚在不经意间这样说过，本来无望的事，大胆尝试，往往能成功。我希望诸位也能好好地体会这句话。 一般来讲，我们都必须务必慎重的考虑考虑。 就我个人来说，我秃头了对我的意义，不能不说非常重大。 我认为， 带着这些问题，我们来审视一下我秃头了。 就我个人来说，我秃头了对我的意义，不能不说非常重大。 在这种困难的抉择下，本人思来想去，寝食难安。 邓拓曾经提到过，越是没有本领的就越加自命不凡。这不禁令我深思。 西班牙曾经提到过，自己的鞋子，自己知道紧在哪里。这不禁令我深思。 了解清楚我秃头了到底是一种怎么样的存在，是解决一切问题的关键。 不用谢,我热愛滑铲.
Elasticsearch学习-索引操作及Mapping映射
nsa65223的专栏
07-12 4005
在7.X版本前类似于关系型数据库中的数据库概念，8.X版本后删除了type概念，索引类似于关系型数据库中的表。
ES创建索引
qq_38806813的博客
03-11 2万+
第一步 ：创建es 的索引 settings : 索引的设置 mappings : 映射 PUT xxx_index { "settings": { "index":{ "search": { "slowlog": { "level": "info", "threshold": { "fetch": { "warn": "200ms",...
Elasticsearch Mapping & Setting
叶康铭的博客
10-16 1903
Mapping & Setting 是 Index 最重要的组成部分，Mapping 定义了 Index中的字段名称以及字段类型等信息， Setting 则定义了 Index 分片数量及副本数量等信息，通过了解 Mapping 和 Setting，可以更加合规的去设计 Index。 Node 一个节点就是一个Elasticsearch 实例，在操作系统层面看实质上就是一个进程，节点在启动时就拥有成为主节点的资格（Master Eligible），经过选举后每一个Master Eligible节.
ElasticSearch使用Java客户端创建索引index和映射mapping
梦忆故城的博客
04-15 2715
1.创建工程，导入pom.xml坐标 <dependencies> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version...
elasticsearch系列-使用Java客户端创建索引、mapping、文档
在途中
01-30 5059
在前两篇我们介绍了通过postman和elasticsearch-head介绍了操作elasticsearch的增删改查操作和文档的添加、修改、搜索等基本操作。在实际工作中，难免使用Java对elasticsearch进行操作，本篇我们来介绍通过Java客户端如何创建索引、mappings和文档等。 引入maven依赖 引入elasticsearch和transport依赖如下所示。 ...
PHP的ES入门（五）—— index(索引)的mapping和setting配置
m0_37654408的博客
03-28 1100
大神请看 本文不一定写的全部都对，如果有哪里写得不好或者不对，可以提但请不要喷，不喜勿看绕道走就是了，虽然有可能在一些小知识点上会误导小白，但是还是可以看看基础的ES操作，对于使用还是一点帮助的 上一节中提到了把索引的某个字段设置成keyword类型，以此来精确查询数据，修改这个需要修改Index的Mapping属性 index的mapping和setting可以在创建index时进行配置 PUT...
elasticsearch创建索引带mappings和settings
Viogs的专栏
08-23 419
一、通过kabana控制台创建 我们在kabana控制台创建一个record_feature_tag的索引，对应的mapping配置如下 PUT /record_feature_tag { "mappings": { "properties" : { "_class" : { "type" : "keyword" }, ...
elasticsearch创建索引和mapping
夜行僧的博客
12-09 1万+
1. 创建索引的同时指定特殊字段的类型 PUT /gunspoc { "mappings": { "doc":{ "properties":{ "name":{ "type":"keyword" }, "age":{ "type": "long" }, "address":{ "type":"text" }, "b
ES 创建索引 以及Mapping
zhanghe687的博客
02-09 5010
1. 先创建一个索引 curl -XPUT 'http://10.128.xx.yy:9200/wechat_data' 2. 再创建mapping。 例如： curl -XPOST 'http://10.128.XX.YY:9200/wechat_data/wechat_data/_mapping?pretty' -H 'Content-Type:application/json' -d' { "wechat_data": { "dynamic": "false", "pro
ES如何创建索引
热门推荐
Lucy619_的博客
01-08 2万+
环境 环境：ES 6.8.10 os：Centos 7.8.2003 (Core) 创建索引 1、创建新的索引（index） PUT indexTest001 2、索引设置 ES 默认提供了好多索引配置选项，参考https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index-modules.html 修改索引设置参考：https://blog.youkuaiyun.com/qq_15958689/article/details/79524291 3
创建ES索引
weixin_40704661的博客
08-25 1283
ES索引
es创建索引和mapping
goxingman的博客
11-09 1万+
1、创建index 1.创建索引 http://127.0.0.1:9200/ negative/ put 2、创建mapping 2.创建mapping http://127.0.0.1:9200/ negative/negative/_mapping post {"properties":{ "id": { "type": "long" }, "yjlb": { "type": "text", "fields": { "keyword":
Spring Data Elasticsearch 创建索引
02-25
<think>好的，用户之前询问了Elasticsearch的索引模板，现在又转向了Spring Data Elasticsearch如何创建索引。我需要先理解用户的需求。用户可能是在开发中使用Spring Data Elasticsearch，想要了解如何通过这个框架来创建索引，而不仅仅是Elasticsearch原生的方法。 首先，我需要回忆Spring Data Elasticsearch的基本概念。它简化了Elasticsearch的操作，通过注解和模板类让Java开发者更方便地与ES交互。用户可能已经知道ES的基本操作，现在想结合Spring框架来使用，特别是在创建索引方面。 接下来，用户可能想知道如何通过实体类自动创建索引，或者手动创建。需要覆盖这两种情况。Spring Data Elasticsearch通常使用@Document注解来定义索引，然后通过ElasticsearchOperations或ElasticsearchRestTemplate来操作。 另外，用户可能关心索引的配置，比如分片、副本、映射等。需要解释如何通过注解设置这些参数，或者通过IndexOperations进行手动设置。 可能用户在实际应用中遇到了问题，比如索引无法自动创建，或者映射不正确，因此需要详细的步骤和示例代码。需要提供具体的代码示例，包括实体类定义、配置类、自动创建索引的方法，以及手动创建的方式。 还要考虑版本兼容性。不同版本的Spring Data Elasticsearch可能API有所不同，需要指出常见的版本差异，比如4.x和5.x的变化，避免用户混淆。 另外，用户可能对动态模板或索引模板在Spring中的使用有疑问，虽然之前的问题是关于ES原生的索引模板，现在结合Spring框架，可能需要说明如何整合两者，比如在Spring应用中应用索引模板。 最后，需要提醒用户注意事项，比如确保ES服务可用，配置正确，版本匹配，以及自动创建的限制，比如需要实体类有@Document注解，并且正确配置了映射。 总结下来，回答的结构应该包括自动创建和手动创建两种方式，示例代码，版本注意事项，以及常见问题和解决方案。确保内容清晰，步骤明确，帮助用户顺利实现索引的创建。</think>以下是关于 **Spring Data Elasticsearch 创建索引** 的详细介绍，涵盖自动/手动创建索引的步骤、核心注解及实际代码示例： --- ### **一、创建索引的两种方式** Spring Data Elasticsearch 支持 **自动创建索引** 和 **手动编程创建索引**，具体选择取决于业务场景需求。 --- ### **二、自动创建索引** 通过 **实体类注解** 定义索引配置，Spring Data Elasticsearch 会在应用启动时自动创建索引（需配置 `@EnableElasticsearchRepositories`）。 #### **1. 核心注解** | 注解 | 说明 | |----------------------|----------------------------------------------------------------------| | `@Document` | 标记实体类对应的 Elasticsearch 索引。 | | `@Id` | 标识主键字段。 | | `@Field` | 定义字段类型、分词器等映射规则。 | | `@Setting` | 定义索引的 `settings`（如分片数、副本数、分词器等）。 | #### **2. 示例代码** ```java // 实体类定义 @Document(indexName = "user_index", createIndex = true) // createIndex=true 表示自动创建索引 @Setting( shards = 3, replicas = 1, settingPath = "/elasticsearch/custom_analyzer.json" // 自定义分词器配置文件 ) public class User { @Id private String id; @Field(type = FieldType.Text, analyzer = "ik_max_word") private String name; @Field(type = FieldType.Integer) private Integer age; // Getters & Setters } ``` #### **3. 自动创建索引的条件** - **启动配置**：在 Spring Boot 主类添加 `@EnableElasticsearchRepositories`。 - **依赖正确**：确保引入 `spring-boot-starter-data-elasticsearch`。 - **索引不存在**：若索引已存在，不会覆盖原有配置。 --- ### **三、手动创建索引** 通过 `ElasticsearchOperations` 或 `IndexOperations` 手动控制索引的创建和配置。 #### **1. 使用 IndexOperations** ```java @Autowired private ElasticsearchOperations elasticsearchOperations; public void createUserIndex() { IndexOperations indexOps = elasticsearchOperations.indexOps(User.class); // 删除索引（如果存在） if (indexOps.exists()) { indexOps.delete(); } // 创建索引并配置映射 indexOps.create(); indexOps.putMapping(User.class); // 自定义 settings（可选） Settings settings = Settings.builder() .put("index.number_of_shards", 3) .put("index.number_of_replicas", 1) .build(); indexOps.create(settings); } ``` #### **2. 直接使用 Elasticsearch REST Client** 若需要更底层控制，可直接操作 `RestHighLevelClient`： ```java @Autowired private RestHighLevelClient restHighLevelClient; public void createIndexWithCustomSettings() throws IOException { CreateIndexRequest request = new CreateIndexRequest("custom_index"); // 设置分片和副本 request.settings(Settings.builder() .put("index.number_of_shards", 3) .put("index.number_of_replicas", 1) ); // 定义映射 XContentBuilder mappingBuilder = XContentFactory.jsonBuilder() .startObject() .startObject("properties") .startObject("name") .field("type", "text") .field("analyzer", "ik_max_word") .endObject() .endObject() .endObject(); request.mapping(mappingBuilder); // 执行创建 restHighLevelClient.indices().create(request, RequestOptions.DEFAULT); } ``` --- ### **四、动态映射与模板整合** 若需结合 **Elasticsearch 索引模板**（Index Templates），可在 Spring 中配置： #### **1. 预定义索引模板** 在 Elasticsearch 中预先创建模板（如 `PUT /_index_template/user_template`），模板的 `index_patterns` 需匹配 Spring 实体类的索引名称（例如 `user_*`）。 Spring Data Elasticsearch 创建索引时，会自动应用匹配的模板。 #### **2. 动态模板配置** 在实体类中使用 `@DynamicMapping` 注解，或在 `@Field` 中定义动态规则： ```java @Document(indexName = "log_index") public class Log { @Field(type = FieldType.Date, format = DateFormat.date_optional_time) private Date timestamp; @Dynamic(value = DynamicMapping.STRICT) // 禁止动态添加字段 private Map<String, Object> metadata; } ``` --- ### **五、版本兼容性注意** 不同版本的 Spring Data Elasticsearch 对 Elasticsearch 客户端的支持不同： - **Spring Data Elasticsearch 4.x**：兼容 Elasticsearch 7.x。 - **Spring Data Elasticsearch 5.x**：兼容 Elasticsearch 8.x，需使用新的 `ElasticsearchClient`。 --- ### **六、常见问题** #### **1. 索引未自动创建** - 检查 `@Document(createIndex = true)` 是否设置。 - 确认 `spring.data.elasticsearch.client.reactive.enabled=false`（若使用阻塞式客户端）。 #### **2. 字段映射不生效** - 确保 `@Field` 注解中的 `type` 正确（如 `FieldType.Keyword` 或 `FieldType.Text`）。 - 检查是否手动覆盖了自动生成的映射。 #### **3. 版本冲突** - 确保 Spring Data Elasticsearch 版本与 Elasticsearch 服务端版本匹配（[官方兼容性矩阵](https://spring.io/projects/spring-data-elasticsearch)）。 --- ### **七、完整配置示例（application.yml）** ```yaml spring: data: elasticsearch: client: reactive: endpoints: localhost:9200 # Elasticsearch 地址 repositories: enabled: true ``` --- 如果需要更详细的代码示例或特定场景的配置（如多租户索引、别名管理），可以进一步探讨！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值