Elasticsearch（一）基本语法命令

原创 已于 2025-01-06 16:38:53 修改 · 5.2k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

于 2022-08-14 15:06:02 首次发布

目录

一、常用操作

二、索引的基本操作

1、创建索引 

2、查询索引 （查询索引规则及其它信息）

3、修改索引

方式1（PUT）：旧的方式（不推荐）

方式2（POST）：可以只改变部分字段（推荐）

4、删除索引

5、特殊场景操作

1）es拷贝指定索引数据到另一个索引【使用_reindex】

2）在已存在索引中增加新字段

3）查看es中有哪些索引

4）按条件批量将B字段值赋给A字段

三、文档的基本操作

1、添加数据

2、查询数据【简单查询】

1、查询索引下的全部

2、根据文档id查询 

3、条件筛选查询（根据分词拆分规则匹配的）【不建议使用这种写法】

3、修改数据

【PUT】方式更新：整体覆盖，也可理解为创建覆盖（不推荐）

【POST】方式更新：只更新需要的字段（推荐）

4、删除数据

【POST】方式删除：条件删除 （可支持多条件删除）

四、文档的复杂查询【重要】

1、返回数据基本说明 

2、单字段多个条件匹配（match）

3、单字段精确匹配（term）

4、多条件复杂查询（bool）

5、返回值控制（_source）

6、查询排序（sort）

7、查询分页（from、size）

8、高亮查询结果（highlight）

五、定义文档规则【重要】

1、关于分词

2、查看分词结果（_analyze）

3、创建文档规则

1、创建文档（及测试数据）

2、查询结果案例

一、常用操作

Rest风格说明

一种软件架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。给予这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制

methodURL地址描述
PUTlocalhost:9200/索引名称/类型名称/文档id创建文档（指定文档id）
POSTlocalhost:9200/索引名称/类型名称创建文档（随机文档id）
POSTlocalhost:9200/索引名称/类型名称/文档id/_update修改文档
DELETElocalhost:9200/索引名称/类型名称/文档id删除文档
GETlocalhost:9200/索引名称/类型名称/文档id查询文档-通过文档id
POSTlocalhost:9200/索引名称/类型名称/文档id/_search查询所有数据

elasticsearch工具自带命令

通过命令elasticsearch索引情况！通过 GET_cat/  可以获得es当前的很多信息

GET _cat/indices?v

二、索引的基本操作

1、创建索引 

1、创建一个索引（同时写入数据）

PUT /索引名/[类型名]/文档id

{

请求体

}

 执行结果说明

{
  "_index" : "test1",      //索引名
  "_type" : "type",        //类型名
  "_id" : "1",             //id
  "_version" : 1,          //为1表示没有被更新过（每更新一次会+1）
  "result" : "created",    //created创建状态
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

2、创建一个索引规则（只创建索引和字段，不写入数据）

其中设置了每个字段的类型 type

 执行结果说明

{
  "acknowledged" : true,
  "shards_acknowledged" : true,    //状态成功
  "index" : "test2"                //索引名
}

2、查询索引 （查询索引规则及其它信息）

GET /索引名 

获得规则信息，可以通过 GET 请求获取具体的信息

创建时不指定字段类型

如果自己的文档字段没有指定类型，那么ES就会给我们默认配置字段类型

3、修改索引

方式1（PUT）：旧的方式（不推荐）

PUT /索引名/[类型名]/文档id
{
  "name":"sally",
  "age":25,
  "birth":"1997-01-05"
}

PUT /索引名/[类型名]/文档id
{
  "name":"sally",
  "age":25,
  "birth":"1997-01-05"
}

方式2（POST）：可以只改变部分字段（推荐）

POST /索引名/[类型名]/文档id/_update
{
  "doc":{
    "name":"sally666"
  }
}

POST /索引名/[类型名]/文档id/_update
{
  "doc":{
    "name":"sally666"
  }
}

PUT /test3/_doc/1
{
  "name":"sally",
  "age":25,
  "birth":"1997-01-05"
}



POST /test3/_doc/1/_update
{
  "doc":{
    "name":"sally666"
  }
}

4、删除索引

DELETE /索引名

通过DELETE 命令实现删除，根据你的请求来判断是删除索引还是删除索引下的文档记录

5、特殊场景操作

1）es拷贝指定索引数据到另一个索引【使用_reindex】

基本步骤

  1. 确认源索引和目标索引：确定你要从哪个索引拷贝数据（源索引）。确定你要将数据拷贝到哪个索引（目标索引）。如果目标索引不存在，Elasticsearch会在执行_reindex时自动创建它。
  2. 构建查询条件（可选）：如果你只想拷贝部分数据，可以构建一个查询条件来过滤数据。
  3. 执行_reindex操作：使用_reindex API将数据从源索引拷贝到目标索引。

示例
假设你有一个【源索引source_index】，你想将其所有数据拷贝到一个【新的索引target_index】
使用基本的_reindex

POST _reindex
{
  "source": {
    "index": "source_index"
  },
  "dest": {
    "index": "target_index"
  }
}

2）在已存在索引中增加新字段

PUT /索引名/_mapping/_doc
{
  "properties": {
    "字段名":{
      "type": "字段类型"
    }
  }
}

PUT /demo_learn/_mapping
{
  "properties": {
    "dataChangeTime": {
      "type": "date"
    }
  }
}

3）查看es中有哪些索引

在 Elasticsearch 中，查看有哪些索引可以通过使用 REST API 来实现。具体地说，你可以向 Elasticsearch 集群发送一个 GET 请求到 _cat/indices 端点或使用更详细的 GET /_aliases、GET /_mapping 等 API 来获取索引信息。

以下是几种常见的方法：

使用 _cat/indices
这是最简单和最直接的方法来查看所有索引。这个命令会返回所有索引的列表，以及每个索引的一些基本信息，如健康状态、文档数、存储大小等。你可以通过命令行工具如 curl 或直接在 Kibana 的 Dev Tools 中执行以下命令：

GET /_cat/indices

使用 _aliases
如果你想查看索引的别名，这个命令会返回所有索引及其对应的别名信息，可以使用以下命令：

GET /_aliases

使用 _mapping
如果你想查看特定索引的映射信息，将 <index> 替换为你想查看的索引名称。这个命令会返回该索引的映射信息，包括字段类型、分析器等。可以使用以下命令：

GET /<index>/_mapping

4）按条件批量将B字段值赋给A字段

POST /demo_learn/_update_by_query
{  
 "query": {
   "term": {
     "dataSources":2
   }
 },
 "script": {
   "inline": "ctx._source['A'] = ctx._source['B']"
 }
}

 

三、文档的基本操作

1、添加数据

PUT /索引名/[类型名]/文档id

{

请求体

}

PUT demo_learn/_doc/1
{
  "name":"jerry",
  "age":25,
  "desc":"会滑板的程序猿",
  "tags":["技术大牛","性格好","暖男"]
}

PUT demo_learn/_doc/2
{
  "name":"max",
  "age":25,
  "desc":"实力与幸运并存",
  "tags":["技术大牛","性格好","暖男"]
}

PUT demo_learn/_doc/3
{
  "name":"jason",
  "age":25,
  "desc":"灵魂一问",
  "tags":["技术大牛","性格好","暖男"]
}

2、查询数据【简单查询】

返回数据基本说明【重要】


  "hits" : {        //索引和文档的信息
    "total" : {        
      "value" : 1,        //结果数量
      "relation" : "eq"
    },
    "max_score" : 1.6375021,        //文档数据中最大的分值
    "hits" : [
      {
        "_index" : "demo_learn",        //索引名
        "_type" : "_doc",                     //文档类型
        "_id" : "3",                               //文档id
        "_score" : 1.6375021,            //文档数据分值（如果查询结果存在多条，匹配度越高，分值则越高）
        "_source" : {                           //文档数据内容
          "name" : "jason",
          "age" : 25,
          "desc" : "灵魂一问",
          "tags" : [
            "技术大牛",
            "性格好",
            "暖男"
          ]
        }
      }
    ]
  }

"hits" : {                            //索引和文档的信息
    "total" : {
      "value" : 2,                    //结果数量
      "relation" : "eq"
    },
    "max_score" : 1.0341108,          //文档数据中最大的分值
    "hits" : [
      {
        "_index" : "demo_learn",      //索引名
        "_type" : "_doc",             //文档类型
        "_id" : "2",                  //文档id
        "_score" : 1.0341108,         //文档数据分值（如果查询结果存在多条，匹配度越高，分值则越高）
        "_source" : {                 //文档数据内容
          "name" : "max",
          "age" : 25,
          "desc" : "实力与幸运并存",
          "tags" : [
            "技术大牛",
            "性格好",
            "暖男"
          ]
        }
      },
      {
        "_index" : "demo_learn",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 0.542544,
        "_source" : {
          "name" : "max哈哈哈",
          "age" : 25,
          "desc" : "实力与幸运并存",
          "tags" : [
            "技术大牛",
            "性格好",
            "暖男"
          ]
        }
      }
    ]
  }

1、查询索引下的全部

GET 索引名/_search

2、根据文档id查询 

GET 索引名/_doc/文档id

3、条件筛选查询（根据分词拆分规则匹配的）【不建议使用这种写法】

GET 索引名/_doc/_search?q=数据名:数据值

3、修改数据

【PUT】方式更新：整体覆盖，也可理解为创建覆盖（不推荐）

注意：put 在修改时，请求体如果数据少了几个字段（不是全量的数据），会进行整体数据覆盖，那么该字段数据就会被置空（如图二）

【POST】方式更新：只更新需要的字段（推荐）

POST /索引名/[类型名]/文档id/_update
{
  "doc":{
    "需要更新的字段":"内容"
  }
}

POST /索引名/[类型名]/文档id/_update
{
  "doc":{
    "需要更新的字段":"内容"
  }
}

4、删除数据

【POST】方式删除：条件删除 （可支持多条件删除）

POST /索引名/[类型名]/_delete_by_query

{
  "query":{
    "match":{

      "查询的字段":"查询内容"
    }
  }
}

POST /索引名/[类型名]/_delete_by_query
{
  "query":{
    "match":{
      "查询的字段":"查询内容"
    }
  }
}

四、文档的复杂查询【重要】

1、返回数据基本说明 

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {//索引和文档的信息
    "total" : {
      "value" : 2,//结果数量
      "relation" : "eq"
    },
    "max_score" : 1.0341108,//文档数据中最大的分值
    "hits" : [
      {
        "_index" : "demo_learn_1",//索引名
        "_type" : "_doc",//文档类型
        "_id" : "3",//文档id
        "_score" : 1.0341108,//文档数据分值（如果查询结果存在多条，匹配度越高，分值则越高）
        "_source" : {//文档数据内容
          "id" : "3",
          "name" : "max",
          "age" : 25,
          "desc" : "实力与幸运并存",
          "tags" : [
            "技术大牛",
            "性格好",
            "暖男"
          ]
        }
      },
      {
        "_index" : "demo_learn_1",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 0.542544,
        "_source" : {
          "id" : "4",
          "name" : "max哈哈哈",
          "age" : 25,
          "desc" : "实力与幸运并存",
          "tags" : [
            "技术大牛",
            "性格好",
            "暖男"
          ]
        }
      }
    ]
  }
}

提前构建一些数据 

PUT demo_learn_1/_doc/1
{
  "id" : "1",
  "name" : "jerry",
  "age" : "28",
  "desc" : "会滑板的程序猿,好快乐~~~",
  "tags" : [
    "技术大牛",
    "性格好",
    "暖男"
  ]
}

PUT demo_learn_1/_doc/2 
{
  "id" : "2",
  "name" : "jason",
  "age" : 27,
  "desc" : "灵魂一问",
  "tags" : [
    "技术大牛",
    "性格好",
    "暖男"
  ]
}

PUT demo_learn_1/_doc/3     
{
  "id" : "3",
  "name" : "max",
  "age" : 25,
  "desc" : "实力与幸运并存",
  "tags" : [
    "技术大牛",
    "性格好",
    "暖男"
  ]
}

PUT demo_learn_1/_doc/4
{
  "id" : "4",
  "name" : "max哈哈哈",
  "age" : 25,
  "desc" : "实力与幸运并存",
  "tags" : [
    "技术大牛",
    "性格好",
    "暖男"
  ]
}
 
PUT demo_learn_1/_doc/5
{
  "id" : "5",
  "name" : "sally",
  "age" : 26,
  "desc" : "女神",
  "tags" : [
    "技术大牛",
    "性格好",
    "村长"
  ]
}

PUT demo_learn_1/_doc/6
{
  "id" : "6",
  "name" : "marvin",
  "age" : 24,
  "desc" : "哦，雪季的快乐",
  "tags" : [
    "技术大牛",
    "性格好",
    "滑雪滑雪"
  ]
}

2、单字段多个条件匹配（match）

会使用分词器解析匹配 ，先分析文档，然后再通过分析的文档进行查询

  • match 查询词会被分词
  • match_phrase 不会分词
  • match_phrase 可对多个字段进行匹配 

GET 索引名/_search
{
  "query":{
    "match":{

      "查询的字段":"查询内容"
    }
  }
}

GET 索引名/_search
{
  "query":{
    "match":{
      "查询的字段":"查询内容"
    }
  }
}

多条件使用空格隔开，只要满足其中一个结果就可以被查出，若有需要此时可以通过分值进行判断

3、单字段精确匹配（term）

tram查询直接通过倒排索引指定的词条进行精确查找

term 代表完全匹配，不进行分词器分析
term 查询的字段需要在mapping的时候定义好，否则可能词被分词。传入指定的字符串，查不到 

GET 索引名/_search
{
  "query": {
    "term": {
      "查询的字段":"查询内容"
    }
  }
}

GET 索引名/_search
{
  "query": {
    "term": {
      "查询的字段":"查询内容"
    }
  }
}

4、多条件复杂查询（bool）

关键字描述
must（and）相当于where 字段名1=值1 and 字段名2=值3
must_not（not）不等于
should（or）相当于where 字段名1=值1 or 字段名2=值3
filter

过滤器条件

range：区间

        gt：大于

        gte：大于等于

        lt：小于

        lte：小于等于

GET 索引名/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
           "查询的字段":"查询内容"
          }
        },
        {
          "match": {
            "查询的字段":"查询内容"
          }
        }
      ]
    }
  }
}

GET 索引名/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "查询的字段":"查询内容"
          }
        },
        {
          "term": {
            "查询的字段":"查询内容"
          }
        }
      ], 
      "should": [
        {
          "match": {
            "查询的字段":"查询内容"
          }
        }
      ]
  }
} 

5、返回值控制（_source）

通过"_source"的方式控制只返回需要的结果

GET 索引名/_search
{
  "query": {
    "match": {
     "查询的字段":"查询内容"
    }
  },
  "_source": ["返回字段1","返回字段2"]
}

GET 索引名/_search
{
  "query": {
    "match": {
      "查询的字段":"查询内容"
    }
  },
  "_source": ["返回字段1","返回字段2"]
}

6、查询排序（sort）

通过"sort"的方式控制排序

GET 索引名/_search
{
  "query": {
    "match": {
      "查询的字段":"查询内容"
    }
  },
  "sort": [
    {
      "字段名": {
        "order": "desc"
      }
    }
  ]
}

7、查询分页（from、size）

通过"from"控制起始行（默认从0开始），"size"控制查几条

同 MySQL 的 limit 相似

GET 索引名/_search
{
  "from": 从第几条数据开始,
  "size": 查询几条
}

8、高亮查询结果（highlight）

搜索的相关结果可以高亮展示 

GET 索引名/_search
{
  "query": {
    "match": {
      "查询的字段":"查询内容"
    }
  },
  "highlight": {
    "pre_tags": 标签头,
    "post_tags": 标签尾, 
    "fields": {
      "字段名": {}
    }
  }
}

GET demo_learn_1/_search
{
  "query": {
    "match": {
      "查询的字段":"查询内容"
    }
  },
  "highlight": {
    "pre_tags": 标签头,
    "post_tags": 标签尾, 
    "fields": {
      "字段名": {}
    }
  }
}

默认标签

自定义标签

五、定义文档规则【重要】

1、关于分词

term：直接查询精确的解析（会用到分词器，分词器存在两种情况，text 和 keyword）

match：会使用分词器解析！（先分析文档，然后再通过分析的文档进行查询）

两个类型

  • text：会被分词器分析
  • keyword：不会被分词器分析

2、查看分词结果（_analyze）

keyword：一个整体，不进行分词分析

standard：标准分词器

//分词结果（keyword）
GET _analyze
{
  "analyzer": "keyword",
  "text": ["张三java name"]
}


//分词结果（standard）
GET _analyze
{
  "analyzer": "standard",
  "text": ["张三java name"]
}

 ​

3、创建文档规则

1、创建文档（及测试数据）

# 创建文档规则
PUT demo_learn_2
{
  "mappings": {
    "properties": {
      "name":{                //字段名                    
        "type": "text"        //字段类型
      },
      "desc":{
        "type": "keyword"
      }
    }
  }
}


# 创建数据
PUT demo_learn_2/_doc/1
{
  "name":"张三java name",
  "desc":"张三java desc"
}

PUT demo_learn_2/_doc/2
{
  "name":"张三java name2",
  "desc":"张三java desc2"
}

2、查询结果案例

（1）text类型的检索结果

字段name的类型定义为text，内容被分词解析器解析为多个分词结果，其中一个就是“张”所以可以查到

（2）keyword类型检索结果

字段desc的类型定义为keyword，内容不会被分词器进行解析

elasticsearch 常用语法汇总
杨杨杨~~的博客
04-26 2215
这个布尔查询的示例展示了如何利用布尔逻辑组合多个条件，以精确地过滤和排序文档。您可以根据实际需求修改查询条件和逻辑，以实现您想要的查询效果。
02 Elasticsearch基本常用命令详解
niannujiao6的博客
03-23 4143
IK分词器 分词：把一段中文或者词组划分成一个个关键字，我们在搜索的时候会把自己的信息进行拆分，会把数据库中或者索引库中的数据进行分词，然后进行一个个匹配操作，默认的中文分词是将每一个看成一个词，比如“我爱王军”，会被拆分成“我”“爱”“王”“军”，这显然是不符合要求的。所以我们要安装中文分词器的Ik来解决这个问题 ik提供了两个分词算法：ik_smart和ik_max_word.其中ik_smart是最少切分，ik_max_word是最细粒度划分
Elasticsearch操作命令
tanfei113的博客
07-17 1万+
elasticsearch
Elasticsearch语法大全
qq_41911898的博客
11-24 7649
ElasticSearch常见操作语法Elasticsearch语法大全一、 ElasticSearch 创建index、type、field语法1、Elasticsearch和关系型数据库数据模型对应关系表2、创建索引并查看3、删除索引并查看4、文档操作4.1、查看文档类型4.2、在索引中添加文档4.3、在索引中查看文档4.4、在索引中修改文档4.5、在索引中删除文档4.6、在索引中批量操作文档5、创建一个数据模型样例（包含index、type、field）：6、Elasticsearch给type增加一
Elasticsearch常用命令
最新发布
chunzhi128的博客
05-21 760
版本控制：使用 version_type 参数实现乐观锁（如 version_type=external）。路径参数：URL 中的 _doc 在 ES 7.x 后为默认类型，8.x 起移除了类型概念。通过以上命令，你可以完成 Elasticsearch 集群状态查看和索引的完整生命周期管理。安全认证：生产环境需添加认证头（如 -u username:password）。批量操作：Bulk API 每行必须以换行符 \n 结尾。
ElasticSearch常见用法，看这一篇就够了
热门推荐
学Java，找哪吒
03-17 1万+
文末送3本《一本书讲透Elasticsearch：原理、进阶与工程实践》
elasticsearch简单入门语法
weixin_39509262的博客
08-10 1962
elasticsearch 简单入门语法
ElasticSearch基本语法
weder的博客
03-09 859
一、ElasticSearch与关系型数据库相似之处 ElasticSearch与关系型数据库（Mysql、Sql Server）在语法使用上是有类似之处的。 关系型数据库 ElasticSearch 数据库（database） 索引（indices） 表（tables） 类型（types） 行（rows） 文档(document) 字段（columns） 字段（fields） 二、基本数据类型 （1）字符串类型： text（会被分词器拆分）, keyword（不会被分词器拆
ELasticSearch 基础语法
鲨鱼辣椒的博客
08-25 504
ELasticSearch 基础语法 索引一个员工文档 PUT /megacorp/employee/1 { "first_name": "John", "last_time": "Smith", "age": 25, "about": "I love to go rock climbing", "interests": ["sport", "music"] } # Megacorp : 索引名称 # Employee: 类型名称 # 1: 特定雇员的ID # 请求体：JSON
【自学elasticsearch7】结合es语法和java的HighLevelClient：es最基本的增删改
you_do_what的博客
12-14 1697
【自学elasticsearch7】结合es语法和java的HighLevelClient：es最基本的增删改
ElasticSearch基本检索命令
Isyoubao的博客
07-06 608
1、_CAT 1.1、查看所有节点信息 118.89.18.36:9200/_cat/nodes 1.2、查看健康信息状况 118.89.18.36:9200/_cat/health 1.3、查看主节点 118.89.18.36:9200/_cat/master 1.4、查看所有索引 118.89.18.36:9200/_cat/indices 2、索引文档（新增） 2.1、put方式保存数据 116.62.19.81:9200/customer/extermal/1 请求体 { "nam
elasticsearch基本语法
01-07
1.创建索引 #创建索引，指定id建立索引 PUT /employee/_doc/1 { name: 凯杰, age: 30 } 2.删除索引 #删除索引 DELETE /employee 3.索引修改 es索引修改需要指定id, /employee/_doc/1  1为id #创建索引，指定id建立索引 PUT /employee/_doc/1 { name: 凯杰2, age: 30 } 4.使用搜索全部 查询索引名为 /employee 的索引  _search 表示查询全部 GET /employee/_search 5.
Elasticsearch5.20 基本语法之修改数据
taoshujian
02-18 8423
之前记录的都是最基本的入门语法，这里开始修改数据 #创建和替换documents PUT /customer/external/1?pretty { "name": "John Doe" } PUT /customer/external/1?pretty { "name": "Jane Doe" } POST /customer/external?pretty { "name": "
Elasticsearch之详细基础语法
weixin_42526326的博客
11-26 1762
Elasticsearch之详细基础语法优化配置创建查询命令字段类型创建添加数据修改索引打开/关闭索引删除自定义分词器查询命令说明查询索引Mapping（结构）查全部 match_all单条件查询Bool多条件查询聚合查询 Aggregation 优化 配置 当机器内存小于64G时，遵循通用的原则，50%给ES，50%留给lucene。 当机器内存大于64G时，遵循以下原则： a. 如果主要的使用场景是全文检索, 那么建议给ES Heap分配 4~32G的内存即可；其它内存留给操作系统, 供lu
Elasticsearch基础语法汇总
qq_46124873的博客
07-26 608
创建数据库表需要设置字段名称，类型，长度，约束等；条件删除文档 实际进行删除文档的操作时，可以根据条件对多条数据进行删除，向ES服务器发送POST请求 如：http://127.0.0.1:9200/shopping/_delete_by_query 同时带上条件查询的数据。删除文档 向ES服务器发送DELETE请求，如：http://127.0.0.1:9200/shopping/phone/1 删除文档的操作为逻辑删除，一般删除文档需要根据文档的唯一性标识进行删除。
elasticSearch基础语法
weixin_40964170的博客
08-30 393
1、简介 https://www.elastic.co/cn/what-is/elasticsearch 全文搜索属于最常见的需求，开源的 Elasticsearch 是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它 Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的 接口。Elastic 是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用。 REST
ElasticSearch基础语法
没有梦想何必远方#
04-13 470
常用语句 查询全部索引 GET /_cat/indices 新建索引 PUT weather 新建/更新数据 PUT /weather/d1/1 { "age":1, "name":"zs", "bri":"2018-08-08" } 新建/更新数据 PUT /weather/d1/2 { "age":10, "name":"xwk", "bri":"2018-08-08"...
Elasticsearch（ES）常用命令整理
一只慵懒的猫z的博客
01-21 1万+
在前几篇文章大家主要进行Elasticsearch的入门学习。接下来，本文着重介绍了Elasticsearch的常用基础命令。 1、获取es集群服务健康状态 2、查看ES中所有的索引 3、根据条件查询索引中的文档 4、查看索引的统计信息 5、新建索引 6、删除索引
flux lora训练
02-23
### 使用 Flux 和 LoRA 进行机器学习模型训练 #### 准备环境与工具 为了能够顺利地使用 Flux 和 LoRA 来进行模型训练，首先需要准备好相应的开发环境。这通常意味着要安装 Python 及其必要的库文件，比如 PyTorch 或 TensorFlow 等深度学习框架。对于特定于 Flux 的情况，则需按照官方文档指导完成 Julia 编程语言及其依赖项的设置。 #### 加载预训练模型并应用LoRA微调 当准备就绪之后，可以从 Hugging Face Hub 下载预先训练好的基础模型作为起点[^2]。接着利用 LoRA 技术对该模型实施低秩适配(low-rank adaptation)，即只更新部分参数而非整个网络结构中的所有权重值。这种方法不仅提高了效率而且减少了过拟合的风险。 ```python from peft import LoraConfig, get_peft_model import torch.nn as nn model = ... # Load your base model here. config = LoraConfig( r=8, lora_alpha=32, target_modules=["q", "v"], lora_dropout=0.05, ) peft_model = get_peft_model(model, config) ``` #### 构建数据集用于训练过程 构建适合当前任务的数据集至关重要。如果目标是创建像“黑神话悟空”这样的角色图像生成器，则应收集大量与此主题相关的高质量图片样本，并将其整理成可用于训练的形式。这些数据应当被划分为训练集、验证集以及测试集三大部分以便后续评估模型性能[^3]。 #### 开始训练流程 一旦上述准备工作全部完成后就可以启动实际的训练环节了。此阶段涉及到定义损失函数(loss function)、优化算法(optimizer algorithm)以及其他超参的选择。值得注意的是，在每次迭代过程中都要保存好最佳版本的模型副本至指定路径下以供将来部署或进一步改进之用[^1]。 ```python output_dir = "./ai-toolkit/output" for epoch in range(num_epochs): ... if best_loss > current_loss: best_loss = current_loss checkpoint_path = f"{output_dir}/best_model.pth" torch.save(peft_model.state_dict(), checkpoint_path) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值