多个类的forward ，在嵌套调用时，怎么训练，是自己训练自己的还是，多个网络同时训练

risc123456

于 2025-01-16 10:54:08 发布

阅读量66

点赞数 2

CC 4.0 BY-SA版权

文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/risc123456/article/details/145175894

risc123456

博客等级

码龄8年

350
原创

2062
点赞

1833
收藏

978
粉丝

关注

私信

分类专栏

展开全部收起

下一篇：: 训练网络时，如果不添加(计算损失跟反向传播)的逻辑，还能进行训练吗？

最新评论

【Elasticsearch】 Intervals Query
risc123456: 在Elasticsearch中，`intervals`查询允许基于词项顺序和邻近度的精确匹配。以下是结合多个规则匹配精确顺序的方法及优化查询性能的策略： --- ### **一、使用 `intervals` 查询实现多规则顺序匹配** #### 1. **基础语法结构** ```json GET /your_index/_search { "query": { "intervals": { "your_text_field": { "all_of": { // 必须满足所有子规则 "ordered": true, // 强制按顺序匹配 "intervals": [ // 定义多个子规则 { "match": { "query": "term1 term2", "max_gaps": 0 } }, { "match": { "query": "term3 term4", "max_gaps": 1 } } ], "max_gaps": 5 // 允许子规则之间的最大间隔 } } } } } ``` #### 2. **关键参数解释** - **`all_of` / `any_of`**: - `all_of`: 所有子规则必须匹配。 - `any_of`: 任意子规则匹配即可。 - **`ordered`**: - `true`: 子规则必须按顺序出现。 - `false`（默认）: 允许无序。 - **`max_gaps`**: - 控制词项之间的最大间隔（默认为`-1`，无限制）。 - **`filter`**: - 附加过滤条件（如词项必须包含特定字段）。 #### 3. **示例：多规则顺序匹配** 匹配文本中 **必须依次出现** "quick brown fox" 和 "lazy dog"，且两者间隔不超过5个词： ```json { "query": { "intervals": { "content": { "all_of": { "ordered": true, "intervals": [ { "match": { "query": "quick brown fox", "ordered": true, "max_gaps": 0 // 三个词必须连续 } }, { "match": { "query": "lazy dog", "ordered": true, "max_gaps": 0 } } ], "max_gaps": 5 // 两个短语之间最多间隔5个词 } } } } } ``` --- ### **二、性能优化策略** #### 1. **索引设计优化** - **字段映射**: - 对需要高精度匹配的字段，启用 `position` 和 `offset`（默认启用）： ```json { "mappings": { "properties": { "content": { "type": "text", "index_options": "offsets" // 记录词项位置信息 } } } } ``` - **避免嵌套过多规则**: - 减少 `all_of`/`any_of` 的子规则数量，复杂逻辑可拆分为多个查询。 #### 2. **查询优化** - **限制匹配范围**: - 结合 `filter` 上下文缩小文档集： ```json { "query": { "bool": { "filter": [ { "range": { "timestamp": { "gte": "now-7d/d" } } } ], "must": [ { "intervals": { ... } } ] } } } ``` - **使用 `max_gaps` 控制扫描范围**: - 设置合理的 `max_gaps` 值，避免扫描过多无关词项。 - **分页与结果截断**: - 若不需要完整结果，使用 `size` 限制返回文档数： ```json { "size": 100, "query": { ... } } ``` #### 3. **硬件与集群优化** - **分片策略**: - 根据数据量合理设置分片数（建议单个分片不超过50GB）。 - 避免跨分片查询，使用 `preference` 参数路由查询到特定分片。 - **缓存利用**: - 对频繁使用的过滤条件启用查询缓存： ```json { "query": { "bool": { "filter": [ { "term": { "category": "news" } } // 可缓存 ] } } } ``` #### 4. **监控与分析** - **Profile API**: 分析查询执行细节，定位性能瓶颈： ```json { "profile": true, "query": { ... } } ``` - **慢日志（Slow Log）**: 启用索引慢日志监控耗时操作： ```json PUT /your_index/_settings { "index.search.slowlog.threshold.query.warn": "10s", "index.search.slowlog.threshold.query.info": "5s" } ``` --- ### **三、高级场景示例** #### 场景：匹配“error”或“warning”后紧跟数字ID（如“error 500”） ```json { "query": { "intervals": { "log_message": { "any_of": { "intervals": [ { "match": { "query": "error", "filter": { "after": { "span_containing": { "little": { "match": { "query": "error" } }, "big": { "match": { "query": "[0-9]+", "use_field": "numeric_id" } } } } } } }, { "match": { "query": "warning", "filter": { ... } // 类似逻辑 } } ] } } } } } ``` --- ### **四、总结** - **精确顺序匹配**：通过 `ordered: true` 和 `max_gaps` 控制词项顺序及间隔。 - **性能优化核心**： 1. 合理设计索引映射和分片策略。 2. 限制查询范围和复杂度。 3. 利用缓存和路由减少计算量。 4. 监控查询性能并针对性调优。建议在真实数据集上通过 `Profile API` 验证优化效果，并根据实际场景调整参数。
【elasticsearch】如何更新许可证（License）
优快云-Ada助手: 恭喜你这篇博客进入【优快云每天值得看】榜单，全部的排名请看 https://bbs.youkuaiyun.com/topics/619553046。
事务回滚 try catch finally
risc123456: try catch。finally有一个报错 try catch finally 都要回滚
forkjoinpool
risc123456: forkjointask就像是在用多线程来做递归
zookeeper锁问题
优快云-Ada助手: 不知道云原生入门技能树是否可以帮到你：https://edu.youkuaiyun.com/skill/cloud_native?utm_source=AI_act_cloud_native

大家在看

SQL Server数据库同步方案，结合bcp ,sqlcmd工具实现【亲测，绝对无坑，拿来即用】 2