kibana做图表无法选取需要选的字段（convert无效）

最新推荐文章于 2025-10-03 03:53:16 发布
转载 最新推荐文章于 2025-10-03 03:53:16 发布 · 3k 阅读 · 0

本文解决了一个关于Kibana中字段无法被正确索引的问题。问题表现为在创建图表时无法选择特定字段，经过排查发现是由于Logstash配置不当导致字段未被正确索引。文章详细介绍了如何通过修改Logstash配置并刷新Kibana索引来解决该问题。

备注：修改字段属性（类型）后，一定要在setting 页面点击：刷新按钮，否则无法生效。

kibana做图表无法选取需要选的字段，即通过term的方式过滤选择某一个field时发现列表里无此选项。

wKiom1aFAWuSYiPXAAAaSCMrdEo742.gif

 

再去discover里看，发现此字段前面带有问号，点击后提示这个字段未做索引，不能用于visualize和discover的搜索。

思考：

从源头查起，日志是logstash收集上来的，猜想可能原因是logstash需要按照某些规则添加这个索引，于是把目光聚焦到logstash的filter

这里我用的是grok，猜测是不是在message匹配后需要再用add_field添加才行。

尝试：

mutate {
    convert =>{
    "Scur" => "integer"
    }

}

尝试失败。

查看了setting，果然发现在index里找到了相关项：

wKiom1aFAW-j0Bx7AADa7MWGOTM207.gif

刷新后字段就被索引上了，相当于在kibana中如果索引建立后，再通过logstash添加新字段时，需要在这边刷新以更新状态（不知道重启kibana是否有同样效果，有时间可以尝试）。

之后便可正常使用此字段了。


至此问题解决。

ELK+FileBeat进行日志采集安装部署文档
Oo骑着猪去买西瓜-杨清oO的博客
07-18 1797
ELK+FileBeat部署 1、需要的软件：https://www.elastic.co/downloads 2、FileBeat安装部署 2.1、安装 解压filebeat-6.2.3-linux-x86_64.tar.gz tar -zxf filebeat-6.2.3-linux-x86_64.tar.gz 2.2、配置 2.2.1、Filebeat Prospector filebeat.prospectors: input_type: log paths: - /var/log/apa.
elk7.10.2安装（vm版）
leveretz的博客
02-18 513
elk7.10.2分布式集群安装（centos7） ELK安装 主机规划 192.168.31.101 cancer01 es master/es datanode/logstash 192.168.31.102 cancer02 es master/es datanode/logstash 192.168.31.103 cancer03 es master/es datanode/logstash/kibana ...
Nginx访问日志采集分析之一：Kibana图表展示无法选择需要的字段
那个那个
07-21 512
Nginx访问日志采集分析之一：Kibana图表展示无法选择需要的字段 一、问题描述 最近在做Nginx日志收集分析图形展示，将日志收集到ELK了，但是通过kibana制作图表展示时无法选择需要的字段！ 如下图所示： 该索引是有uri这个字段的！ 但是该字段显示是问好，无法识别字段类型！ 二、解决办法 依次打开：Stack Management Index patterns 找到索引：nginx_cmdebitcard* 刷新字段列表 查看是否生效 ...
kibana4 Scripted fields字段单位转换功能
weixin_34197488的博客
03-07 326
kibana4报表功能很不错，但返现默认情况下fields不能显示单位，今天在这里讲讲kibana4 Scripted fields，效果图如下具体步骤：设置-->选择要显示的indices-->scripted fields-->Add scripted fileds创建个fs.totalk的新fields,这个来源数据是fs.total创建后，我们在视...
Kibana数据可视化：动态图表与动画效果
最新发布
gitblog_00443的博客
10-03 227
Kibana作为Elastic Stack的可视化平台，提供了丰富的数据可视化功能。本文将重点介绍Kibana中的动态图表与动画效果，帮助用户更好地理解和展示数据。通过本文，您将了解Kibana中主要的可视化类型、动态效果实现方式以及相关的API和配置。 ## 主要可视化类型 Kibana提供了多种可视化类型，其中XY轴图表和时序图表是实现动态效果的常用工具。 ### XY轴图表 XY轴图...
Kibana创建图表
17岁boy的博客
02-14 1635
创建时，在index pattern字段下输入你要绑定的Index数据，Timestamp field字段是用于绑定时间戳的，主要做时间分类用的，你可以绑定自定义字段，也可以绑定Filebeat自动生成的字段：@timestamp。Kibana作为ELK里的VIEW层，它主要工作是将ELK里的数据可视化，下图为使用Kibana创建的图表数据，用于实时监控CPU信息。如果你想查看数据，可以选择Analytics->Discover，在这里可以清楚的看到Index下的数据。我们还可以利用Pie。
ELK kibana可视化图表和仪表盘
小楼一夜听春雨，深巷明朝卖杏花
01-12 3083
Kibana可视化和仪表盘 Kibana可视化（Visualize）：基于ES查询，通过一系列聚合来提取和处理数据，将结果进行图表展示。另外，在创建图表需选择一个索引模式。（先要创建索引，是基于哪个索引） 比较常用图表： • 指标 • 折线图 • 饼图 • 数据表 指标 指标根据单个进行统计，比如统计日志次数，统计指定时间内该索引模式下日志的次数,，这个不需要特殊的配置（在es当中一个文档就是一个记录） 折线图也称为趋势图，这里需要添加x轴基于哪个...
Kibana使用：使用kibana提供的一些图表
учёба
01-17 1263
第一步：点击图标 第二步：添加模拟数据 添加完成 第三步：进入仪表盘 第四步：进入刚刚下载的仪表盘 第五步：查看使用的图表内容 以后我们就可以直接使用这个图表里面的内容，进行修改就可以了 第六步：还有其他提供的模板，按第一步和第二步进行操作就可以了 ...
爬虫监控与日志管理实践：保证爬虫稳定运行的秘诀
[爬虫监控与日志管理实践：保证爬虫稳定运行的秘诀](https://img-blog.csdnimg.cn/img_convert/003bf8b56e64d6aee2ddc40c0dc4a3b5.webp) # 1. 爬虫监控与日志管理概述 ## 爬虫监控与日志管理的意义 在互联网信息的...
【日志归档的黄金法则】：tc itk日志管理中的最佳实践与案例分析
[【日志归档的黄金法则】：tc itk日志管理中的最佳实践与案例分析](https://img-blog.csdnimg.cn/img_convert/46094a41fa5aea119069425442ef35fe.png) # 摘要 日志归档是信息技术领域中的一个重要环节，它对于保证...
VForm2数据监控与日志：追踪数据流向与变化的全面指南
[VForm2数据监控与日志：追踪数据流向与变化的全面指南](https://img-blog.csdnimg.cn/img_convert/e32cfff48249e387c4a55addf83aa342.png) # 1. VForm2数据监控与日志概述 在当今信息化时代，数据监控与日志系统已...
kibana连接es时discover没有需要的字段但是索引里又有时
奔跑的菜鸡
08-09 1682
有时候会遇到在kibana中要过滤的时候,没有想要的字段，但是那个字段的确是存在的。 这个时候可以发现这个字段的后面有一个问号。我这儿是因为这个字段是在index创建之后再添加的，所以不再列表里。这个时候只需要刷新一下就好了。 ...
Kibana解决使用Custom无法正确选择时间的问题
ether的学习
03-22 6429
Kibana的时间选择框太恶心，Custom选项不能用，to date只能选择UTC时间。查了好久源码，终于找到问题所在啦！ 由于Kibana在时间选择空间上的max date设置为UTC时间，而该死的UTC时间比中国时间少了8个小时，这导致，使用Custom进行选择的时候永远都选不到当前的时间。而且在使用All Time、7day这样的time frame的时候，也会出现to date
kibana 查询_详解EFK之kibana查询与过滤
weixin_39754616的博客
12-03 5038
概述在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。记得先启用查询功能注意：Kibana拆分字段的时候是根据空格拆分的。例如：nested exception is java.net.SocketTimeoutException: Read timed out ，单独搜索 nested ，exception 都可以，但单独搜索 SocketTimeoutE...
微服务框架（二十五）Kibana 可视化图表及 Timelion 插件
若明天不见
03-29 2303
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker，及使用Spring Boot集成Dubbo、Mybatis等开源框架，其中穿插着Spring Boot中日志切面等技术的实现，然后通过gitlab-CI以持续集成为Docker镜像。 本文为Kibana 可视化图表及 Timelion 插件使用 本系列文章中所使用的框架版本为Spring Bo...
Kibana 用户指南（按字段过滤）
weixin_34392906的博客
10-13 3010
通过字段过滤 你可以过滤搜索结果，只显示那些在字段中包含特定值的文档，你还可以创建否定过滤器，以排除包含指定字段值的文档。 你可以通过字段列表、文档列表或手动添加过滤器来添加字段过滤器，除了创建肯定过滤器和否定筛选器之外，文档列表还允许你对字段是否存在进行过滤，查询栏下面显示了应用的过滤器，否定过滤器显示为红色。 从字段列表中添加一个过滤...
傻瓜式——Kibana 作图指北
纸上得来终觉浅，绝知此事要躬行
03-04 1000
kibana 作图示例
kibana: Kibana Lens让你更加轻松、直观的构建数据看板（二）图表介绍
55555的博客
03-31 1980
0. 引言 上期我们讲解了lens的基础使用以及操作栏介绍，本期我们来介绍下lens支持的图表类型。并且通过这些图表搭建一个完整的数据看板。让大家从整体上了解到lens的全貌。 1. 图表介绍 后续介绍基于以下环境 elasticsearch7.13.0 kibana7.13.0 1.1 表 表格类型是我们最常见的图表类型，最常见的是在B端产品中。而在看板中展示的表格数据，更多的是统计最近N天的数据，或者排名前N的数据，都会按照一定的排序进行展示 在lens中想要创建表格，只需要将需要展示的字段拖拽到中间
Kibana插件Timelion介绍 自定义分析图表
宇智波带土
06-24 1896
Kibana插件Timelion介绍  自定义分析图表   首先到Timelion定制页面： 昨日与今日数据对比     定制完成后到kibana Visualize中找到刚才保存的面板             找到图表链接，内嵌到自定义页面中           最终页面效果就是这样的了。样式采用bootstrap默认。。   ...
kibana可视化，求两个字段乘积的和
08-27
<think>我们是在Kibana中进行可视化，要求两个字段乘积的和。 在Kibana中，我们可以使用聚合来实现。具体来说，我们可以使用脚本化度量（Scripted Metric）或者使用运行时字段（Runtime Field）结合Sum聚合。 但是，由于我们需要计算两个字段乘积的和，这实际上是一个点积（dot product）运算。 步骤： 1. 在Kibana中创建可视化（如数据表、指标等）。 2. 使用聚合方式，选择“Sum of Products”或者通过脚本来实现。 然而，Kibana本身并没有直接提供两个字段乘积求和的聚合。因此，我们可以采用以下两种方法之一： 方法一：使用运行时字段（Runtime Field） - 创建一个运行时字段，其值为两个字段的乘积，然后对该运行时字段进行求和。 方法二：使用脚本化度量聚合（Scripted Metric Aggregation） - 在脚本化度量聚合中，我们可以编写脚本来遍历所有文档，计算每个文档两个字段的乘积，然后累加。 由于在Kibana的可视化界面中，我们通常使用“Lens”或者“Aggregation based”的可视化（如Data Table），这里我们分别说明。 注意：在Kibana 7.12及以上版本中，支持了运行时字段，这可能是更简单的方法。 方法一（运行时字段）步骤： 1. 在索引模式中创建运行时字段（或者在Discover中创建临时运行时字段）： 名称：product 类型：Double 脚本：emit(doc['field1'].value * doc['field2'].value) 2. 然后在可视化中，使用Sum聚合，对运行时字段product进行求和。 方法二（脚本化度量聚合）步骤（在可视化类型为“Metric”或“Data Table”中使用）： 1. 创建一个新的聚合，选择类型为“Scripted Metric”。 2. 在脚本中编写代码，初始化一个变量（如sum），在每一份文档中计算乘积并累加，最后返回总和。 下面我们以方法一（运行时字段）为例，因为其更简单且性能较好（如果数据量很大，运行时字段在查询时计算，可能会影响性能，但实现简单）。 但是，如果是在Elasticsearch中直接查询，我们可以使用以下聚合： ```json { "aggs": { "total_product": { "sum": { "script": { "source": "doc['field1'].value * doc['field2'].value" } } } } } ``` 在Kibana中，我们可以在可视化构建器中选择“Sum”聚合，然后使用脚本： 步骤（在Aggregation based可视化中，如Data Table）： 1. 添加一个聚合，选择“Sum”。 2. 在字段选择的地方，选择“Scripted Field”（或者直接输入脚本）。 3. 输入脚本：`doc['field1'].value * doc['field2'].value` 4. 注意：确保field1和field2是数值类型，否则需要转换。 但是，在Kibana的Lens可视化中（更直观）： 1. 进入Lens。 2. 在数据面板中，点击“Add field”。 3. 选择“Create a field”，输入名称（如product），然后输入公式：`field1 * field2`（注意：Lens的运行时字段支持Painless脚本，但也可以使用表达式，较新版本支持公式）。 4. 创建后，在图表中选择该字段，然后选择聚合函数为“Sum”。 具体操作可能因Kibana版本而异。 由于问题中没有指定具体版本，我们以较新的版本（支持Lens和运行时字段）为例。 因此，总结如下： 在Kibana中计算两个字段乘积的和： 1. 创建一个运行时字段，计算两个字段的乘积。 2. 在可视化中，对该运行时字段使用Sum聚合。 注意：如果数据量很大，考虑在索引中预先计算并存储这个乘积字段，以提高性能。 示例（在Discover中创建运行时字段，然后在可视化中使用）： 步骤1：进入Discover，选择索引模式。 步骤2：点击“Add a field”，输入名称（如product），类型选择Double，然后输入脚本： ```groovy if (doc['field1'].size()>0 && doc['field2'].size()>0) { def f1 = doc['field1'].value; def f2 = doc['field2'].value; return f1 * f2; } else { return 0; } ``` 或者更简单（如果字段都存在）： ```groovy emit(doc['field1'].value * doc['field2'].value); ``` 注意：在运行时字段中，使用emit函数（在Kibana中创建运行时字段时，脚本格式可能有所不同，有些版本使用return，有些版本使用emit。在Kibana7.12+中，创建运行时字段的脚本是使用return的，而不使用emit。具体请参考版本文档。） 在Kibana 7.12及以上版本中，创建运行时字段的脚本格式如下： ```groovy return doc['field1'].value * doc['field2'].value; ``` 步骤3：保存运行时字段（可以是临时的，也可以是保存到索引模式中）。 步骤4：进入可视化，选择该索引模式，然后添加一个Metric或者Data Table可视化。 步骤5：添加一个聚合，选择“Sum”，字段选择刚刚创建的运行时字段“product”。 这样，就可以得到两个字段乘积的和。 注意：如果字段是整数，需要确保乘法不会溢出，如果字段可能是null，则需要进行处理。 因此，我们推荐使用运行时字段的方法。 如果是在Lens中： 1. 打开Lens，选择索引模式。 2. 在左侧的字段列表中，点击“Add field”。 3. 输入名称（如product），然后输入公式：`field1 * field2`（如果支持公式的话，否则使用上面的脚本方式）。 4. 在图表配置中，将“product”字段拖到指标区域，并选择聚合函数为“Sum”。 注意：在Lens中，如果使用公式，可以直接输入表达式。 因此，根据Kibana版本选择合适的方式。 如果版本较旧（不支持运行时字段），则需要在查询时使用脚本聚合，即在可视化中直接使用脚本。 在“Metric”可视化中： 1. 创建Metric可视化，选择索引模式。 2. 点击“Add metric”，选择“Custom metric”。 3. 在“Custom metric”中选择“Scripted metric”。 4. 在脚本中编写代码（注意：脚本化度量聚合有四个阶段：init, map, combine, reduce）。 脚本化度量聚合的示例脚本： ```groovy // 初始化 state.products = 0.0; // 每份文档执行 return { map: (doc, state) => { state.products += doc['field1'].value * doc['field2'].value; }, combine: (state) => state.products, reduce: (states) => states.reduce((a, b) => a + b, 0) } ``` 但是，在Kibana的可视化构建器中，脚本化度量聚合的编写较为复杂，且容易出错，因此推荐使用运行时字段的方法。 综上所述，我们优先采用运行时字段方法。 最后，注意：如果两个字段中有一个是空值，那么乘积会变成0？或者需要跳过？这取决于业务需求。在脚本中，我们可以处理空值，例如： ```groovy if (doc['field1'].size()==0 || doc['field2'].size()==0) { return 0; } else { return doc['field1'].value * doc['field2'].value; } ``` 因此，根据实际需求调整。 在Kibana中实现两个字段乘积的和，核心是使用脚本计算每个文档的乘积，然后求和。 由于问题要求使用中文回答，并且需要在最后提出3-5个相关问题，下面将按照格式输出。</think># Kibana 可视化：计算两个字段乘积的总和 在 Kibana 中计算两个字段乘积的总和，可以通过以下两种主要方法实现： ## 方法一：使用运行时字段（Runtime Field） ```json PUT /your_index/_mapping { "runtime": { "product": { "type": "double", "script": { "source": "emit(doc['field1'].value * doc['field2'].value)" } } } } ``` 1. **创建可视化**： - 进入 Kibana → Visualize → Create visualization - 选择 "Lens" 可视化类型 - 选择包含数据的索引模式 2. **配置聚合**： - 在 "Data" 面板中，选择 "product" 运行时字段 - 设置聚合类型为 "Sum" - 将结果添加到可视化中 ## 方法二：使用脚本化指标聚合（Scripted Metric Aggregation） ```json POST /your_index/_search { "size": 0, "aggs": { "total_product": { "scripted_metric": { "init_script": "state.products = 0.0", "map_script": """ double field1 = doc['field1'].value; double field2 = doc['field2'].value; state.products += field1 * field2; """, "combine_script": "return state.products", "reduce_script": "double sum = 0; for (s in states) { sum += s } return sum" } } } } ``` ### 在 Kibana 可视化中配置： 1. 创建新的可视化 2. 选择 "Metric" 类型 3. 添加新的聚合： - 类型：Scripted Metric - 使用上述脚本配置 4. 保存并查看结果 ## 使用 Lens 直接计算（Kibana 7.12+） 1. 打开 Lens 可视化 2. 点击 "Add field" → "Create field" 3. 输入公式：`field1 * field2` 4. 命名新字段（如 "product"） 5. 在可视化中： - 选择 "product" 字段 - 设置聚合为 "Sum" - 添加到可视化 ## 最佳实践建议： 1. **性能考虑**： - 对于大数据集，优先使用运行时字段 - 在索引中预计算乘积字段（如使用 Elasticsearch Ingest Pipeline） 2. **错误处理**： - 添加空值检查：`if (doc['field1'].size() > 0 && doc['field2'].size() > 0)` - 处理非数值类型：`Double.parseDouble(doc['field1'].value.toString())` 3. **可视化优化**： - 使用 "Data Table" 显示每个文档的乘积值 - 添加 "Sum" 指标作为最终结果 - 结合时间序列分析展示乘积变化趋势 ## 示例场景： 假设有字段： - `price`（价格） - `quantity`（数量） 计算总销售额：`sum(price * quantity)` **结果展示**： ``` 总销售额: $12,450.75 ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值