JAVA学习13_line.split("")的使用和解决ES接收数据不全的问题

最新推荐文章于 2023-04-02 22:20:13 发布
原创 最新推荐文章于 2023-04-02 22:20:13 发布 · 8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #数据 #elasticsearch

本文介绍了在使用Java读取CSV文件时遇到的数据丢失问题，特别是当字段内存在逗号导致line.split(",")错误分割数据。通过分析和修改代码，解决了这一问题，确保了数据完整发送到Elasticsearch。" 47427007,5149927,自定义iOS UIPageControl：使用自定义图片替换小圆点,"['iOS开发', '自定义UI', 'Objective-C']

在使用Java程序读取.csv文件时，遇到数据读取不全，部分数据丢失的问题。

对传输成功的数据和丢失的数据进行对比：

"1227280156","21-SEP-15 12.55.21.830 PM","11.1.12.132","1","144.28.139.144","106.38.221.238","4587","80","20:16:A3:C4:06:67","00:0D:48:2A:64:D9","","","","6","传统协议","","HTTP","","","","","","","","","","","/crossdomain.xml","GET","0","","","http://static.youku.com/v1.0.0569/v/swf/loader.swf","0","valc.atm.youku.com","","娱乐视频","","",""
"1227280157","21-SEP-15 12.55.21.830 PM","11.1.12.132","1","35.16.151.233","144.28.238.149","51868","80","20:16:A3:B7:DD:5A","00:0D:48:2A:64:D9","","","","6","传统协议","","HTTP","","","","","","","","","","","/swfs/51/2765427637x/gfd8fhd.flv","GET","0","","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)","http://ubmcmm.baidustatic.com/media/v1/0f0007ZXkm5LYjHeqBwkc0.swf","0","kwflvcdn.000dn.com","","","","",""


为了观察方便，进行展开：

"1227280156",
"21-SEP-15 12.55.21.830 PM",
"11.1.12.132",
"1",
"144.28.139.144",
"106.38.221.238",
"4587",
"80",
"20:16:A3:C4:06:67",
"00:0D:48:2A:64:D9",
"",
"",
"",
"6",
"传统协议",
"",
"HTTP",
"",
"",
"",
"",
"",
"",
"",
"",
"",
"",
"/crossdomain.xml",
"GET",
"0",
"",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36",
"http://static.youku.com/v1.0.0569/v/swf/loader.swf",
"0",
"valc.atm.youku.com",
"",
"娱乐视频",
"",
"",
""


"1227280157",
"21-SEP-15 12.55.21.830 PM",
"11.1.12.132",
"1",
"35.16.151.233",
"144.28.238.149",
"51868",
"80",
"20:16:A3:B7:DD:5A",
"00:0D:48:2A:64:D9",
"",
"",
"",
"6",
"传统协议",
"",
"HTTP",
"",
"",
"",
"",
"",
"",
"",
"",
"",
"",
"/swfs/51/2765427637x/gfd8fhd.flv",
"GET",
"0",
"",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
"http://ubmcmm.baidustatic.com/media/v1/0f0007ZXkm5LYjHeqBwkc0.swf",
"0",
"kwflvcdn.000dn.com",
"",
"",
"",
"",
""

上面那条数据发送失败，下面那条数据发送成功。

然后寻找原因，发送过程中使用到了ine.split(",")对数据进行分割，第一条数据的字段中，也出现有逗号，因此会导致数据分割失败。

对代码进行修改：

String[] str = line.split("\",");

增加过滤的内容，保证数据不被单个逗号影响。

此时，数据发送成功。


ElasticSearch学习笔记之三：Logstash数据分析
大龄IT民工
06-04 2168
Logstash使用管道方式进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd，xxx执行完了会执行ccc，然后执行ddd。在logstash中，包括了三个阶段:输入input --> 处理filter（不是必须的） --> 输出output每个阶段都由很多的插件配合工作，比如file、elasticsearch、redis等等。每个阶段也可以指定多种方式，比如输出既可以输出到elasticsearch中，也可以指定到stdout在控制台打印。
java实现rstp格式转换使用ffmpeg实现
qq_21434969的博客
10-16 1577
java实现rstp格式转换使用ffmpeg实现linux命令第一步安装node.js和ffmpeg第二步搭建node.js启动websocket接收服务第三步java实现（启动并挂起转换rtsp流） 第一步安装node.js和ffmpeg 安装可以参考网上的这里不一一介绍了 第二步搭建node.js启动websocket接收服务 部分代码：（要完整代码请关注我并私信给我） var fs = require('fs'); var http = require('http'); var WebSocket
Java中的split函数的用法
热门推荐
shenzhenNBA的专栏
10-18 8万+
Java中的 split  函数是用于按指定字符（串）或正则去分割某个字符串，结果以字符串数组形式返回； 例如: String str="1234@abc"; String[] a = str.split("@"); System.out.println("处理结果: "+a[0]+","+a[1]); //输出的是: 处理结果: 1234,abc 对于分割的字符(串)，通常是常
line.split+java+列子_JAVA学习13_line.split("")的使用和解决ES接收数据不全的问题
weixin_39719476的博客
02-28 621
在使用Java程序读取.csv文件时，遇到数据读取不全，部分数据丢失的问题。对传输成功的数据和丢失的数据进行对比："1227280156","21-SEP-15 12.55.21.830 PM","11.1.12.132","1","144.28.139.144","106.38.221.238","4587","80","20:16:A3:C4:06:67","00:0D:48:2A:64:D9...
Java中Split的用法及注意
11-06
Java中Split的用法及注意, 本文只是大概说了一下java中split的用法，其他方面要你们去查看了。
java中split使用
wanzai12315的博客
04-02 477
直接对字符串以给定的字符进行分隔，得到字符串数组；limit为分割后的数量；逐个分割字符串为数组；4、同时使用多个分隔符进行分隔。5、用多个空格分隔符进行分隔。
java中split用法_Java - 浅谈java中的split的用法
weixin_36185512的博客
02-13 1606
Java中的 split 函数是用于按指定字符(串)或正则去分割某个字符串，结果以字符串数组形式返回。(一)一个参数(只包括正则)splitpublic String[] split(String regex)Splits this string around matches of the given regular expression.This method works as if by i...
def setup_logger(project): # 获取当前日期 today = datetime.now().strftime("%Y-%m-%d") # 拼接文件路径 格式化字符串 filedir = os.path.join(os.path.dirname(os.path.abspath(__file__)), r"..\logs") # filedir = os.path.join(os.path.dirname(os.path.abspath(__file__)), r"../../logs") # filedir = os.path.join(os.path.dirname(os.path.abspath(__file__))) filefmt = os.path.join(filedir, f'{project}_{today}.log') print('self.filefmt', filedir, filefmt) # 获得父目录的文件夹路径 _dir = os.path.dirname(filefmt) try: # 如果日志文件夹不存在，则创建文件夹 if not os.path.exists(_dir): os.makedirs(_dir) except Exception: print(u"创建日志文件夹失败:日志文件夹路径：" + filefmt) # 创建日志记录器 logger = logging.getLogger(__name__) logger.setLevel(logging.DEBUG) # 设置日志级别为 DEBUG # 创建文件处理器并设置编码 file_handler = logging.FileHandler(filefmt, encoding='utf-8', mode='a') file_handler.setLevel(logging.INFO) # 创建控制台处理器 console_handler = logging.StreamHandler() console_handler.setLevel(logging.INFO) # 控制台显示 INFO 及以上级别日志 # 创建日志格式，包括行号和文件名 formatter = logging.Formatter('%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s', datefmt='%Y-%m-%d %H:%M:%S') # 将格式应用到处理器 file_handler.setFormatter(formatter) console_handler.setFormatter(formatter) # 将处理器添加到记录器 logger.addHandler(file_handler) logger.addHandler(console_handler) return logger前端每次点击，都要获取project，声明一次，后端的log有易于操作的方法吗
最新发布
11-21
使用 ELK 栈（Elasticsearch+Logstash+Kibana）或 Loki+Grafana： - 日志格式转换为 JSON： ```json {"timestamp":"2023-10-01T12:00:00Z", "project":"prj-123", "endpoint":"/api/action", "status":200} ```...
java发布WCS服务到GeoServer服务器并解析XML生成可下载的WCS服务数据url（2022.2.14）
I have a dream, here my dreams come true!
02-14 1929
GeoServer上的WCS服务发布及解析调用 2022.1.12一级目录二级目录三级目录 一级目录 二级目录 三级目录
elasticsearch high level API 使用示例
koukan3的博客
08-27 5442
<dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</arti...
Java中String.split()用法小结
09-02
主要介绍了Java中String.split()用法小结的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下
java的String[] split 示例
10-16
java的String[] split 示例
关于JAVA中split()函数遇到的一点问题
风流浪子的专栏
12-19 1915
很简单的，就是想分割一个文件路径字符串，取它的扩展名。     String file=new String("c:\\test\\file.exe");     String[] temp = file.split(".");     程序运行到这里，就异常终止了。想想以前用split分割很多种符号，都没问题。随手试了试split("\\")，依然失败。又换了其他的各种符号":"、
java的split函数
lwj66666的博客
11-23 3188
java的split函数的初步认识 1.函数的用途 对传入的字符串，用任意的字符串进行分隔 1.最普通的用法 String str1 = "aa,bb"; String[] split1 = str1.split(","); System.out.println(split1.length); //这个结果是2,都知道的 2.比较普通的用法 String str2 = ""; String[] split2 = str2.split(","); Sys
Java—split函数
PI_PIBOY的博客
11-01 5818
Java中的 split  函数是用于按指定字符（串）或正则去分割某个字符串，结果以字符串数组形式返回；   下面是到例题， 这道题目是想我们去掉字符串s中多余的空格和标点符号； String s = "cat dog,desk push last, this is what. must be"; String[] ss = s.split("\\s*\\,\\s*|\\s*\\...
java split函数_Java split函数
weixin_42433529的博客
02-21 264
特殊情况有 * ^ : | .split表达式，其实就是一个正则表达式。* ^ | 等符号在正则表达式中属于一种有特殊含义的字符，如果使用此种字符作为分隔符，必须使用转义符即\加以转义。String[] splitAddress=address.split("\\");String[] splitAddress=address.split("\\|"); //如果以竖线为分隔符，则split的时...
Java中的split()函数的用法
zhazha_boring的博客
03-19 1万+
java中split方法介绍
java split函数的用法_java中split函数用法以及注意事项
weixin_29817863的博客
02-24 1155
java中split函数用法以及注意事项发布时间：2020-04-23 10:28:23来源：亿速云阅读：215作者：小新本篇文章和大家了解一下java中split函数用法以及注意事项。有一定的参考价值，有需要的朋友可以参考一下，希望对大家有所帮助。Java中split()方法怎么用Java中split主要用于分隔字符串。具体分析如下:1、如果用“.”作为分隔的话,必须是如下写法,String.s...
Java中的split函数
weixin_44436675的博客
02-02 417
Java中的split函数的用法 Java中的 split 函数是用于按指定字符（串）或正则去分割某个字符串，结果以字符串数组形式返回； 例如: String str="1234@abc"; String[] a = str.split("@"); System.out.println("处理结果: "+a[0]+","+a[1]); //输出的是: 处理结果: 1234,abc 对于分割的字符(串)，通常是常见，普通的，没什么问题； 但是对某些特殊字符，如果字符(串)正好是正则的一部分，则需要转义
AttributeError Traceback (most recent call last) Cell In[31], line 33 30 while data_line == '': 31 data_line = next(fin).split() ---> 33 data_fields = data_line.split() 34 data_fields.append(data_mode) 36 writer.writerow(data_fields) AttributeError: 'list' object has no attribute 'split'
09-26
所以当执行到 `data_fields = data_line.split()` 时，Python 报错：**list 类型对象没有 split 方法**。 --- ### ✅ 正确逻辑应该是： - 使用 `.strip()` 判断是否为空行（返回字符串） - 只在需要的时候才 `....
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值