Java使用Selenium抓取页面出现中文乱码的解决办法

最新推荐文章于 2024-08-31 15:31:47 发布
原创 最新推荐文章于 2024-08-31 15:31:47 发布 · 3.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#selenium #测试工具 #java #intellij idea

这篇博客探讨了如何处理Java编码问题。通过添加VM选项-Dfile.encoding=cp936可以调整系统默认编码，解决乱码问题。此外，也介绍了使用String的构造函数进行数据转码的方法，但这种方法偶尔会出现异常，如无法正确解析某些字符。建议优先采用设置VM选项的方法，以确保更稳定的编码处理。

百度半天，找到了两种方式

添加VM选项

首先命令行输入chcp查看系统默认编码格式
在这里插入图片描述
那么我电脑的默认编码格式就是cp936
运行配置中加上VM选项-Dfile.encoding="cp936"
就可以解决问题
cp936也可以换成GBK（cp936其实就是GBK）

转码

查看系统默认编码格式和上面一样
接下来把抓到的数据编码格式转换成cp936

String html = new String(driver.getPageSource().getBytes(StandardCharsets.UTF_8), "cp936");

但这种方法有时会出问题，比如
在这里插入图片描述
这里的请输入ID�?就非常神秘，明明下面的冒号是可以被解析的
太怪了 建议用添加VM选项的方法

Selenium+Java（14）：Eclipse控制台及TestNG Results中文乱码解决方案汇总
綦枫Maple的博客
07-11 1092
Eclipse+TestNG编程时发生的中文乱码问题分为以下三种类型。 如果你不确定是哪一类，可以把下面的三种方法全部执行一遍然后重启Eclipse即可全部解决。 如果要单独执行其中某个，执行完成后也请记得重启Eclipse。 Java代码中出现中文乱码 原因：Eclipse编码问题 解决：点击Eclipse上方的Window->Preferences，弹出框中输入workspace点搜...
从零到一学会Selenium：解决爬虫中动态页面抓取的终极指南
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
11-11 1408
Selenium的核心价值是“模拟真实用户，解决动态页面抓取问题”——它不需要你深入理解JS逆向、接口分析，只需像操作浏览器一样编写代码，就能抓到动态数据，是新手入门动态爬虫的最佳选择。
Selenium WebDriver + ReportNG中文乱码问题
05-12
Selenium WebDriver + ReportNG 中文乱码问题解决方案。
Ubuntu Selenium截图 出现乱码/中文变成框框-附件资源
03-02
Ubuntu Selenium截图 出现乱码/中文变成框框-附件资源
使用selenium保存中文时出现乱码
adzeroyang的博客
01-04 1365
使用selenium保存中文时一直出现乱码，后来发现是由于电脑系统编码导致的乱码
CentOS7使用Selenium截图时中文乱码
TT-Learning
03-01 2080
文章目录1.问题2.CentOS7安装中文字体3.解决 1.问题 在CentOS7环境下，使用Selenium进行Web自动化测试，页面截图时，遇到中文乱码，中文显示为小框框，问题效果截图如下： 2.CentOS7安装中文字体 需要给CentOS7安装中文字体，支持中文字体显示； 创建目录 mkdir /usr/share/fonts/chinese 将字体文件拷贝到 /usr/share/fonts/chinese/ 中 mv songti.ttf /usr/share/fonts/chinese
爬取网页/接口/selenium时遇见的问题及解决方法
pumpkin_0的博客
08-31 2428
1.若报错：requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)，在请求时添加代码verify=False。20. 若报错requests.exceptions.SSLError: [SSL: SSL_NEGATIVE_LENGTH] dh key too small (_ssl.c:600)7.若网页内容是下载文件，下载后文件打不开有损坏，可能是url不对。8.图片路径对，但是页面不显示，在src=””前加。
Java后端实现HTML转图片并解决中文乱码
更重要的是，项目特别强调了解决“中文乱码”问题，这说明其内部已经对字体渲染、字符编码、CSS样式支持等方面进行了优化处理，确保在生成图片时，中文文本能够正确显示，不会出现方块、问号或其他乱码符号，这对于...
selenium java 1688_1688/阿里巴巴爬虫案例
weixin_33280675的博客
02-28 1809
爬取1688某店铺内所有商品链接、最低批发价格、商品名称本文通过某1688店铺的链接，然后爬取该店铺所有商品的基本信息，包括商品链接、最低批发价格及商品的全名。之后还通过简单的正则表达式从商品全名中解析出商品的货号。最后将商品信息导入excel中。本文中未解决的问题是：如何从每个商品链接中爬取详细的商品信息。用selenium爬出的网页一直是乱码，requests包根本啥都爬不出来。是否有其他的包...
使用Java抓取51job网站Java人才需求数据
"该资源是一个关于使用Java抓取51job网站上Java人才需求数据的教程。教程中提到了分析网站工作原理、识别URL、HTTP方法（POST）、页面编码（GBK）、HTML数据模式以及POST请求的数据结构等关键点。通过这些信息，可以...
centos宋体下载&Ubuntu宋体下载&解决selenium在谷歌浏览器上截图乱码
10-26
本字体是windows操作系统上的字体，但在linux的发行版本中，如CentOS，部分软件需要安装字体才能正常运行，比如selenium控制的谷歌浏览器，如果服务器上不安装宋体，运行后截图是乱码的。
selenium+python解决中文乱码问题
nana_han的博客
07-23 8299
运行python脚本时经常会遇到乱码问题，尽管头部加上#coding=utf-8也是没有用。通过百度各种查找终于找到了解决乱码的方法。 那么接下来在脚本中加上下面这三行代码试试吧！！！ import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8') O(∩_∩)O哈哈~，乱码问...
selenium使用python的csv进行参数化时，中文乱码解决方案
小白的进阶
03-16 1446
selenium使用python的csv进行参数化时，中文乱码解决方案： 如图片所示，python修改为utf-8编码，由于csv的中文的编码是gbk，需要进行字符转换，将gbk转换为utf-8(decode(“gbk”).decode(“utf-8”)):
control层alert弹出框乱码_java selenium操作弹出对话框
weixin_39742958的博客
11-29 122
Selenium 是目前用的最广泛的Web UI 自动化测试框架。它支持的语言有：python、Java、ruby、JavaScript等，并且几乎能在主流的浏览器上运行。Selenium2.0、Selenium3.0主要由三大部分组成：SeleniumIDE、Selenium WebDriver、Selenoium Grid。什么是selenium？它具有以下几个特点：一套软件工具，用来支持不同...
java selenium 读取配置文件，报错中文乱码
vicky
10-12 865
参考引自：https://blog.youkuaiyun.com/qq_27093465/article/details/70765870 根据自己问题解决： package com.property; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.File; import java....
爬取html数据中文乱码,使用selenium，用PhantomJS抓取网页后保存为.html后出现中文乱码？...
weixin_39723678的博客
06-04 593
保存的html文档中出现中文乱码：代码：from selenium import webdriverbrowser = webdriver.PhantomJS( )url = 'http://music.163.com/#/playlist?id=11362719'browser.get(url) # 打开网页browser.switch_to.frame(browser.find_elemen...
docker中使用selenium截图，中文乱码解决
weixin_43145985的博客
12-07 684
查找很多资料，发现根本原因就是镜像中未安装中文字体 首先下载字体库 搜索下载即可 附上一份宋体的资料 链接: https://pan.baidu.com/s/1FoxHeCseBhaItnxGuDBX2w 密码: 0c6s 在DockerFile中添加 COPY simsun.ttf /usr/share/fonts/ttf-dejavu/simsun.ttf 完成 ...
解决Selenium爬取数据写入csv文件中文乱码的问题
ma1239631998的博客
06-28 647
"uft-8-sig"中sig全拼为 signature 也就是"带有签名的utf-8", 因此"utf-8-sig"读取带有BOM的"utf-8文件时"会把BOM单独处理,与文本内容隔离开。“utf-8”会将全部内容视作无标签文本处理。
python--解决使用selenium+chromedriver抓取网页写入文件中的中文乱码问题
Ccccfour的博客
10-18 7136
读取.csv文件后，出现中文乱码问题： Ѧ֮ 解决方法： name.encode("utf-8").decode("gbk") 这样就能正确输出中文。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值