python使用selenium自动访问网站运行hivesql并取数(版本一)

本文介绍如何利用Python的Selenium库自动化访问Hive数据库,执行SQL查询并下载结果,解决因安全限制无法直接连接的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

      最近接了一个日报的自动化项目,主要是需要我们自动访问数据库,运行查询语句取数,并根据下载结果生成昨日日报,最终发送给领导们昨日一些主要数据指标。
      需求方给了我们日报模板和hivesql代码,我们就吭哧吭哧的准备开干,怎么办呢?我之前曾经就自动爬取过知乎的问答列表及单个问答页面数据,用的就是selenium自动化测试模拟鼠标操作网页,也没啥问题(主要是我们的hive服务器为了防范数据泄露,没有开10000端口,大数据部门搭建了一个hue来供我们访问,所以不能直接通过hiveSQL包来直接访问hive服务器,只能通过登录hue访问)

       如果需要使用selenium自动化测试需要首先搭建selenium服务器(貌似是搭建在google上的服务),我是直接去官网下载的( www.seleniumhq.org/download),我的系统是64位的windows,选择64bit下载,下载后我将文件解压到c盘,如下图:
在进入命令行界面后,输入java -jar selenium-server-standalone-3.8.1.zip(下载的jar文件被自动识别为zip文件,建议大家在下载后看看文件后缀,总之命令行需要输入正确的后缀才能运行)
总之在输入后,需要看到server is up and running才算是启动成功。

之前我是用R爬取数据,现在再尝试,结果发现没办法访问selenium服务器(即使在命令行说明已经启动server的前提下),R里面的错误如下图:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值