- 博客(45)
- 收藏
- 关注
RSS订阅原创 关于执行delete from table t1 where t1.id (22,23,24)报错
删除表数据时 不要带表别名 不然会导致删除报错
2024-01-08 13:49:27
695
原创 python requests请求报错Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED]
requests请求时报错SSLError 关闭ssl验证即可 添加参数。
2023-09-01 10:28:38
3391
原创 windows环境 pip安装mysqlclient失败问题记录及解决方案
注意：cp37即表示python3.7的版本，其他版本号同理，win32表示windows 32位的， win_amd64表示windows 64位。直接下载安装mysqlclient whl文件进行安装。我这里是python3.7的版本，系统是64位所以选择。
2023-08-25 16:27:31
1956
2
原创 记录python相对路径导包时报错：ImportError: attempted relative import with no known parent package解决方案
记录python相对路径导包时报错：ImportError: attempted relative import with no known parent package解决方案
2023-06-29 10:51:50
1544
原创 spark on yarn报错找不到mysql驱动 com.mysql.cj.jdbc.Driver
pyspark 读取MySQL数据表，master指定使用本地模式"local[*]"没问题，但指定yarn模式报错 `not found com.mysql.cj.jdbc.Driver`
2023-06-13 16:07:45
720
原创 ImportError: cannot import name ‘ensure_async‘ from ‘jupyter_core.utils‘
【代码】ImportError: cannot import name 'ensure_async' from 'jupyter_core.utils'
2023-06-02 09:59:34
2642
2
原创 关于linux内网无网络环境如何下载需要的离线rpm依赖包问题及解决方案
关于linux内网无网络环境如何下载需要的离线rpm依赖包问题及解决方案
2023-05-22 10:46:45
1110
原创 import _jpype ImportError: DLL load failed: 找不到指定的模块
当python3需要调用java程序的需求时，需要使用到jpype这个库，尝试通过`pip install jpype` 进行安装，结果提示没有这个库，看网上教程提示`pip install jpype1`进行安装还是有问题，尝试直接从[pypi.org](https://pypi.org/), 搜索JPype1(现在时JPype1 1.4.1的版本)， 直接下载对应python版本的whl文件进行安装，安装成功且没报错，但是`import jpype`导入库时仍然提示我：`ImportError: DLL
2023-04-27 10:01:51
1260
原创 sklearn 载入模型 No module named “sklearn.liner_model“问题
sklearn 载入模型 No module named "sklearn.liner_model"问题
2023-03-02 09:45:31
268
原创 python操作hive
python操作hive时报错： TTransportException: Bad status: 3 (b'Error validating the login')
2022-11-14 11:32:56
2773
原创 flask_apscheduler调用api接口时报错Either work inside a view function or push an application context
在使用flask_apscheduler调用内置api `/scheduler/jobs` 添加job任务接口时，报错`No application found. Either work inside a view function or push an application context.`
2022-11-03 11:48:35
367
原创 conda安装python3.8虚拟环境报错
conda安装python3.8虚拟环境报错：CondaHTTPError: HTTP 000 CONNECTION FAILED forurl
2022-10-26 11:29:12
1905
2
原创 hive 执行sql查询任务报错GetFileInfoRequestProto cannot be cast to com.google.protobuf.Message问题解决
执行hive sql任务报错org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$GetFileInfoRequestProto cannot be cast to com.google.protobuf.Message
2022-09-05 18:31:06
2862
原创 dolphinscheduler 出现 “tenant not exists” 租户不存在的相关问题解决
dolphinscheduler2.0.5在执行datax etl调度任务时报错 “tenant not exists” 租户不存在
2022-08-31 00:01:07
2349
原创 linux误删系统自带python2.7, 导致yum不可用
问题： linux系统安装python3时误删系统自带python2.7，从而导致yum不可用解决方案：卸载现有python2以及yum 根据linux系统版本,在官网找到对应的python2和yum重新安装
2022-08-20 15:40:24
1787
原创 bootstrap table表格解决文本值太大，表格无法自适应 解决方案
table标签外层div标签加上table-responsive属性th以及td标签加上overflow:hidden;text-overflow:ellipsis;white-space:nowrap;，另外这里可以根据数据长度自定义设置每列的宽度，不然超过宽度的部分会默认显示为省略号<div class="table-responsive"> <table class="table table-hover table-bordered" style="word-wrap:br.
2022-05-09 13:02:57
2605
原创 cx_Oracle.DatabaseError: DPI-1040: LOB was already closed
python cx_Oracle读取Oracle数据库中LOB大字段类型数据报错cx_Oracle.DatabaseError: DPI-1040: LOB was already closed原因：对于LOB类型字段需要先读取然后再关闭游标，出现这个问题的原因是因为我调用的cx_oracle封装类，会将结果集直接封装为字典列表，此时游标已经关闭，所以报错解决方案：在读取LOB字段时，对指定的LOB类型字段调用read()方法转换下即可例如res = cursor.fetchall()#
2022-05-05 16:24:48
3133
原创 paddle加载模型过程出现内存分配不足的情况
paddle加载模型过程出现内存分配不足的情况经研究发现，在jupyter notebook可以正常执行，pycharm中出现内存不足的情况通过配置pycharm内存，即可正常解决Help->Find Action->(type “VM Options”)->(Click)"Edit Custom VM Options" Pycharm (2016.2) will open the appropriate vmoptions file (pycharm.vmoptions or
2022-04-19 11:10:35
1894
原创 python cx_oracle插入clob类型数据
需求： 由于oracle news_info新闻表 正文content字段值太长，超出varchar字段长度，因此修改数据类型为CLOB类型, 通过cx_Oracle插入数据到oracle中操作实例如下：def insert_data2oracle(): try: oracle_address_info='127.0.0.1|1521|scott|tiger|ORCL' ip, port, user, pwd, sid = oracle_address_info.split('|')
2022-03-27 16:59:39
1797
原创 Selenium webdriver未正确关闭资源导致爬虫卡住
Selenium webdriver未正确关闭资源导致爬虫卡住由于我在写selenium爬虫代码时，关闭页面使用的driver.close()查过资料 得知driver.close()指的是仅关闭页面 ，因此这里应该使用driver.quit() 这个方法不但会关闭所有页面，还会释放webdriver资源...
2022-01-14 10:08:19
1172
原创 python requests请求下载百度网盘文件
python requests请求下载百度网盘文件注意：这里需要添加网盘账号的cookie值,可以手动登录账号复制cookie(浏览器登录账号后按F12 > 点击Network > 刷新当前页面 > 点All这个选项 > 从下面Name这一栏中找到一个网盘的链接，在headers里面的Request Headers中有cookie这个字段的即可，复制cookie值)# header请求头headers = { 'User-Agent': 'Mozilla/5.0 (Wind
2022-01-04 10:26:30
4038
2
原创 selenium反扒参数设置
selenium反扒参数设置常用的反扒参数：chrome_options = Options()chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) #屏蔽自动化受控提示 chrome_options.add_experimental_option('useAutomationExtension', False) # 设置开发者提示options.add_argument('--disab
2022-01-04 10:05:04
529
原创 python直接读取网页excel文件(无需下载)
python直接读取网页excel文件(无需下载)import requests# excel链接excel_url= 'xxx.com/xxx.xlsx'# 注意：这里调用网页上的excel文件，需要采用post请求ret = requests.post(excel_url)# 保存到excel文件中,不想保存到文件,这步请忽略# f = open("{}".format(text),"wb")# f.write(ret.content)# f.close()# 这里采用pan
2021-11-22 10:18:04
5533
原创 已安装vs2017 仍然报错Unable to find vcvarsall.bat
问题记录：windows系统安装jieba-fast库时，报错·Unable to find vcvarsall.bat·查看了网上一些教程，说是需要安装vs2017,但是在我已安装vs2017后 ，仍然报错Unable to find vcvarsall.bat又了解到让我更新setuptools pip install setuptools --upgrade不过好像没什么用然后根据下面这段话，了解到安装好vs2017，并不会默认安装好vc++2017因此我根据上面的操作，在vs20
2021-11-03 11:05:40
726
原创 解决sqoop 导出数据时 出现的数据一致性问题
在sqoop 导出数据时， 出现的数据一致性问题，怎么解决呢？解决方案： 使用–staging-table可以解决数据的一致性问题，参考如下：https://blog.youkuaiyun.com/qq_40700727/article/details/108875608
2021-09-01 14:44:52
1272
原创 hadoop3.1.0 java编写wordcount报错 UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows
hadoop3.1.0 java编写wordCount demo过程中出现以下报错信息：2021-08-06 12:59:47,498 INFO [org.apache.commons.beanutils.FluentPropertyBeanIntrospector] - Error when creating PropertyDescriptor for public final void org.apache.commons.configuration2.AbstractConfiguration
2021-08-06 13:12:27
1114
原创 关于spark on hive 执行建表语句出现的用户权限问题 `Permission denied: user=PC, access=WRITE, inode=“/“:root:supergroup
关于spark on hive 执行建表语句出现的用户权限问题Permission denied: user=PC, access=WRITE, inode="/":root:supergroup:drwxr-xr-x解决方法在代码开头设置参数:System.setProperty("HADOOP_USER_NAME","root")即可以root角色访问hdfs目录 System.setProperty("HADOOP_USER_NAME","root") val spark: Spar
2021-08-03 11:48:36
816
原创 neo4j因果集群搭建
neo4j因果集群搭建#节点节点类型1node13主节点2node14从节点3node15从节点注意：两个从节点需要配置参数causal_clustering.refuse_to_be_leader=true压缩包：链接: https://pan.baidu.com/s/1YfrZLCZF6g-g8nACZsnyww 提取码: vc2w1.解压部署包tar -zxvf neo4j-enterprise-3.5.0-unix.tar.gz -C
2021-06-11 11:09:42
1356
原创 Linux环境变量配置错误导致命令不能使用
Linux环境变量配置错误导致命令不能使用当vim /etc/profile 修改profile配置文件,导致 ls,vim,vi,cd 等命令不生效了解决方案：重新定义PATH环境变量让其临时生效export PATH=/bin:/usr/bin:/usr/local/bin 之后进入profile 修改错误...
2021-05-12 16:37:47
1030
原创 centos7安装mysql5.7
centos7安装mysql5.7mysql安装包:链接：https://pan.baidu.com/s/1FrndAHB_9hPTvZvjgs96Ww提取码：rycs1.卸载CentOS7系统自带的mariadb查看是否存在mariadb[root@demo software]# rpm -qa | grep mariadbmariadb-libs-5.5.52-1.el7.x86_64删除mariadb[root@demo software]# rpm -e --nodeps m
2021-05-12 16:33:51
172
2
原创 hive 提示无法初始化hivehhook问题
问题描述：apache Atlas对hive表添加primaryKey导致无法初始化hivehook，报错提示为：Hive Internal Error: java.lang.NoClassDefFoundError(Could not initialize class org.apache.atlas.hive.hook.hivehook)解决方法：将atlas/conf目录下atlas-application.properties配置文件拷贝到hive/conf目录下...
2020-09-18 11:23:00
928
原创 hive 数据清洗大致流程
– 创建hive mock_data管理表create table mock_data(uuid STRING,name STRING,englishName STRING,gender STRING,birth STRING,identityNum STRING,nationality STRING,eduction STRING,occupation STRING,tit...
2020-03-23 23:02:29
5691
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人