遇到问题解决方案集锦
分享
扫一扫
文章平均质量分 52
工作至今遇到每一个问题的解决方案集锦，汇集无数个日日夜夜的心血。 希望能给 同样遇到困惑迷茫的你 一些解决问题的思路。
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容，最终完结不会低于15篇文章。
订阅专栏，享有专栏所有文章阅读权限。
本专栏为虚拟商品，基于网络商品和虚拟商品的性质和特征，专栏一经购买无正当理由不予退款，不支持升级，敬请谅解。
阿泽财商会
作品主页https://mbd.pub/o/m/azcsh，高级人工智能算法训练工程师，人工智能应用工程师，高级工程师，高级信息系统项目管理师，软件设计师，CSM敏捷教练，csdn20周年直播嘉宾，高级健康管理师，会计师。
清华大学出版社《MongoDB游记》数据库教程书作者。专注于人工智能，数据挖掘技术与大数据，云计算与存储等技术的学习与研究。擅长人工智能算法训练，系统响应式开发、数据采集数据清洗和数据分析，分布式云存储运算等技术。熟悉后台系统、云存储计算平台的搭建，擅长解决架构过程中遇到的疑难问题。常用开发语言:java、python、c#、perl、sql。
展开
-
遇到问题--AttributeError: Can only use .cat accessor with a ‘category‘ dtype
方法，这是分类数据类型的访问器，而不是字符串连接的方法。你应该使用字符串连接的方法来实现这个目标。类型的列进行操作，应使用与该数据类型对应的访问器或方法。例如，如果列是字符串类型，可以使用。错误通常在使用 Pandas 库时出现，特别是在尝试对非分类数据类型（错误，并正确处理 Pandas 数据框中的分类操作。转换为字符串类型，然后将它们连接起来，但你使用的是。运算符将两个字符串列连接起来，并将结果存储在新的。这样，可以正确地将两列字符串连接在一起，而不会触发。首先，确保你操作的列是。列转换为字符串类型。原创 2024-11-16 16:01:07 · 186 阅读 · 1 评论 -
遇到问题--AttributeError: Can only use .str accessor with string values
如果你确实需要对非字符串类型的列进行操作，应使用与该数据类型对应的访问器或方法。例如，如果列是数值类型，可以使用数值操作方法。错误通常在使用 Pandas 库时出现，特别是在尝试对非字符串类型的列应用字符串操作时。错误，并正确处理 Pandas 数据框中的字符串操作。如果列的数据类型不是字符串，可以将其转换为字符串类型。首先，确保你操作的列是字符串类型的。如果你尝试对非字符串类型的列使用。str需要修改为 astype(str)访问器只能用于字符串类型的列（即。属性来检查列的数据类型。原创 2024-11-16 15:43:20 · 286 阅读 · 0 评论 -
遇到问题--kafka--接收端报错Parse JSON error Invalid encoding in string. Offset
情况kafka接收业务发送得数据，在接收端json解析失败例如a={"key":"123data"}print(a);原因打印异常信息发现接收端接收到的数据里面包含有特殊符号kafka发送端发出的数据中有特殊符号，导致接收端接收时转换json格式失败。这些异常数据一般是特殊的符号，在txt中肉眼不可见。可以借用bejson在线工具 或者 本地的notepad++软件找到相关异常的符号是哪一个，如果数据量太多，可以借助附录中html代码运行 定位到 特殊符号的前后。我们发现 去掉这个原创 2022-05-13 11:30:07 · 2174 阅读 · 0 评论 -
遇到的问题---java---使用SimpleDateFormat进行时区加8小时后出现24点的数据，导致时间异常无法入库
情况因为数据库中保存的是无时区的时间格式，所以在java项目中 获取时间数据后 需要加上东八区的时间。使用代码如下： public static String timeAdd8Hour(Date date) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd kk:mm:ss ");// System.out.println("格式化输出：" + sdf.format(date)); sdf.setTimeZone(Ti原创 2022-03-31 18:26:05 · 3145 阅读 · 0 评论 -
遇到问题--mongodb---python---pymongo通过_id查询不到数据
情况pymongo通过_id查询不到数据正常使用的pymongo查询语句如下：id="600bcb89436877002d001eaa"import pandas as pdfrom pymongo import *client = MongoClient('mongodb://root:password@mongodb.mydb.com:3717/mydb')db = client['mydb']db_collection = db['comment']results = []f原创 2022-03-16 11:55:48 · 4368 阅读 · 0 评论 -
遇到问题--k8s---数据库同域名切换后pod读取的还是老数据库
情况现有一个 spring-boot的系统部署在k8s的pod中，连接数据库的配置文件 使用的是 域名 order.mydb.com 连接mongodb。因为数据库迁移需要， 新创建了一个mongodb服务，然后把order.mydb.com域名指向 新的mongodb服务。但是 spring-boot的系统 发现 缺少数据，经过排查后，新的mongodb数odb据完整，老的mon godb缺少数据。数据库配置正确，在 spring-boot的系统 所在的 pod和node中 ping 域名 or原创 2022-03-16 11:33:37 · 3004 阅读 · 0 评论 -
遇到问题--java--新建maven项目打jar包缺少第三方引入的包maven dependencies报错Caused by: java.lang.ClassNotFoundException
情况我们新建maven项目打成jar包后在flink集群中运行，但是报错Caused by: java.lang.ClassNotFoundException具体报错如下：java.lang.RuntimeException: Could not look up the main(String[]) method from the class task.MongoDBSourceOrderETL: com/ververica/cdc/debezium/DebeziumDeserializationSc原创 2022-03-07 15:55:35 · 3398 阅读 · 0 评论 -
遇到问题--java--mac版本的idea在控制台中使用mvn命令not found
情况新建了一个maven的项目，默认使用的idea的maven3插件，idea项目中可以正常的下载jar包。但是点击 idea中的Terminal终端 想要进行项目打包时使用命令mvn clean package -Dmaven.test.skip=true报错如下：zhangxiaofans-MacBook-Pro:flink-job joe$ mvn clean package -Dmaven.test.skip=truebash: mvn: command not found原因m原创 2022-03-04 18:07:20 · 4654 阅读 · 0 评论 -
遇到问题--k8s--kops--新增node无法加入k8s
情况使用kops配置yaml文件进行k8s集群的资源扩张，想要新增几个节点，使用命令如下：kops replace -f manifest.yaml --forcekops update cluster kops update cluster --yeskops rolling-update cluster k8scluster_namekops rolling-update cluster k8scluster_name --yes但是 node 已经ready 却无法加入k8s原创 2022-02-09 21:15:00 · 2061 阅读 · 0 评论 -
遇到问题--presto---mismatched input ‘in‘ expecting {, ‘AND‘, ‘EXCEPT‘, ‘GROUP‘, ‘HAVING‘, ‘INTERSECT‘, ‘
情况在presto中使用查询语句如下：select id from table where id in array[1,2,3]; 报错如下：select id from table where id in array[1,2,3];mismatched input 'in' expecting {<EOF>, 'AND', 'EXCEPT', 'GROUP', 'HAVING', 'INTERSECT', 'LIMIT', 'OR', 'ORDER', 'UNION'}原因原创 2022-02-09 21:00:00 · 14206 阅读 · 0 评论 -
遇到问题--python---ImportError: Missing optional dependency ‘xlrd‘. Install xlrd ＞= 1.0.0 for Excel supp
情况使用如下代码读取excel表格import pandas as pdno_rebacks = pd.read_excel("123.xlsx", header=0)报错如下 ：ImportError: Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for Excel support Use pip or conda to install xlrd.完整报错如下：ImportError原创 2021-11-15 15:25:54 · 3827 阅读 · 1 评论 -
遇到问题--scala-gradle--Connect to jcenter.bintray.com:443 [jcenter.bintray.com/34.95.74.180] failed: co
情况项目编译使用gradle进行打包，之前都能正常运行，在没有改动的情况下， 突然报错gradle命令无法成功构建。在ci文件中使用方式如下：deploy-test: image: 123.dkr.ecr.cn-northwest-1.amazonaws.com.cn/operation/gradle:4.8_awscli stage: deploy-test script: - gradle shadowJar - /home/gradle/bin/aws s3 cp build原创 2021-10-26 17:51:16 · 2763 阅读 · 0 评论 -
遇到问题--python--pandas--dataframe进行groupby之后导出数据to_excel内容为空
情况dataframe需要使用groupby 进行数据统计处理得到的df数据如下：但是df导出数据to_excel内容为空原因dataframe使用groupby后是带着分组信息的，并不是dataframe平铺的格式，所以直接导出会有问题。解决方案把带有分组信息的group by结果的索引重建即可。c_df = pd.DataFrame(df)c_df.reset_index(inplace=True)输出如下：附加情况如果报错AttributeError: ‘Series’原创 2021-10-18 16:28:03 · 6820 阅读 · 0 评论 -
遇到问题--spark-scala---Cannot resolve overloaded method ‘udf‘--Defines a Scala closure of 11 arguments
情况我们在使用spark进行运算时，经常需要使用udf进行自定义函数。当我们自定义的函数参数个数小于等于10个时，udf能够正常编译运行。例如 val makeParams: (String, String, String, String, String, String, String, String, String, String) => TestProperty = (orderId: String, barcode: String, deliveryId: String,原创 2021-09-14 19:02:27 · 1967 阅读 · 0 评论 -
遇到问题--python---RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility.
情况之前运行良好的python项目，突然开始报错RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility. Expected 144 from C header, got 152 from PyObject完整报错如下：/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/importlib/_bootstrap.py:原创 2021-08-30 11:30:39 · 3189 阅读 · 0 评论 -
遇到的问题--presto---提取json中的数组值为null
情况我们有数据结构如下：skuIdsParams:{"skuIds":["123","456"]}在presto中适用语句查询如下：presto> select skuIdsParams, json_extract_scalar(skuIdsParams,'$.skuIds') from v_event_2 where "$part_date">'2021-04-26' and "$part_event"='VIEW_ORDER_PAGE_EVENT' AND ( POSITION('原创 2021-08-02 19:06:08 · 2610 阅读 · 0 评论 -
遇到的问题--docker---gitlab---k8s---error pulling image configuration: Get https://production.cloudflare.
情况目前使用helm在k8s中安装了gitlab，gitlab runner在跑ci/cd时获取镜像失败。报错如下：error pulling image configuration: Get https://production.cloudflare.docker.com完整报错如下 :error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/regist原创 2021-07-16 15:35:56 · 2265 阅读 · 0 评论 -
遇到的问题---spark---spark OutOfMemoryError: Java heap space
情况使用命令运行spark任务$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar --conf spark.executor.memory=6g --conf spark.executor.cores=8 --conf spark.executor.instances=4 --conf原创 2021-07-06 10:55:20 · 1283 阅读 · 0 评论 -
遇到的问题---python---pandas新建空的dataframe报错dataframe type object ‘object‘ has no attribute ‘dtype‘
情况处理一些数据，需要新建一个dataframe，后续再新增数据进去，使用代码如下： df=pd.DataFrame(columns=['code', 'name']) for row in results: i= i+1 print(i) print("总数%s, 当前%s 编码%s" % (str(cursor.rowcount), str(i), row[0])) code = row[0] name =原创 2021-06-24 18:40:29 · 3618 阅读 · 2 评论 -
遇到的问题---python---urllib获取到response为空
情况雪球非鉴权api使用浏览器 可以直接访问到。使用python3.7模拟浏览器访问,代码如下：import urllib import urllib.request原创 2021-06-24 10:21:13 · 1043 阅读 · 0 评论 -
遇到的问题---airflow on k8s---运行时scheduler报错ImportError: libpq.so.5: cannot open shared object file: No s
情况之前在k8s中部署了工作流引擎airflow正常稳定运行。突然有一天没修改任何东西的情况下 重新ci/cd后 pod出现异常。具体报错如下：/usr/local/lib/python3.7/dist-packages/airflow/configuration.py:631: DeprecationWarning: Specifying both AIRFLOW_HOME environment variable and airflow_home in the config file is d原创 2021-06-22 11:18:47 · 572 阅读 · 0 评论 -
遇到的问题---presto---使用left join左连接后出现重复数据主表中一条变多条
情况在数据分析的时候 需要 costtable,shoptable两个表做左连接，costtable为主表，从shoptable两个表做左连接表中通过orderid拿shopname字段。select id,orderIdA,product from costtableleft joinselect orderIdB,shopName from shoptable 完整sql如下：select id,orderIdA,product,orderIdB,shopName from costt原创 2021-04-30 17:19:43 · 5019 阅读 · 1 评论 -
遇到问题---tableau online--新增join后运行时报错系统错误
情况根据数据需求，需要在原本正常运行的流程上增加一个字段。方案是 新增一个数据源获取字段后 进行join操作。原流程和增加分支后流程如下：但 运行后报错而且在 最终的输出步骤是 能够正常预览数据的原流程中涉及到时间格式的处理如下：读数据源时 if (occurtime is not null, to_unixtime(occurtime), 946656000000) occurtime,时间格式处理步骤使用公式DATETIME(DATEADD('second',INT原创 2021-04-26 16:05:32 · 512 阅读 · 0 评论 -
遇到问题--tableau online---Error with HTTP request, response code: 406
情况在使用tableau online编辑流程时，使用了custom sql进行presto的数据源加载使用sql如下：select evt."#user_id",evt."#event_name",evt.purpose,evt."#event_time",evt.params,evt.router, from hive.ta.v_event_2 evt where evt."$part_date">'2021-01-25' and evt."#event_name"原创 2021-02-22 16:46:00 · 694 阅读 · 0 评论 -
遇到问题---tableau online--运行时报错系统错误
情况因为线下的tableau online套装 tableau prep builder + tableau desktop 多人使用时，经常需要交换 文件，多人交互使用很不方便。所以决定 把线下的流程 迁移到 tableau online 云端版本 使用。但是 线下能成功运行的流程 同步 翻译 到线上后 ，运行报错，但是并没有详细的报错信息。使用custom sql的方式，后面直接跟一个输出，使用的sql如下：SELECT id, userid, occurtime,原创 2021-01-20 18:32:13 · 1301 阅读 · 0 评论 -
遇到问题---tableau prep builder--运行时报错系统错误
情况使用tableau prep builder处理数据时，运行了一部分后报错系统错误。如下图：原因tableau prep builder的报错非常简单，常常无法定位到具体的问题。这个时候 我们需要从自身的数据出发，一般是出现了脏数据导致了运行报错。最常见的就是时间格式的问题。这个时候 我们需要从 数据源的查询语句出发去排查问题。比如我这里使用的是presto连接hive。在presto的监控界面中果然看到了 语句运行错误的报错信息。如下：io.prestosql.spi.Presto原创 2021-01-19 15:58:53 · 3262 阅读 · 5 评论 -
遇到问题---linux--crontab输出重定向不生效最全可能原因收集和解决
情况需要在linux系统中运行一个定时任务，该任务运行时间比较长，输出内容比较多48 15 * * 2 nohup python3.6 run_list >> /data6/zzq/catalina`date +\%Y-\%m-\%d`.out 2>&1 &但是 使用输出命令查看 重定向的日志文件时 看到内容为空cat /data6/zzq/catalina2021-01-12.out查看文件大小确实为0ll[root@localhost zzq原创 2021-01-12 17:49:45 · 1368 阅读 · 2 评论 -
遇到问题---eclipse--java--import加载maven项目报错Plugin execution not covered by lifecycle configuration: org.
情况接手新的项目组项目，把项目通过maven导入到eclipse后，报错：如图：点击pom.xml文件后看到具体报错如下：Plugin execution not covered by lifecycle configuration: org.sandbox:githook-maven-plugin:1.0.2:install (execution: default, phase: initialize)原因基于maven的项目会使用各种maven plugin来完成开发中的一些工作，例如编原创 2021-01-06 18:42:30 · 1260 阅读 · 0 评论 -
遇到问题---eclipse--java--tomcat运行web项目报错Licensed to the Apache Software Foundation (ASF) under one or m
情况有一个老的tomcat web项目 使用的是 springMVC的框架，需要放到k8s中运行，所以添加了spring boot的相关包，在本地使用eclipse的tomcat进行web调试时 报错Licensed to the Apache Software Foundation (ASF) under one or more。详细报错如下:十二月 25, 2020 5:28:29 下午 org.apache.catalina.core.AprLifecycleListener init信息:原创 2020-12-25 19:15:59 · 5113 阅读 · 1 评论 -
遇到问题--python--mongodb--pymongo--pymongo.errors.OperationFailure: $not cannot have a regex
情况我们有一个 正则匹配的mongodb查询,查询pic_label不包含有冒号的记录，如下：{"pic_label" : {"$not":/:/},"source":"guangxi"}需要转换成pymongo的查询语句来查询,直接对应翻译成pymongo的语句如下：def find_pic_structures(): pics = [] client = init_mongo_client() db = client['my_pic'] collection =原创 2020-12-24 15:47:33 · 1631 阅读 · 0 评论 -
遇到问题---python--web--aiohttp提供api服务--单个api访问时间过长时阻塞主线程
情况我们在 python–web–让python提供api服务–aiohttp 已经尝试了 使用python的aiohttp包搭建一个简单的web并提供http服务。我们有一个简单的方法如下：async def nowater(request): query = request.query type = query.get("type") id = query.get("id") source = query.get("source") try:原创 2020-12-22 10:31:07 · 643 阅读 · 1 评论 -
遇到问题--mac合盖后断网----mac合盖后不断网设置--亲测有效
情况macbook pro 2015，系统 macOS Catalina，已经在系统偏好设置–节能中设置： 当显示器关闭时，防止电脑自动进入睡眠，关闭显示器时间设置为永不，但是合盖后 仍然断网。原因我们经常需要 在mac上运行长时间的任务，需要保持网络的连通，而且需要在合盖的情况下继续运行。但是出于安全和散热以及wifi性能等原因的考虑，mac的设计 没有这样的设置选项，原生不支持这样的设置。解决方案根据合盖后不断网的需求 在网络中需要解决方案，发现很多 方案时间都比较老，很多已经不生效了原创 2020-12-15 15:58:54 · 19158 阅读 · 0 评论 -
遇到问题--k8s--helm安装elasticsearch报错java.lang.IllegalArgumentException: unknown setting [node.remote_clu
情况使用helm安装elasticsearch 使用配置和命令如下:master.yaml---nodeGroup: "master"roles: master: "true" ingest: "false" data: "false"replicas: 3image: 123.dkr.ecr.cn-northwest-1.amazonaws.com.cn/k8s-env/elasticsearchimageTag: 7.6.2resources: requests原创 2020-12-03 18:32:19 · 2511 阅读 · 0 评论 -
遇到问题--k8s--helm安装prometheus报错Error: failed to download “stable/prometheus-operator“
情况使用helm安装prometheus命令如下:helm install prometheus stable/prometheus-operator 遇到报错：Error: failed to download "stable/prometheus-operator" (hint: running `helm repo update` may help)根据提示更新helm的仓库如下：zhangxiaofans-MacBook-Pro:prometheus joe$ helm rep原创 2020-12-03 11:58:23 · 4977 阅读 · 0 评论 -
遇到问题---spark on k8s--挂载了efs的pod运行spark session 60s后报java致命错误
情况我们在前面的文章中有提到过，目前spark on k8s运行某些类型的任务时，需要共享/tmp目录，我们通过efs来实现了 共享目录的挂载。但是 可能遇到 挂载了efs的pod运行spark session 60后报java致命错误的情况。pod状态如下：spark-shell-1605604907012-exec-2 0/1 Error 0 68s 10.33.1.46 ip-10-33-6-62.cn-nor原创 2020-12-01 17:53:24 · 800 阅读 · 0 评论 -
遇到问题--python--urllib.error.URLError:certificate verify failed: unable to get local issuer certificat
情况使用python的urllib包打开https链接，报错如下：urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)>原因Python 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证原创 2020-11-12 18:38:54 · 5057 阅读 · 0 评论 -
遇到问题---eks--gitlab-runner----docker on docker运行失败---Cannot connect to the Docker daemon at unix:///v
情况在k8s环境中部署一个gitlab-runner用于ci/cdgitlab-runer 采用helm进行部署，runner pod使用独立的serviceAccountName，所以配置时需要创建必要的角色、角色绑定运行时报错如下:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running原因我们采用了 docker on docker的模式运行 gitla原创 2020-11-12 18:25:55 · 2227 阅读 · 0 评论 -
遇到问题---eks--gitlab-runner----docker dns解析失败---docker build Temporary failure in name resolution
情况使用eks集群部署了一个gitlab-runner用来做ci/cd，但是发现 gitlab-runner这个pod中 去下载包时报错 docker build Temporary failure in name resolutiondocker 容器内部 dns 解析失败的问题发现在 docker run 启动容器之后，容器内部访问外部的接口总是提示无法解析 dns，然而容器外部是可以解析的，dns的配置也没有任何问题。用 docker exec -it contaner_n原创 2020-11-12 18:16:46 · 1351 阅读 · 0 评论 -
遇到问题---eks--spot混合实例--无法自动伸缩的问题--wouldn‘t fit if a new node is added
情况我们在前面的文章中详细讲解了如何搭建一个 eks集群Kubernetes–k8s—进阶–AWS托管式容器服务EKS–EKS全面介绍和安装使用在使用eksctl命令创建eks集群的配置文件中 定义了 spot的nodegroup。如下:instancesDistribution: instanceTypes: ["c5.4xlarge","c5.9xlarge","c5.18xlarge","r4.8xlarge","r5.8xlarge",] onDemandBaseCap原创 2020-11-12 17:23:07 · 1791 阅读 · 0 评论 -
遇到问题--k8s--KubeOperator--部署完成后页面无法显示出来required authorization token not found
情况KubeOperator版本3.2 使用离线安装包安装 k8skubeoperator-release-v3.2.0.tar.gz系统:centos 7.5k8s集群项目基本信息名称 k8s-private版本 v1.18.6网络类型 flannel容器运行时 docker架构 amd64来源 本地k8s集群项目 安装完成后 概览以及节点等页面显示不出来，F12查看 页面请求 相关api报错required authorization token not found例如:ht原创 2020-10-29 11:07:58 · 2601 阅读 · 1 评论