Flychuer的专栏

sql语句中使用row_number分析函数，分组（partition by）字段中有几十万空字符串，导致数据严重倾斜，报错。

环境说明：paddle 版本2.6.1（CPU）版。

鼠标右击 – 属性 – 目标，去掉后面的 “%USERPROFILE%/”，或者在去掉"%USERPROFILE%/"之后添加上自己的文件保存路径（添加路径时一定要与原先的有空格的距离，不然打开Jupyter Notebook会出错）;找到对应的“Jupyte Notebook”快捷图标，鼠标右击 -- 属性 -- 目标，去掉后面的 "%USERPROFILE%/"（很重要），然后点击“应用”，“确定”重新启动Jupyte Notebook，发现之前Jupyter中的文件和目录都没了，说明修改完成了。

下载完成后，解压，将mysql-connector-java-8.0.30.jar拷贝到spark安装目录的libs中。使用pyspark连接mysql数据库代码如下。查询mysql版本命令：mysql -V。

问题一：CreateProcess error=206, 文件名或扩展名太长问题二：No tests found for given includes问题三：Error running ReadDDL.create table. Command line is too long. Shorten the command line via JAR manifest or via a classpath file and rerun问题四：A master URL must be set in your

2、在弹出窗口中选择输入文件，并修改Extra command args:--default-character-set=utf8，防止中文乱码，点击开始按钮。1、右键库名，点击工具-->执行脚本。

一、步骤step1:使用idea创建maven管理工具创建项目sparkconnhivestep2:在main下添加resources文件夹，并设置为Resources rootstep3:拷贝Hadoop安装路径中etc目录下的core-site.xml、hdfs-site.xml文件到resources中step4:拷贝hive安装路径中conf目录下的hive-site.xml文件到resources中step5:修改hive-site.xml文件中的javax.jdo

问题一：hive> select 1;FAILED: SemanticException org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/2ea6fd2b-c1f9-4a2b-8fac-5e6ed9674bac/hive_2022-03-20_21-31-37_510_3468482020810973734-1/dummy_path/dummy_file could only be

一、查看主机名称。 查看主机名称的方法有两种：1、使用hostname命令[root@master ~]# hostnamemaster2、使用hostnamectl命令[root@master ~]# hostnamectl Static hostname: master Icon name: computer-vm Chassis: vm Machine ID: 2162727903004302a6c42b6bee5d...

1、防火墙问题：说明：使用telnet命令连接不通mariadb服务器端口解决方案：为防火墙添加开放端口命令：firewall-cmd --zone=public --add-port=3306/tcp --permanent重新载入：firewall-cmd --reload然后问题解决。2、Could not connect to address=(host=192.168.90.3)(port=3306)(type=master) : (conn=4) Access den

错误日志：scalac: Error: Error compiling the sbt component 'compiler-interface-2.10.0-52.0'sbt.internal.inc.CompileFailed: Error compiling the sbt component 'compiler-interface-2.10.0-52.0' at sbt.internal.inc.AnalyzingCompiler$.handleCompilationError$1...

今天新建一个用户，create user 'test'@'localhost' identified by 'test';然后给用户授权，grant all on *.* to 'test'@'localhost';在使用Navicat登录此用户时报错，很是奇怪，网上搜索后，方知MySQL8之后，用户密码的默认加密方式由mysql_native_password 变为了caching_sha2_password。而我的Navicat版本比较旧，不支持此种新特性的加密方式，可以在数据库中查看加

在navicat中执行create table语句时报错：[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally dependent on columns in GROUP BY clause; this is incompat

代码如下public static void main(String[] args) throws Exception { //doSequence(); Reader reader = new FileReader("G:/TestFiles/1.txt"); Writer writer1 = new FileWriter("G:/TestFiles/5.txt"); Writer writer2 = new FileWriter("

近日，在使用idea创建maven管理的项目时，发现taglib标签出现异常，异常情况为：<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>正常情况下应该是：<%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>这个情况，不影响程序正常运行，但是在使用jstl标签库中的标签时，标签也是红色...