- 博客(18)
- 收藏
- 关注
RSS订阅原创 Spark学习部署和一些问题解决的记录
本文记录了搭建Spark环境的过程及问题解决。作者在已有Hadoop和Java环境的基础上，通过参考教程安装了Scala并配置环境。在启动过程中遇到两个问题：1) NoClassDefFoundError错误，通过手动暴露Hadoop的classpath解决；2) NoSuchMethodException错误，发现是Java版本不兼容（需Java8而非Java21），通过修改spark_env.sh中的JAVA_HOME路径解决。文章分享了从环境搭建到问题排查的实践经验。
2025-08-26 14:45:52
413
原创 解决trino连接mysql查询时报的SQLNonTransientConnectionException问题
一开始通过 /var/log/trino/server.log 查看日志也没看出什么，后来发现是日志没打印全，找到trino的配置路径 /usr/lib/trino/etc 下的 log.properties，将原来io.trino=DEBUG前面的注释去掉，再重启trino，再做一次查询后查看日志，发现就是mysql经常会出现的时区问题。随后在trino的etc目录下找到jvm.config，在最后一行加上一句：-Duser.timezone=GMT+8。
2025-08-20 15:09:17
355
原创 SQL寻找连续序列的数据
可以通过窗口函数row_number()对数据表里面的每一行赋予一个自增的有序行号，每一行的数据的序列值跟行号相减的时候，如果是连续的，则相减的值一定是相同的。如果数据在某一行不再连续了，出现了重复或者跳跃，则其跟行号进行相减后的结果一定会变化，因为行号是一个独立运作的序列，它是自然递增的，不受这些业务数据变化的影响。可以看出，前三行的数据是连续的，此时的差值都是相同的0，第四行的时候数据出现了重复，差值就变成了1，所以[1,2,3]和[3,4,5,6]分别是两组连续的数据。
2025-08-12 17:13:40
198
原创 解决Hue执行insert时报return code 2的问题
一开始没有很好得定位出问题的根本，就花了好多时间去改一些配置，甚至把Hue的源码都改了，最后还是没用。后来是第二天去找资料的时候看到了一篇文章，里面所描述的问题跟我并不是同一个，但是里面提到了通过查看资源管理器 resourcemanager 的日志去排查问题，给了我一些启发，同时也因为我后来在经过了更多的思考之后也更加认定这个问题应该更多的是偏向于资源问题，因为我注意到了hiveserver2的日志中更上一层的报错信息，里面比较明显得提示了内存不足的问题。Hadoop的内存默认是动态分配的，如果在。
2025-08-11 23:57:41
240
原创 在Ubuntu虚拟机配置Hue访问本地Hive数仓
查阅了一下资料，基本确定了是因为元数据库Hue使用的是SQLite，会出现这种问题，通常我们在部署Hive的时候会将元数据库配置成MySQL，我配置的也是，所以就再次打开上面的hue.ini配置文件，在database下面将数据库配置改成MySQL。这一步结束后通过浏览器访问页面，在登录页会提示注册账号，这里可以自己注册一个管理员账号，注册好之后进入hue里面，在个人页面进入 My Profile，新增账号，账号使用跟Hive元数据账号密码相同才能在登录之后使用Hue来访问到数据库。
2025-08-07 17:48:59
395
原创 oracle客户端配置
访问oracle服务器时，需要先在访问端的机器上面安装oracle的客户端，否则单是安装navicat没法直接连接到oracle服务。以下是一些详细步骤。: 包含全套工具（如SQL*Plus、ODBC驱动），适合高级需求。右键“此电脑” → 属性 → 高级系统设置 → 环境变量 → 编辑。（推荐）: 轻量级，适合基础连接。解压下载的ZIP文件到目录（如。将解压目录添加到系统环境变量。
2025-04-29 23:04:44
801
原创 python学习小笔记1
前序现在毕业之后工作已有一年，当年在学校中的意气风发现在已经渐渐被磨平，平常的工作更多的也只是做着一些重复性的工作，能好好学习和反刍的时间也比较少，现在也只能抓住一些日常闲暇的时间去学一下前沿领域的技术，同时也做做小笔记，以防健忘和以备日后查询使用。 我如今在某中国头部城商行做数据分析方面的工作，其实日常工作接触较多的是sql和sas这类语言，python虽然作为公司推广使用的未来之星，但其实也很少有人去系统性地学了。我在大学期间学过大约两年的python...
2021-09-25 22:32:40
132
原创 knn+tkinter
使用python实现算法主体，还有用python自带的gui模块实现图形界面，能做到鼠标取点。代码实现：from tkinter import *import tkinter as tkimport osimport numpy as npimport csvimport mathfrom PIL.FontFile import WIDTHdata_filename=os....
2018-11-26 00:00:13
231
原创 自定义组件
小程序自定义搜索框微信小程序官方文档中为我们提供了非常丰富的组件，但是在开发中我们可能比较需要一个携带着更加多功能的组件，我们只需要简单得引入组件名就可以使用这个组件携带的功能。接下来介绍一个自定义组件，自定义搜索框，这个搜索框我们只需要在wxml文件中写入<searchbar></searchbar>就可以把携带输入框和按钮的搜索框引入页面。而如果没有这个自定义搜...
2018-10-09 16:45:23
371
原创 node.js在本地搭建web服务器
学习笔记--node.js搭建web服务器以下是一个本地web服务器搭建案例，记为学习笔记，以便日后有需要时查看。我们采用node.js搭建，所以事先肯定需要安装node.js。前往官网安装即可，安装好后可以使用cmd输入命令node -v来检测安装是否成功。如果安装成功了，那么会显示node.js的版本号 我们接下来的javascript代码会在node.js环...
2018-10-07 21:44:33
724
1
原创 字母跳一跳
/***题目：有一无限长的循环字母表，任意输入一个字母，按照规定时刻进行跳转，每个时刻跳转规定的步数，最后显示跳转后得到的字母**/#include<iostream>using namespace std;int main(){ char alphabet[26]={'a','b','c','d','e','f','g','h','i','j','k','l','m','n','o'...
2018-03-17 20:15:08
313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人