- 博客(664)
- 资源 (72)
- 收藏
- 关注
原创 Python实验代码定时调起
Python代码实验调参需要等待1小时运行完成,自动将提前设置的5组参数(每组参数有8个)间隔1小时之后让Python代码再次自动依次调起运行其中的一组参数,每次跑完将实验结果写一个文件在本地存储通过邮件发送运行结果到指定QQ邮箱。
2024-05-07 17:22:51
384
原创 Spark中collect方法报错java.lang.OutOfMemoryError:Java heap space
具体报错信息:在执行val arr = data.collect()的时候报错java.lang.OutOfMemoryError:Java heap space1.collect的作用Spark内有collect方法,是Action操作里边的一个算子,这个方法可以将RDD类型的数据转化为数组,同时会从远程集群是拉取数据到driver端。2.已知的弊端首先,collect是Action里边的,根据RDD的惰性机制,真正的计算发生在RDD的Action操作。那么,一次collect就会导致一次S
2022-05-13 10:49:19
1318
原创 MAC中SublimeText 批量清除空行
MAC中SublimeText 批量清除空行一、快捷键:Command+option+f二、勾选最左侧*并在Find中输入 \s+$三、点击replace All
2022-04-23 00:19:07
2631
原创 (Spark3.2.0)Spark SQL 初探: 使用大数据分析2000万KF数据
(Spark3..2.0)Spark SQL按照星座对2000W数据进行分组统计, 看看哪个星座的人最喜欢KF
2022-04-23 00:15:08
2125
原创 ERROR 2002 (HY000): Can‘t connect to local MySQL server through socket ‘/tmp/mysql.sock‘ (2)
报错:ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’ (2)原因:因为Mac OS X的升级或其他原因会导致MySQL启动或开机自动运行时/usr/local/mysql/data的宿主发生了改变,没有了这个文件夹的权限了,所以在终端上执行第一步: 赋权sudo chown -R mysql /usr/local/mysql/data第二步:打开系统偏好设置设置,双击
2022-04-22 23:03:21
1381
原创 error: value createSchemaRDD is not a member of org.apache.spark.sql.SQLContext
<console>:23: error: value createSchemaRDD is not a member of org.apache.spark.sql.SQLContext在spark1.3以后spark SQL取消了createSchemaRDD,改为了implicits。import sqlContext.implicits._
2022-04-22 21:18:26
2592
原创 Mac中使用brew更新Spark至3.2.0
Mac中使用brew更新Spark至3.2.0当前Mac中安装的spark版本比较旧为2.3.0使用brew install spark出现问题:Error: Permission denied @ apply2files - /usr/local/lib/docker/cli-plugins解决方法:sudo chown -R $(whoami) $(brew --prefix)/*下载apache-sparkbrew install apache-sparkhttps:
2022-04-22 21:05:59
2505
原创 Linux查找大文件指定内容
Linux查找大文件指定内容①、查看test.txt中某段字符所有日志 cat test.txt | grep '52920'②、重定向>> 到指定文件tmp.txt中cat test.txt | grep '52920' >> tmp.txt
2022-02-27 21:30:13
1370
原创 MultipartFile文件直接通过数据流的方式上传文件到HDFS
MultipartFile文件通过数据流的方式上传文件到HDFS要求文件不能经过缓存落盘,直接数据流的方式上传文件到hdfs最后记得flush一下/** * 文件流直接上传至HDFS * * @param srcFile 上传文件源文件, * @param destPath fs的目标路径 */ public void upoldFileToHDFS(MultipartFile srcFile, String destPath)
2022-02-18 20:44:55
1000
原创 JAVA 通过数据流的方式上传文件到HDFS
JAVA 通过数据流的方式上传文件到HDFS源代码/** * @ Author zhangsf * @CreateTime 2022/2/18 - 6:18 PM */import java.io.FileInputStream;import java.io.FileOutputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import o
2022-02-18 18:34:31
3922
原创 Idea直接编辑国际化文件(properties)方法
Idea直接编辑国际化文件(properties)方法第一步、file encodings 菜单,右下角勾上那个勾就ok了第二步、建议把Defaule encoding for properties files,属性设置成utf-8如下图所示:
2022-02-18 09:55:00
3026
1
原创 SpringBoot文件上传文件大小限制The field file exceeds its maximum permitted size of 1048576 bytes.
SpringBoot文件上传文件大小限制The field file exceeds its maximum permitted size of 1048576 bytes.Maximum upload size exceeded; nested exception is java.lang.IllegalStateException: org.apache.tomcat.util.http.fileupload.FileUploadBase$FileSizeLimitExceededException
2022-02-15 18:38:47
3561
1
原创 Idea使用Fast Request接口调试
Idea使用Restful Fast Request接口调试一. Idea安装Restful Fast Request 插件,安装完之后重启二、打开Idea中的Fast Request配置项目名和环境三、为具体的项目勾选环境四、使用上传文件点击方法左边的小飞机,右侧就会自动生成对应调试接口五、点击绿色小飞机,将查询的结果保存到getPathInfo文件中使用Json插件查看对比查看hdfs中zhangvalue目录的文件六、尝试将jpg上传到/zhangvalue目录下
2022-02-15 18:33:28
3888
4
原创 Java上传本地文件到HDFS
Java上传本地文件到HDFS/** * @ Author zhangsf * @CreateTime 2022/2/9 - 4:33 PM */package SparkWordCount;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class CopyFile { public
2022-02-09 16:45:21
1841
原创 Docker制作Spark3.1.2镜像
Docker制作Spark3.1.2镜像一、启动Docker容器二、下载Spark3.1.2并进去目录三、使用Docker build命令制作镜像docker build -t registry/spark:3.1.2 -f kubernetes/dockerfiles/spark/Dockerfile .四、docker images查看镜像五、导出镜像docker save -o spark3.1.2.tar registry/spark:3.1.2六、下载地址Docker
2022-01-29 14:32:28
2851
原创 Spark3.1.2 on k8s配置日志存储路径:spark-defaults.conf
Spark3.1.2 on k8s配置日志存储路径:spark-defaults.conf使用的Hadoop版本是2.7.3 HDFS端口号9000192.168.x.x是Hadoop的namenode节点IP地址18080是默认的历史日志的端口号spark.yarn.historyServer.address=192.168.x.x:18080spark.history.ui.port=18080spark.eventLog.enabled truespark.eventLo
2022-01-26 09:57:25
2801
1
原创 Mac上安装docker
Mac上安装docker首先去官网下载安装文件:官网下载docker安装文件Docker下载https://desktop.docker.com/mac/main/amd64/Docker.dmg然后打开安装文件,拖拽安装安装完成之后,使用docker --version没有响应需要配置.base_profilesource .base_profile...
2022-01-19 10:43:53
1183
原创 宿主机向Docker容器传送文件
需求:创建Spark3.1.2的Docker镜像,在安装了docker容器之后并成功启动Docker需要将待创建的文件发到Docker容器中。docker exec -it e987770d24f3faacda767958ee0fce4fa529a0e85e58b5407bc830cedb27e7ed /bin/sh一、先在终端登录docker容器二、首先需要知道docker容器的container_id可以使用docker ps命令来查看你要操作的docker容器的contai.
2022-01-18 18:53:49
2591
原创 Mac中在终端中使用Sublime打开文件
使用sublime文本编辑器修改,在sublime里面经常没法找到那些隐藏文件夹下的文件。所以用命令行启动sublime打开文件sublime 提供命令行的工具叫subs,路径在:/Applications/Sublime\ Text.app/Contents/SharedSupport/bin/subl使用ln命令ln命令是做文件链接用的,可以看做为建立快捷方式。ln /Applications/Sublime\ Text.app/Contents/SharedSupport/b.
2022-01-18 18:42:58
771
原创 Spark运行WordCount(案例二)
Spark运行WordCount(案例二)具体细节参考Spark运行WordCount(案例一):https://zhangvalue.blog.youkuaiyun.com/article/details/122501292https://zhangvalue.blog.youkuaiyun.com/article/details/122501292和前期准备工作:Mac安装Spark并运行SparkPi_zhangvalue的博客-优快云博客Mac安装Spark2.4.7https://archive.apach
2022-01-14 20:23:19
1155
原创 Spark运行WordCount(案例一)
使用Spark运行WordCount将/Users/zhangsf/data/poet.txt上传到/zhangvalue/input目录hdfs dfs -put /Users/zhangsf/data/poet.txt/zhangvalue/input查看hdfs dfs -ls /zhangvalue/inputhttp://localhost:9870/explorer.html#/zhangvalue/input查看上传的poet文件...
2022-01-14 20:08:44
959
原创 Mac安装Spark并运行SparkPi
Mac安装Spark2.4.7https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz解压tgz文件tar xvf spark-2.4.7-bin-hadoop2.7.tgz先创建scala项目并进行编译打成jar包然后就打好成了本地的jar包打包一个jar包通过sparksubmit提交./bin...
2022-01-14 19:55:58
794
原创 Presto可视化Client-yanagishima20.0的使用
Presto可视化Client-yanagishima的Github地址GitHub - yanagishima/yanagishima: Web UI for Trino, Hive and SparkSQLpresto web ui yanagishima 最后一个jdk 8版本yanagishima-20.0拷贝到/usr/local/Cellar/prestodb/0.267/libexec/yanagishima-20.0yanagishima-20.0/conf/ya
2022-01-10 21:31:18
1157
原创 presto web UI介绍
Presto Web UI 可以用来检查和监控Presto集群,以及运行的查询。所提供的关于查询的详细信息可以更好的理解以及调整整个集群和单个查询。需要Presto Web UI所展示的信息都来自于Presto系统表;当进入Presto Web时,会看到如同1所示的界面:主要分为上下两部分,上面描述了集群信息,下面是查询列表;首页集群信息Running Queries当前在集群中正在执行的查询的个数。包含所有用户提交的查询;例如,如果Alice正在执行两个查询,Bob正在执行
2022-01-07 15:12:57
1205
原创 Java程序访问Presto
./presto --server localhost:8080 --catalog mysql --schema tp_musicselect * from mysql.tp_music.singer limit 3;pom.xml中引入presto-jdbc<dependency><groupId>com.facebook.presto</groupId><artifactId>presto-jdbc</artifactId.
2022-01-06 22:36:45
1107
原创 Mac上部署Presto
一、概要在部署和使用presto的过程中,在此记录一下部署记录和使用记录以及需要注意的事项。此次使用的presto版本是0.267。使用背景:使用分布式查询引擎presto查询数据。使用目的:为了在Hadoop大数据平台上建服务层。二、安装部署2.1 Mac上直接使用brewbrew install brestoTo restart prestodb after an upgrade: brew services restart prestodbOr, if yo.
2022-01-06 21:52:09
1039
原创 关键字Serializable序列化和反序列化
遇到这个 Java Serializable 序列化这个接口,我们可能会有如下的问题a,什么叫序列化和反序列化b,序列化的作用。为什么要实现这个 Serializable 接口(为什么要序列化)c,serialVersionUID 这个的值到底是在怎么设置的,有什么用。有的是1L,有的是一长串数字。在了解Serializable问题之前先知道一个问题,这个比较重要。这个Serializable接口,以及相关的东西,全部都在 Java io 里面的。有的时候是涉及不到io操作就不需要实...
2021-11-12 18:09:32
230
原创 五大常用经典算法-分治-动态规划-贪心-回溯-分支限界
在求解某问题时,经过分析发现该问题具有最优子结构和重叠子问题性质。则适用(动态规划)算法设计策略得到最优解。若了解问题的解空间,并以广度优先的方式搜索解空间,则采用的是(分支限界)算法策略。A.动态规则B.贪心C.回溯D、分支限界E、分治要想直接解决一个较大的问题,有时是相当困难的,分治法的设计思想是将一个难以解决的大问题分解成一些规模较小的相同问题,以便各个击破,分而治之。动态规划法与分治法类似,其基本思想也是将带求解问题分解为若干个子问题,先求解子问题再从这些子问题的解得到原问题的..
2021-10-11 18:31:16
678
原创 大顶堆构建、排序过程
一、堆的定义堆是一种非线性结构,可以把堆看作一棵二叉树,也可以看作一个数组,即:堆就是利用完全二叉树的结构来维护的一维数组。堆可以分为大顶堆和小顶堆。堆通常是一个可以被看做一棵树的数组对象,其任一非叶节点满足以下性质:1)堆中每一个节点的值总是不大于或不小于其父节点的值:大顶堆:每个结点的值都大于或等于其左右孩子结点的值。即: arr[i] >= arr[2i+1] && arr[i] >= arr[2i+2]。小顶堆:每个结点的值都小于或等于其左右孩子结点的值。
2021-10-11 10:38:58
648
原创 MySQL 8.0 Keywords and Reserved Words
A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|ZA ACCESSIBLE(R) ACCOUNT ACTION ACTIVE; added in 8.0.14 (nonreserved) ADD(R) ADMIN; became nonreserved in 8.0.12 AFTER...
2021-06-30 11:25:18
304
原创 Leeccode反转字符串 II
给定一个字符串 s 和一个整数 k,你需要对从字符串开头算起的每隔 2k 个字符的前 k 个字符进行反转。如果剩余字符少于 k 个,则将剩余字符全部反转。如果剩余字符小于 2k 但大于或等于 k 个,则反转前 k 个字符,其余字符保持原样。示例:输入: s = “abcdefg”, k = 2输出: “bacdfeg”提示:该字符串只包含小写英文字母。给定字符串的长度和 k 在 [1, 10000] 范围内。思路 以2k为一组数据。 1、每次取一块数据如果大于2
2021-04-29 20:21:13
291
原创 腾讯云-Centos7安装配置cmake
安装说明安装环境:CentOS7安装方式:源码编译安装软件:cmake-3.20.1.tar.gz下载地址:http://www.cmake.org/cmake/resources/software.html安装前提系统中已经安装了g++和ncurses-develyum install gcc-c++yum install ncurses-devel安装cmake将cmake-3.20.1.tar.gz文件上传到/root/opt再mv到/usr/local中执行以下操作:cd
2021-04-26 10:17:04
392
原创 腾讯云-Linux服务器安装安装C/C++环境(gcc)
linux下安装c/c++环境(gcc)第一步:yum install gcc第二步:yum install gcc-c++ libstdc++-devel第三步:验证 gcc -v
2021-04-18 19:33:02
1544
原创 腾讯云-关闭Tomcat
1、使用 ps -ef |grep tomcat 命令查看所有tomcat 进程。2、关闭tomcat 进程kill -9 22872 就可以彻底杀死tomcat22872 就为进程号 pid = 22872
2021-04-18 18:13:18
222
原创 C语言-删除原数组中0值并连续存储
对于具有n个元素的整型数组a,需要进行的处理是删除a中所有值为0的数组元素,并将a中所有非0元素按照原顺序连续地存储在数组空间的前端。下面分别用函数CompactArr_vl和CompactArr_v2来实现上述处理要求,函数的返回值为非零元素的个数。函数CompactArr_vl(int a[], intn)的处理思路是:首先申请一个与数组a的大小相同的动态数组空间,然后顺序扫描数组.a的每一个元素,将遇到的非0元素依次复制到动态数组空间中,最后再将动态数组中的元素传回数组a中。函数CompaetA
2021-04-18 18:03:09
831
Charles4.2.6.dmg
2018-12-12
mysql-connector-java-8.0.13.jar
2018-11-20
wget-1.18.tar.gz
2018-04-27
android6.0及以上获取wifi MAC地址
2017-10-12
Fiddlersetup.exe
2017-07-18
JSONObject所必须的6个包
2017-07-06
commons-collections-3.2
2016-03-18
json-lib-2.2.2-jdk15
2016-03-18
commons-httpclient.jar
2016-03-18
commons-beanutils.jar
2016-03-18
学习宝典apk
2016-01-08
BigDataTools_for_intellij-213.5449.243
2022-01-29
Spark3.1.2 Docker镜像资源
2022-01-29
WinPcap_4_1_3.exe
2020-09-22
合并PDF软件.rar
2020-06-06
设计ATM使用封装、继承和多态.zip
2020-05-21
tampermonkey.crx.zip
2020-03-29
StudentsPerformance.csv
2020-03-26
tools-1.8.0_181.jar.zip
2020-03-04
Java开发工程师笔试题(带答案).pdf
2020-02-22
万兴数据恢复MAC版本.zip
2020-02-07
复旦大学中文文本分类训练集和测试集.zip
2020-01-11
weibodatabase.sql.zip
2020-01-11
用于逻辑回归教学分析的数据.rar
2020-01-02
PDF文档转换工具(含安装使用教程).rar
2019-05-13
mongodb命令学习手册.pdf
2019-04-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人