自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 VSCode中搜索插件显示“提取扩展时出错。Failed to fetch”问题解决!

大致的问题如下,在VSCode的插件商店搜索插件时提示如下:导致的情况有以下几点:1、代理问题,如果是代理引起的,可以继续使用代理后也能搜索和安装插件。2、还有可能是你的所连接的网络设置了防火墙,比较典型的是校园网,可能学生遇到的可能性大。3、还有可能是你电脑的环境变量中有类似HTTP_PROXY或HTTPS_PROXY之类的变量,4、其它问题。

2025-03-21 20:18:45 832

原创 Hbase完全分布式安装教程,详细版

命令:ln -s /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml /opt/module/hbase-2.4.6/conf/core-site.xml。echo ---------- hbase 停止 ------------命令:scp -r /opt/module/hbase-2.4.6/ zq@hadoop102:/opt/module/echo ---------- hbase 启动 ------------

2025-03-01 15:12:46 1167

原创 Hbase伪分布安装教程,详细版

要配分布式的话第一个要改为true,我们现在是伪分布所以也要改为true,版本和我的一样的就找我这样做就行,版本和我的不同的,没有的配置就加上,不同的改了和我的一样即可。根据自己的安装软件的位置解压,/opt/module/是我的安装路径:tar -zxvf hbase-2.4.6-bin.tar.gz -C /opt/module/直接在文件的最后添加如下内容保存并退出,第一个改为自己的JDK安装路径,第二个改为自己的Hbase安装路径,第四个为true是使用Hbase自带的zookeeper。

2025-03-01 14:26:18 1036

原创 用IDEA基于Spark3.4.1和Scala2.12.18的Spark项目开发,并用Maven管理依赖的方法教程,并给出常用的IDEA版本与Maven版本兼容性的对照表

第一个为Maven的主目录,就是你解压的Maven安装包的路径,到bin文件夹的上一级路径,第二个是settings.xml文件的路径,刚才修改的那个文件的路径,第三个是本地仓库的路径,就是刚才创建的那个repository文件夹的路径。本次教程用到的Scala版本为2.12.18,版本,IDEA版本为2019.2.3版本(所以Maven版本最好选择3.6.1以下的版本,这里用的是3.5.4),Spark为3.4.1版本。点击浏览,根据自己的scala2.12.x版本的安装目录选择里面的lib目录点OK。

2025-01-24 00:21:41 1164

原创 教你看scala版本和spark版本是否兼容,以及需要下载的Maven包与JDK版本之间是否兼容,如何在pom.xml中写相关组件的配置等,用作IDEA中spark项目开发,并用Maven管理相关依赖

因此,确保Maven支持的JDK版本与你安装的JDK版本匹配是至关重要的,你不需要考虑Maven版本是否与你的Spark版本或Scala版本是否兼容。大数据专业的同学有没有在初次学习Spark大数据分析的时候,老是搞不清楚Scala版本与Spark的那个版本兼容,该分别使用哪一个版本呢?我们点击表中2.12的字样就可以跳转到如何写配置的界面,我们可以看到Spark3.4.1版本且用的是Scala2.12.x版本的Spark-core在pom.xml中应该如下写配置,其它组件的也是同样的查看方法。

2025-01-21 18:14:04 1395

原创 C语言图书管理系统,大学C语言与数据结构项目

这是一个我大一刚学C语言的时候自己写的一个图书管理系统的项目,其中的功能包括图书管理员的用户注册、用户登录、用户注销、修改用户名及密码、增删改查图书信息、借阅与归还系统、数据本地化等一系列功能,即使是你关闭系统然后下次再开启系统,里面的数据也不会丢失。如果再次入库,然后输入的ISBN码为刚才已经入库的01,则不能入库,这时可以通过输入3修改已有的图书信息,下面的图片中可以看到现需要输入插入的位置,如果一本图书都没有的话则不会提示。输入8会看到所有借阅的信息,如果没有归还的,归还日期那里默认为0。

2025-01-17 19:52:40 817

原创 解决hive数据仓库执行Map任务时,Map任务中的容器(container)超过了虚拟内存限制导致任务失败的问题

可以调整YARN的配置(也就是修改yarn-site.xml配置),增加每个容器的虚拟内存限制。具体可以通过设置yarn.nm.vmem-pmem-ratio参数来调整,它控制了虚拟内存和物理内存的比例。(默认的也为2.1倍)yarn.nm.vmem-pmem-ratio:这个参数定义了NodeManager(工作节点)上每个容器的虚拟内存与物理内存的比例。打开 yarn-site.xml 文件,找到或添加以下配置项:(先关闭自己的集群,根据自己的Hadoop安装位置进去,Hadoop集群的配置看。

2024-12-12 20:18:13 1735

原创 用IDEA开发基于Spark3.4.1和Scala2.12.18的Spark项目的sbt方式配置,超详细哦

注:本次我用到的Scala版本为Scala2.12.18版本,Spark版本为3.4.1版本,IDEA版本为IntelliJ IDEA 2019.2.3 x64版本(IDEA版本如果是其它的版本的话,可能有些许地方不一样,但都是同样的道理)),sbt版本用默认就行(IDEA版本和我一样的就像我一样即可),scala版本选择2.12.18版本,最后点击finally。找下面图中的内容输入变量名,点击浏览目录,到解压的目录的bin文件夹所在的同级路径下点击确定再确定。//创建SparkContext对象。

2024-12-10 20:53:38 2188

原创 教你用FFmpeg音视频命令行工具轻松转换视频格式,以及合并带m3u8文件的片段视频成一个完整的视频,不讲原理,直接上干货

其中0fc645dce8b4d0be334e8831db6c77d0_local.m3u8为m3u8文件,合并的时候只需要换这里就行,如下是我在某视频平台下载的带m3u8文件的ts格式视频片段的视频文件,可以看到我们下载下来的文件中有两个m3u8文件,我们需要的是名字带local的这个即可。在当前的地址栏输入cmd回车,然后输入合并命令,记得改命令中的m3u8文件名,可以看到合并完后在当前路径的最后会有我们合并的mp4格式的视频文件。进入后选择用户环境变量配置即可(要配置系统变量也行),然后点击编辑。

2024-12-09 20:20:49 744

原创 C语言动态哆啦A梦源码分享,无需编程基础,小白轻松运行,顺便解决Visual Studio 2022里c++的源文件.cpp文件里无法使用C语言scanf()函数的问题

右键此文件然后用记事本打开,将刚才的那条宏定义给复制进去保存即可,如果是无法保存或已经存在了无法修改,请在桌面或其他地方建同样的文件输入同样的内容,复制进去就行,原来存在的选择替换原文件。下载好了运行,点下一步,然后安装VC++2022版的就可以了,会检测你是否安装过,存在的就不用安装了,文档有需要的可以安装上,完成后直接关闭即可。下载好后运行,进来以后,如果是初次安装需要下载安装,我的是原来就有的所以会显示更新,如果原来就有的请点击修改按钮,选择配置下载并安装好。打开上面的网址,选择下载社区版。

2024-12-08 14:45:08 715

原创 kafka和zookeeper单节点及集群安装,超详细

说明:本集群用的是三台服务器组成,我的主节点为hadoop101,其它两个节点分别为hadoop102和hadoop103(注意直接用主机名需要配置IP映射关系,前面已经配置过的就不用管,没有配置的就用IP),伪分布(单节点用的是hadoop100),配置的时候需要修改的地方直接将我的主机名修改为自己对应的主机名(IP)就行(其中典型的就是脚本编写的时候需要修改)。echo ---------- zookeeper $i 启动 ------------至此单节点的zookeeper和kafka安装完成。

2024-12-07 13:31:44 2194

原创 Hadoop伪分布及集群配置,保姆级教程

-----------------------------------------------------至此模板机配置完成---------------------------------------------即时生效:对于当前已经登录的用户来说,修改/etc/profile.d/my_env.sh不会立即生效,而修改/etc/profile也不会立即生效,都需要新的登录会话才能看到更改。echo " --------------- 启动 historyserver ---------------"

2024-12-06 22:57:29 812

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除