- 博客(45)
- 收藏
- 关注
RSS订阅原创 sqoop将hive中的数据导入MySQL不能正常显示中文——已解决
输入sqoop执行语句sqoop export -connect "jdbc:mysql://HadoopMaster:3306/hive_to_mysql?useUnicode=true&characterEncoding=UTF-8" -username sqoop03 -password 123456 -table hive_resoult1 --fields-terminated-by ',' --export-dir /user/hive_mysql/resoult/resoult1/执行
2023-05-11 16:21:21
1111
原创 linux运行.c文件出现警告：隐式声明与内建函数‘exit’不兼容
在linux中运行.c 文件的时候提示 警告：隐式声明与内建函数‘exit’不兼容。原因：这是因为没有把stdlib包引入，引入之后就可以了。
2023-04-18 11:53:24
1721
原创 Python数据类型详细介绍
一、数字（Number）1. int （整型，长整型）2. float (浮点型）3. complex（复数）二、布尔（Boolean）三、字符串类型（String）四、列表1. 创建列表2. 列表的索引3. 列表的切片4. 列表加法和乘法5.列表的修改6. 列表的删除7. 列表追加、插入和扩展8. 列表元素查找9. 列表相关的相关内置函数10.多维列表五、元组1. 元组相关概述2. 元组修改3. 元组删除
2023-03-27 20:04:01
15593
原创 ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
看见了一个问答说的是在hbase的配置文件hbase-site.xml 增加一些配置就解决了，我跟着做了，终于解决了具体方法如下：1. 停止hbase集群2. 在配置文件hbase-site.xml 文件中增加如下配置3. 从启hbase集群我用的就是第二种方法解决的。
2023-03-03 19:12:50
6382
8
原创 Hadoop集群启动从节点没有DataNode
之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
2023-03-03 18:00:01
8509
4
原创 HBase集群部署
HBase要和hadoop的版本对应下载，否则做深层次任务会出问题。一、前期准备二、HBase下载1. 查看HBase与hadoop版本对应关系2. hbase的下载3. 将hbase的tar包上传到linux 下二、安装hbase1. 解压2. HBase的文件配置中还写的有一些内容，如果有的话删除即可，没有的话直接把该内容黏贴在
2023-03-02 17:26:41
1876
1
原创 Python变量的定义和使用
定义：变量就是计算机内存中存储某些数据的位置的名称形象理解变量就是一个存放东西的容器，该容器的名字就叫做变量，容器存放的东西就是变量的值变量的组成：标识：标识对象所储存的内存地址，使用内置函数id(obj)来获取类型：表示的是对象的数据类型，使用内置函数type(obj)来获取值： 表示对象所存储的具体数据，使用print(obj)可以将值进行打印输出Python中在定义变量之前要先给变量赋值name = '小明'其中name就是变量名，=是赋值符号 小明是变量的
2023-02-25 09:25:13
1553
原创 运行Python文件报错：AttributeError: partially initialized module ‘keyword‘ has no attribute ‘kwlist‘
在运行python文件时报错，提示AttributeError: partially initialized module 'keyword' has no attribute 'kwlist' (most likely due to a circular import)
2023-02-21 22:19:11
2001
1
原创 linux系统目录结构
在 Linux 或 Unix 操作系统中，所有的文件和目录都被组织成以一个根节点开始的倒置的树状结构。文件系统的最顶层是由根目录开始的，系统使用/来表示根目录。在根目录之下的既可以是目录，也可以是文件，而每一个目录中又可以包含子目录文件。如此反复就可以构成一个庞大的文件系统。在Linux文件系统中有两个特殊的目录，一个用户所在的工作目录，也叫当前目录，可以使用一个点.来表示；另一个是当前目录的上一级目录，也叫父目录，可以使用两个点..来表示。. ：代表当前的目录，也可以使用 ./
2023-01-18 16:05:53
1084
原创 linux 解压命令------超详细
这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。 -c： 建立压缩档案 -x：解压 -t：查看内容 -r：向压缩归档文件末尾追加文件 -u：更新原压缩包中的文件下面的参数是根据需要在压缩或解压档案时可选的。 -z：有gzip属性的 -j：有bz2属性的 -Z：有compress属性的 -v：显示所有过程 -O：将文件解开到标准输出 下面的参数-f是必须的 -f： 使用档案名字
2023-01-17 22:58:01
5231
原创 sqoop安装（linux)
将mysql-connector-java.jar上传到sqoop的lib目录下（mysql-connector-java.jar在文章前边有下载链接）#将sqoop-env-template.sh复制一份并命名为sqoop-env.sh。这里的/home/mysql5.7是安装mysql的路径，把它对应改成自己的安装路径即可。#解压sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz。#测试sqoop与MySQL之间的连接是否成功。#编辑sqoop-env.sh。
2023-01-17 13:40:36
1489
原创 CentOS7安装教程----图文详解
选择新CD/DVD (IDE) ---->使用ISO映像文件（选择CentOS 7 镜像存放的位置）---->关闭。选择自动配置分区（也可选择我要配置分区，此处喜欢则自动配置分区）---->完成。选择linux（L）---->CentOS 7 64位---->下一步。创建新的虚拟机--->选择自定义（高级）（C）--->下一步。设置日期和时间与当前时间一直（城市选择上海）---->完成。选择GNOM桌面---->开发工具---->完成。虚拟机名称----->位置---->下一步。
2023-01-15 17:02:48
2408
1
原创 虚拟机CentOS6.5安装教程-----图文详解
23.点击设置密码，点击下一步。10.点击CD/DVD(IDE) 选择使用ISO映像文件 点击浏览选择CentOS6.5所下载保存的路径 点击确认。8. 点击内存 右侧修改此虚拟机内存（一般为下设置成2048比较合适）点击确认。21.点击主机名，可以自己创建一个主机名，也可以不修改，视为默认 点击下一步。36.自己创建一个用户名，全名可不写，设置密码（密码要记住，加下来会用）9. 点击处理器--->选择处理器数量 ,(这里我设置成2)点击确认。25.创建设置分区：点击创建(c)———>创建（r）
2022-12-31 18:15:41
5720
6
原创 SCALA语法（二）----数据类型及变量
scala的这些数据类型都是“类”，并且都是包scala的成员，比如Int的全名是scala.Int。Unint类型相当于Java中的void类型，表示无值。用作不返回任何结果的方法的结果类型。Nothing类型在Scala的类层级的最底端；它是任何其他类型的子类型。例：定义一个字符串myString,给其赋初值hello world。(1) 用concat() 方法来连接string1和string2。(2) 用”+“连接string1和string2。例：定义一个字符myChar,给其赋初值a。
2022-12-23 13:57:56
409
原创 hadoop伪分布模式搭建(详细步骤）
一、前期准备1. 关闭防火墙2. 安装好JDK3. 准备hadoop安装包二、安装hadoop伪分布模式1. 在home/hadoop/software/路径下创建hadooptmp目录2. 解压hadoop-3.3.0.tar.gz3. 进入hadoop-3.3.0/etc/hadoop4. 编辑hadoop运行是的环境5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径6. 配置DataNode的数据块冗余度
2022-12-22 20:10:34
14169
6
原创 SCALA语法（一）-----基础语法
Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。理解下，类，对象，方法，实例变量的概念：对象 - 对象有属性和行为。例如：一只狗的状属性有：颜色，名字，行为有：叫、跑、吃等。对象是一个类的实例。类 - 类是对象的抽象，而对象是类的具体实例。方法 - 方法描述的基本的行为，一个类可以包含多个方法。字段 - 每个对象都有它唯一的实例变量集合，即字段。对象的属性通过给字段
2022-12-18 12:58:19
296
原创 hive运行报错Error during job, obtaining debugging information..FAILED: Execution Error, return code 2
Errorduringjob,obtainingdebugginginformation..FAILED:ExecutionError,returncode2fromorg.apache,hadoop.hive.ql.exec.mr.MapRedTaskMapReduceJobsLaunched:Stage-Stage-l:HDFSRead:0HDFSWrite:0FAILTotalMapReduceCPUTimeSpent:0m
2022-11-14 23:57:02
3879
原创 hive实现单词统计
一、前期准备二、操作步骤1.在hive下创建一个数据库编辑2. 在wordcount库下创建一个表3. 在虚拟机上创建一个文件4. 将在linux上创建的data文件，上传到新建的hive的worltest表中5. 进入hive, 查询表wordtest信息6. 新建一个wordtest1表，只有一列值，用来储存wordtest表数据中的内容7. 将表wordtest中的数据存放进新建的表wordtest1中编辑8. 查询wordtest1表中的信息9.
2022-11-14 23:52:52
1907
原创 IDEA创建Servlet环境搭建及测试程序------图文详解
一、新建一个普通的java项目二 、给项目添加framwork支持三、数据导入四、将导入的开发包添加到依赖环境中五、配置项目的环境六、添加tomcat的支持七、测试
2022-11-12 14:46:12
3177
2
原创 解决yum安装netcat出现Loaded plugins: fastestmirror, refresh-packagekit, http://mirror.centos.org/centos问题
解决# yum install -y ncLoaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cached hostfilehttp://mirror.centos.org/centos/6/extras/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - "The requested URL retu
2022-11-09 17:26:35
2869
3
原创 windows上安装tomcat——图文详解
tomcat有安装版本和免安装版本（下载之后直接解压就可以用），这里选择下载安装版本的，选择下图2位置点击下载。注：tomcat需要java的运行环境支持，安装tomcat之前需要先安装好jdk。（2）进入之后左下方有下载的版本，根据自己需求，这里建议下载第9版本的。
2022-11-07 22:37:50
17126
2
原创 kafkak集群的安装部署
1. 三台主机都需要安装好jdk2. 三台主机都要配置好zookeeper3. 准备好kafka压缩包二、kafka集群的安装1. 上传压缩包2. 解压3. 创建消息目录4.修改server.properties文件5. 分发 kafka安装目录6. 修改HadoopSlave01,HadoopSlave02下的kafka配置文件server.properties7. 配置环境变量7. 启动kafka集群
2022-11-06 21:35:58
3959
1
原创 hive安装 ———附下载链接、安装过程中所遇问题及解决办法（linux）
一、前期准备1. hive 及相关配置文件下载1. hadoop集群2. 安装mysql二、安装hive1. 解压并安装 Hive 使用下面的命令，解压 Hive 安装包：2.配置 MySQL3.配置 Hive5.启动 Hive6. 配置hive下的mysql数据库7.验证 Hive 安装是否成功三、遇到问题及解决在启动hive时出现如下问题：原因：解决过程：
2022-11-02 18:56:18
3031
2
原创 linux上安装MySQL
linux上原有mysql卸载，安装mysql过程及遇到的问题和解决方法一、前期准备二、安装MySQL三、遇到的问题
2022-11-01 15:06:23
9498
原创 linux上“无法分配内存”或“进程被杀死”问题
“无法分配内存”或“进程被杀死”问题是因为内存分配不足引起的。创建一个分区文问题就可以解决了。
2022-10-31 16:50:08
4451
原创 R语言多元线性回归模型分析 习题
一、 要了解学校毕业生起始工资的变化是否能用学生的平均成绩点数（GPA）和毕业生的年年来解释。下表为某学校办公室提供的样本数据。二、研究货运总量（万吨）与工业总产值x1（亿元）,农业总产值x2（亿元），工业总产值x3（亿元）的关系。有关数据见表：
2022-10-17 18:00:43
4797
原创 Spark Standalone 伪分布模式安装
伪分布模式是基于Standalone模式来实现的，所以也叫Standalone伪分布模式。Spark在生产环节中，主要部署在安装linux系统的集群中。在linux系统中安装Spark需要先安装JDK，Scala等所需的依赖。
2022-10-11 22:51:28
1163
原创 Spark Standalone 全分布模式安装过程中常见问题
1.启动了spark分布之后没有master，worker进程2. 启动spark集群的时候提示“main” java.lang.UnsupportedClassVersionError:org/apache/spark/launcher/Main:Unsupported major.mior version 52.03. 访问sparkUI界面时出现无法访问此网站，ip拒绝了连接请求4. 启动saprk-shell 的时候提示无法分配内存或spark-shel：44:6983 以杀死
2022-10-11 15:42:09
1535
原创 Spark Standalone 全分布模式安装及问题配置过程中常见问题
Spark Standalone 劝分不模式：既真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（一个master和两个worker），需要三台主机，slave，slave1，slave2（slave是master节点，slave1，slave2是worker节点）。一、前期准备二、安装scala三、安装spark四、问题总结
2022-10-11 15:26:42
1535
原创 flume的安装（linux）
linux上安装flume，linux上安装flume有两步，在安装flume之前需要先安装好jdk。下载好flume压缩包和jdk的压缩包之后，将其上传到linux上。JDK 安装好之后我们就可以开始安装flume了。flume的安装步骤同JDK步骤类似，只要JDK安装好，flume安装就很容易了。
2022-10-09 15:14:19
2280
原创 hadoop分布式集群配置（linux）
linux下如何安装hadoop分布式集群。安装hadoop分布式集群要先安装jdk，之后再进行配置文件。本篇文章详细的解释了安装的全部过程。
2022-09-24 23:24:12
1381
1
原创 linux下两台或多台主机之间免密登录
在配置免密登录时要先配置好主机的ip，配置好ip之后开始以下步骤。开始配置免密登录，这里以主机1免密登录主机2为例。
2022-09-21 17:27:48
7682
3
原创 linuxc创建用户时提示此目录已存在
在创新一个用户时，如果这个用户的名字之前也创建过同样的名字的用户，之后又删除了用户，如果删除用户的时候，没有删除干净，在从新创建的时候则会出现useradd：警告：此主目录已经存在。不从 skel 目录里向其中复制任何文件。正在创建信箱文件: 文件已存在本篇文章详细的介绍了如何解决这个问题
2022-09-19 21:04:24
5709
原创 HDFS的组成及其功能
client（客户端）：文件切分、与NameNode交互、获取文件的位置信息；与DataNode交互，读取或写入文件；（Master）：管理整个文件的元数据（命名空间信息，块信息）；（辅助工作者）：辅助NameNode；执行fsimage和edits的定期合作，并推送给NameNode。（Slave）：存储文件；执行数据块的读写操作。
2022-09-14 16:12:00
5722
原创 linux上安装scala教程
cala 是 Scalable Language 的简写，是一门多范式的编程语言，Scala 语言可以运行在Window、Linux、Unix、 Mac OS X等系统上。安装scala之前，需要在linux上安装jdk，如果没有安装jdk，可以参考这篇文章linux环境下安装JDK教程安装scala的过程比安装jdk要简单，过程也和安装jdk类似。现在就来开始安装scala。
2022-09-13 16:59:54
5594
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人