- 博客(27)
- 收藏
- 关注
RSS订阅
原创 spark streaming程序WordCount运行过程
一、主要过程： 首先安装好spark，启动spark服务；启动nc服务，nc端也将一直处于等待状态；在启动程序，启动后程序一直处于运行状态，运行的间隔时间可以在程序中设置；然后在nc端输入数据，在程序运行段，进行结果的显示。二、具体过程：1.启动spark： [root@hadoop11 sbin]# ./start-all.sh 2.查看master和w...
2018-11-07 21:44:11
1988
1
原创 linux RPM方式安装mysql
下载网址：http://mirrors.sohu.com/mysql/MySQL-5.6/1、 检查以前是否装过MYSQL 输入命令：rpm -qa|grep -i mysql2、 发现有的话就都卸载 输入命令：rpm -e --nodeps 数据库名称（mysql-libs-5.1.73-5.el6_6.x86_64这是我的mysql名称）3、 删除老版本 ...
2018-11-07 12:37:01
797
1
原创 kafka与flume的整合实例
一、整体步骤：1.首先安装kafka，配置flume。创建kafka的topic（利用zookeeper进行管理，所以首先要安装zookeeper）2.将文件放置在flume的source目录下，启动flume。将文件读取到指定的kafka的topic中。3.启动的kafka的consumer端。 二、具体整合过程：1.前提kafka和flume已经安装好，我们主要讲解整合...
2018-11-07 12:11:35
1694
2
原创 CentOS6.7中安装mysql5.7.23（rpm方式）（远程连接，注意关闭防火墙：chkconfig iptables off）
1、 查以前是否装过Mysql（以前装过，注意将之前的文件删除，见文件最后列表） rpm -qa|grep -i mysql2、 发现有的话就都卸载 rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_643、 删除老版本 mysql 的开发头文件和库 rm -rf /usr/lib/mysql rm -rf /...
2018-09-28 17:58:45
933
原创 Eclipse中python的MySQLdb模块的安装
1。下载相应的python—mysql包。网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python本人是2.7版本：MySQL_python‑1.2.5‑cp27‑none‑win_amd64.whl2.在python的D:\soft\python2.7.13\Lib\site-packages目录下输入cmd，进入操作界面，使...
2018-09-05 11:22:14
610
原创 cloudera中启动spark-shell，进行ALS推荐算法的使用时，用到的jblas的导入方法
我们在使用spark的ALS的推荐算法时，需要用到jblas包，这时如果我们直接利用： import org.jblas.DoubleMatrix会提示我们jblas包不存在的问题。 一般我们直接将下载的jblas包，放在spark的lib目录下，启动完成。 但是，cloudera中启动spark-shell，导入jblas包的时候，提示不存在，直接放在lib目录下，导入还是...
2018-06-27 10:47:44
614
原创 在Centos6.7中建立Python爬虫的虚拟环境，安装virtualenv和virtualenvwrapper.sh
说明：本人的里linux的系统为Centos6.7，里面默认的python版本为python2.6.6，直接输入命令：python，就可以看到。但是python2我想使用2.7.13，python3相使用3.5.3版本。如果我们直接将内置的python2.6.6版本改掉，就出现一个问题，就是系统中的yum命令就不能用，这是很不方便的。于是我们独立的安装python2.7.13和3.5.3.然后使用...
2018-06-25 18:48:31
674
原创 hive on spark 出现的FAILED: IllegalArgumentException java.net.URISyntaxException问题
今天在整合hive on spark的时候，出现一个小的问题，进行命令：show databases或者show tables时出现如下问题，FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: file:./$/root/hive/tmp/root/ed57815b...
2018-06-07 16:24:01
2966
1
原创 hive-1.2.1与hadoop-2.7.3安装出现的二个问题解决
第一个问题：安装mysql后，进行了权限语句的执行：mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;然后进行：mysql> FLUSH PRIVILEGES;但是启动hive时出现：Unable to instantiate org.apache.hadoop...
2018-06-02 23:22:38
384
转载 启动mysql出错Starting MySQL. ERROR! The server quit without updating PID file (/var/lib/mysql/spark01.pi
参考文件的链接地址：http://icesquare.com/wordpress/mysql-starting-mysql-error-the-server-quit-without-updating-pid-file/
2018-02-05 20:23:09
1490
原创 多次进行hdfs namenode -format命令时，启动DataNode自动死亡的原因
1.安装环境，三个节点，在配置的时候不小心忘记配置slaves节点，导致，进行2次 namenode -format2.进行start-dfs.sh命令时，发现主节点可以启动，但是其他两个从节点，启动以后，立刻死亡，yarn是可以正常启动的，所以定位，问题应该是出在hdfs的格式化问题上3.原因是我们每次格式化的时候，会产生这个文件夹/tmp/hadoop-hadoop/4.我们可以将
2018-02-05 15:18:37
2457
原创 关于在linux上安装mysql的问题
1、首先在root用户条件下，进行安装mysql，一些运行正常2、但我在查看状态的时候，却出错了，显示 [root@spark01 ~]# service mysql start Starting MySQL SUCCESS! [root@spark01 ~]# service mysql status ERROR! Multiple MySQL running bu
2018-02-04 16:59:41
172
原创 linux利用CRT实现多节点免密登录的重要两个步骤
在CRT中，打开send chat to all session的对话框1.使用命令，生成公共密匙：：ssh-keygen2.使用命令，将生成的密匙拷贝到其他结点中，实现不同节点的ssh免密登录：：ssh-copy-id spark01：ssh-copy-id spark02：ssh-copy-id spark033.这样就快速实现了三个节点之间
2018-01-28 23:46:23
575
原创 window7系统使用CRT链接不上的问题
在配置linux系统的时候，主机名，IP地址，主机映射都已经做好，并且也可以ping通网站，系统配置都已经准备好，在windows的C:\Windows\System32\drivers\etc\hosts文件上进行主机映射配置，打开CRT软件，进行链接的时候发现还是链接不上。找了半天问题，结果发现在windows的hosts文件上有格式问题。IP映射前不能顶格写，要空两格！！！！
2018-01-28 18:14:59
918
原创 hive学习之hive的常用使用方式
hiv常用的两种启动方式：一、直接在hive的bin目录中输入：./hive 或者配置了环境变量的话直接输入命令：hive 启动成功后后会出现：hive> 表示启动成功！二、使用beeline启动 首先在hive的conf目录执行：beeline 然后输入：beeline>!connectt jdbc:hive2://hadoop0
2017-12-03 21:38:45
291
转载 在linux中使用rz，sz进行文件的上传和下载，用来代替SRT的sftp功能
具体的操作步骤详见：https://jingyan.baidu.com/article/1709ad8096e7934634c4f020.html1.需要上传或者下载，需要使用rz和sz命令。如果linux上没有这两个命令工具，则需要先安装。可以使用yum安装。 运行命令：yum install lrzsz。2.安装完成后就可以使用rz命令上传本地的文件到linux平台。运行rz命令...
2017-11-30 23:16:14
430
原创 关于windows右键反应速度变慢的问题
1、快捷键win+R -> 输入regedit,点击确定。调出注册表编辑器2、在注册表中展开第一项HKEY_CLASSES_ROOT -> 找到Directory。3、展开Directory -> 在其子目录中依次展开Background -> shellex ->ContextMenuHandlers4、在ContextMenuHandlers项目下，保留New和Sharin
2017-11-13 21:17:20
978
转载 The server time zone value ‘�й���ʱ��‘ is unrecognized or represents more than one time zone.
在spring和mybatis的启动过程中，数据库启动出现异常
2020-07-08 10:58:02
610
原创 Linux命令与shell脚本学习之字符串比较
1.字符串比较的测试。和数字相反，数字使用eq等进行比较，字符串使用的是运算符进行比较。 = 等于 > 大于 < 下雨 != 不等于 -n 字符是否非0，不为0成立 -z 字符是否为0，长度0成立 2.如何进行比较，比较的是什么。1）等于（=）：两个字符相等则成立，比较简单（注意这里是区分大小写，“=”两边留...
2020-04-21 12:12:01
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人