- 博客(29)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 zookeeper集群的安装
1.安装hadoop的HA之前必须先安装上zookeeper 我的node01-----node05全部安装了。将zookeeper的文件上传，tar -zxvf zookeeper-3.4.6.tar.gz配置zookeeper的环境变量：vim /etc/profile export ZOOKEEPER_HOME=/data/zookeper/zookeepe...
2019-09-11 10:15:02
146
原创 yum安装mysql
1.因为hive的元数据市存储在mysql中的所以需要先来安装mysql先下载mysql的服务 yum install mysql-server安装失败报错：因为需要先挂载，挂载之后安装成功。安装号服务端之后利用mysql进入报错：[root@node01 ~]# mysqlERROR 2002 (HY000): Can't connect to local ...
2019-09-10 16:41:19
232
原创 hadoop的HA安装
下载安装的hadoop安装包地址：https://archive.apache.org/dist/hadoop/common/1.将下载的安装包解压;tar -zxvf hadoop-2.7.5.tar.gz2.修改环境变量 vi /etc/profileexport HADOOP_HOME=/data/hadoop/hadoop-2.7.5export PATH=$PA...
2019-09-04 14:59:22
291
原创 linux的zookeeper安装遇到的问题
1.我的安装好后启动不起来，查看日志显示：2019-09-04 18:18:26,064 [myid:1] - WARN [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@382] - Cannot open channel to 3 at election address node03/192.168.17.103:388...
2019-09-04 11:10:03
804
原创 hadoop安装前准备环境
1.hadoop3.0新特性1）classpath isolation ----防止不同jar包冲突2）shell重写 3）支持hdfs中的擦出编码erasure encoding 恢复数据，节省50%的存储空间，可以承受更多的故障4）datanode 内部添加了负载均衡 disk balance 5） MR存储参数自动推断6）端口的变化：...
2019-09-02 15:06:48
235
原创 yum安装配置
1.df -h 查看挂载情况 切换dvd：2. 挂载-----》 mount /dev/cdrom /mnt3. packages 中所有的包数量查看 ls ./ | wc ：4. 将需要用到的包拷贝到 /root/ 的目录下5.记录依赖文件：6.yum会下载进来依赖关系 （供rpm库） 从阿里云下载，从阿里巴巴镜像下载...
2019-09-02 11:32:37
1007
原创 jps命令-bash: jps: command not found
我是在安装好jdk后使用jps查看进程时候报错问题是因为没有配置jdk的环境变量，报错了，因为没有配置环境变量，进行环境变量配置vi /etc/profile 添加环境变量如下图：source /etc/profile 保存修改生效...
2019-08-23 10:30:30
2982
原创 rpm安装jdk
1.使用rpm软件包 针对不同平台系统的软件包-ivh 安装 -qa 查询安装：rpm -ivh jdk-7u67-linux-x64.rpm[root@node01 ~]# jps-bash: jps: command not found报错了，因为没有配置环境变量，进行环境变量配置vi /etc/profile 添加环境变量如下图：sour...
2019-08-23 10:26:19
662
原创 linux下安装tengine
模块化，每一个系统多个功能解耦，需要的模块安装，模块越多，功能越多。1.上传需要编译的软件包将tar包解压成tengine文件夹./configure报错：需要先下载gcc yum install gcc需要下载 prceyum install pcre-devel安装yum install openssl-devel./con...
2019-08-22 17:27:11
983
原创 虚拟机网络配置
1.网络配置ip地址选择3-255 因为其他的已经被占用修改完之后保存，退出，将之前绑定地址的文件删除删完之后将虚拟机关掉关闭之后开启，输入ifconfig，查看网络已经连接成功。克隆之后，修改修改机器为node02...
2019-08-22 16:12:49
304
原创 centos虚拟机安装
1.一致下一步安装打开之后的页面，点击常见虚拟机：2.选择自定义安装------》下一步（便于下一步做一些详细的配置，以及磁盘的分区）3.点击下一步安装4.选择稍后安装，下一步：5.操作系统选择linux，版本选择centos64， 因为这个版本用的人比较多6.虚拟机名称会在vmware显示，位置要自己新建一个目录，node01文件夹也需要手动自己创建一个空...
2019-08-22 15:05:57
130
原创 win64下python安装PIL出错
错误： 错误提示是： Could not find a version that satisfies the requirement PIL (from versions: ) No matching distribution found for PIL1.首先，我安转了python跟pip 2.解决方法：找一个非官方的64位大家通用的PIL安装 （1）打开网址 http://www.lf
2017-06-20 16:15:32
4475
原创 Windows下安装pip
以WIN7系统为例介绍下方法： 1.在安装pip前，请确认win系统中已经安装好了python，和easy_install工具，如果系统安装成功，easy_install在目录C:\Python27\Scripts 下面，确认截图如下： 2.进入命令行，然后把目录切换到python的安装目录下的Script文件夹下，运行 easy_inatall pip。 3.pip安装成功后，在cmd下
2017-06-20 14:26:49
336
原创 flume遇见的一些问题
我想要做的是需要将本地文件夹目录下的文件传输到hdfs上， 1.首先，安装flume工具 2.配置flume的配置文件 flume]# ls bin conf docs etc lib tools 在conf的目录下创建一个配置文件fk flume]# cd conf/ [root@hdp-gp-dk01 conf]# ls agent flume.conf
2017-03-27 16:29:51
4695
原创 flume启动shell
1.读取kafka的数据，KafkaSource fk.conf的配置如下：# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourc
2017-03-17 17:06:15
928
原创 eclipse安装python插件
1.启动Eclipse, 点击Help->Install New Software… 在弹出的对话框中，点Add 按钮。 Name中填:Pydev, Location中填http://pydev.org/updates 然后一步一步装下去。 2.配置pydev解释器，安装好pydev后， 需要配置Python解释器。 在Eclipse菜单栏中，点击Windows ->Prefer
2017-02-23 11:05:45
406
原创 python安装
1.百度python进入python的官网https://www.python.org/downloads/windows/ 2.在官网中点击Downloads标签，可以下载python2和python3两个版本。 3.下载安装包后，双击安装包，开始安装4.在安装界面中，根据需要一步步next即可。安装完后，点击windows键，在程序中找到python的IDE，验证下是否安装成功。 5.
2017-02-23 10:12:04
377
原创 读取hdfs上的文件
上传文件在hdfs上，访问namenode节点：ip:50070 读取hdfs的java代码如下： public void ReadFile(String hdfs) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(UR
2017-02-22 14:07:16
4313
原创 mysql的数据导入到redis中
1.先建立连接，连接上mysql跟redis 2.读取mysql中的数据表 3，将读取的数据set到redis中 代码片段：` //连接本地的Redis服务 Jedis jedis = new Jedis(“redis的ip”, 6379); System.out.println(“连接成功！”); //密码验证 jedis.au
2017-02-22 11:09:10
814
1
原创 linux上部署web项目解压不成功
今天我将自己的项目war包放在了linux的环境下war包一直跑不起来，但是在测试环境下却没有问题，解决了一下午才发现是磁盘满了，晕~~~ 磁盘空间： 项目部署目录： webocketServer执行成功时才会出来将tomcat的日志删除后就没有问题了
2017-02-09 18:03:13
455
原创 彻底删除Kafka中的topic
你若想真正删除它，可以如下操作： （1）登录zookeeper客户端：命令：./bin/zookeeper-client（2）找到topic所在的目录：ls /brokers/topics（3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除 1.[root@i-3rxom299 2.4.0.0-169]# cd
2017-01-03 14:06:55
1858
原创 Scala eclipse 错误 -找不到或无法加载主类
scala的项目有错误，运行时，显示找不到无法加载主类 eclipse的代码没有错误，原因是，java跟scala的类写在了同项目下 混合java 和scala 不编译的问题 我的做法是： 右键项目-properties-scala Compiler -Build manager ： set the compile order to JavaThenScala instead of Mi
2016-12-28 15:45:45
8746
原创 程序员常用 英语单词
1.Last Relrase 最后发布的版本 2.cyclic data flow and in-memory computing 循环数据流跟内 存计算
2016-11-21 10:30:30
838
原创 sparkR
SparkR主要由两部分组成：SparkR包和JVM后端。SparkR包是一个R扩展包，安装到R中之后，在R的运行时环境里提供了RDD和DataFrame API。SparkR的安装：1. SparkR的代码下载从网页下载代码SparkR-pkg-master.zip https://github.com/amplab-extras/SparkR-pkg 2.SparkR的代码编译1） 解
2016-11-21 10:19:02
496
原创 r安装
1.先安装JDK，我使用的是jdk1.7 2.下载r包https://cran.r-project.org/src/base/R-3/ 3.解压： tar -zxvf R-3.1.1.tar.gz cd R-3.1.1 4.安装 (当然也可以跳过) yum install readline-devel yum install libXt-devel ./configure 5.
2016-11-17 16:03:57
799
原创 RHadoop（一）
Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处理大数据1G, 10G, 100G, TB, PB。 由于大数据所带来的单机性能问题，可能会一去不复返了。最近的一本新书Big Data Analytics with R and Hadoop是关于R和Hadoop实践的第一本图
2016-11-16 10:23:59
2098
原创 模拟客户端将数据flume存储在hdfs上
1.首先，需要在机器上安装flume工具 2.安装flume： 在文件夹 cd /usr/hdp/2.4.0.0-169/下创建flume文件目录 tar zxvf apache-flume-1.6.0-bin.tar.gz mv apache-flume-1.6.0-bin flume 进入到flume文件的conf文件夹下边cd conf 3.在con
2016-11-15 17:58:47
534
原创 百度地图API计算俩点距离
百度地图提供了获取经度跟维度的方法： new BMap.Point(poi.point.lng, poi.point.lat) 1，首先得引入百度地图的js文件 2.这样就可以调用其中的方法了，接着在Map容器内创建地图的实例 Map(container:String|HTMLElement[, opts:MapOptions]) 3.根据位置转化为经度，纬度，然后根据起始到终
2016-04-28 17:25:56
22616
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人