- 博客(17)
- 收藏
- 关注
RSS订阅原创 selenium grid
单机版启动1.将selenium-server-standalone-3.9.0.jar和chromedriver放在同一文件夹下2.启动hubjava -jar selenium-server-standalone-3.9.0.jar -role hub3.启动nodejava -jar selenium-server-standalone-3.9.0.jar -role node -hub h...
2018-07-10 16:45:56
391
原创 Docker解决certificate signed by unknown authority
修改配置并添加vim /usr/lib/systemd/system/docker.service--insecure-registry 172.16.1.41:5000 \
2018-07-04 16:59:15
17182
原创 Hadoop学习笔记--ZooKeeper完全分布式环境下安装
1.下载ZooKeeper最新稳定版本wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz2.解压tar xzvf zookeeper-3.4.12.tar.gz3.创建data以及log目录（自己随意创建一个目录）mkdir /home/xqz/zookeeper-3.4...
2018-06-18 16:13:47
290
原创 Linux 权限修改
Linux权限构成drwxrwxr-x putd 表示put是一个目录第一组rwx 表示目录的创建者对其拥有：可读、可写、可执行 的权限第二组rwx 表示与目录的创建者同组用户对其拥有：可读、可写、可执行 的权限第三组r-x 表示其他用户对其拥有：可读、不可写、可执行 的权限显然，rwxrwxr-x可以用二进制表示，即111 111 101 ，相对应的10进制...
2018-06-13 12:41:07
1024
原创 Linux vi编辑模式
vim 文件名 //进入文件编辑模式在一般模式下：dd 删除当前行 5dd 删除当前行及下面行（共5行）yy 复制当前行 5yy 复制当前行及下面行（共5行）p 粘贴到当前行v 字符选择模式（y复制，p粘贴）ctrl+v 块选择模式（y复制，p粘贴）shift+v 行选择模式（y复制，p粘贴）i 插入模式：命令模式:wq 保存并退出:q...
2018-06-13 11:58:19
417
原创 Hadoop学习笔记--对输出文件进行压缩
Configuration conf=new Configuration();//map结果压缩 conf.setBoolean("mapred.compress.map.output", true);conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class); ...
2018-06-09 14:34:45
343
原创 Hadoop学习笔记--DistributedCache
mapreduce api的不同版本对于实现DistributedCache略有差异。1.DistributedCache.addCacheFile(new URI("文件在HDFS中的位置"), conf);这里需要注意：首先，conf指Configuration；其次，这句话必须写在Job job=new Job(conf,"作业名")之前！！2.Path[] files=Distribute...
2018-05-28 14:04:33
380
原创 Hadoop学习笔记--开发WordCount
1.准备待处理文件，并将其上传到HDFShadoop dfs -put book.txt2.Eclipse上创建项目直接Finish即可这里有一点需要注意，若你的项目jdk版本比虚拟机上Hadoop版本高，则运行会出错，修改项目jdk3.编写Mapper与Reducer这里需要说明一点，为了打包并部署是的便利，我们将所有class写在一个文件中，并且，若以内部类形式书写时，内部类必须加上publi...
2018-05-22 13:42:43
203
原创 Hadoop学习笔记--Windows中的Eclipse连接Linux下的Hadoop进行开发
1.首先确保linux虚拟机的hadoop安装配置正确，并能正常启动2.下载安装eclipse3.下载并解压http://files.cnblogs.com/alex-blog/hadoop-eclipse-plugin-1.2.1.zip (这里和我的hadoop版本一致，所以最好也下载一个和你hadoop版本一致的插件)4.将该插件的jar文件复制到eclipse安装目录下的plugin...
2018-05-19 13:21:41
394
原创 Hadoop学习笔记--namenode监测网站Browse the filesystem链接打不开
可能的原因有两点：1.datanode未正常启动解决：启动datanode在每个datanode服务器上运行指令：bin/hadoop-daemon.sh start datanode2.浏览器所处机器不能识别主机名解决：修改hosts文件，加入各个节点的ip及主机名hosts文件位置：C:\Windows\System32\drivers\etc...
2018-05-17 14:51:04
330
原创 Hadoop学习笔记--运行wordcount时输出文件问题总结
hadoop的设计就是为了批量处理大量数据，而不是随机定位到个别文件去独立修改。因此，hadoop设计时就默认文件不会被更改，所以也引出了本文的问题--mapreduce作业输出文件夹必须不存在！这也算是一种保护机制，防止之前的文件被篡改。后面学习MapReduce还会回头来加深这个问题。...
2018-05-17 13:43:14
2612
原创 Linux CentOS 6.5 使用自带jdk修改环境变量
首先声明，默认jdk指我们安装完CentOS后系统自带jdk，自己下载安装的jdk只需要下载，解压即可，之后步骤与此文一致1.查看我们默认jdk的位置指令：which java我们去看一下发现是一个超链接，继续追踪指令：ls -lrt 超链接继续追踪出现了jdk，我们过去看看我们找到了我们jdk的位置，即jre-1.7.0-openjdk.x86_64，记录下来2.修改环境变量指令：vim /et...
2018-05-14 15:27:31
1288
原创 Linux CentOS 6.5 下载 oracle jdk修改环境变量
1.下载http://www.oracle.com/technetwork/java/javase/downloads/上面找到你要的jdk版本，复制下链接指令：wget -c -P /usr/lib/jvm/ --no-check-certificate --no-cookie --header "Cookie: s_nr=1420682671945; s_cc=true; oraclelice...
2018-05-14 15:24:17
443
原创 Hadoop完全分布式环境搭建之安装配置Hadoop
在开始本文之前，请先确保所有的系统环境已配置完成，以及关闭linux防火墙：Linux Centos永久关闭防火墙Hadoop完全分布式环境搭建之生成ssh秘钥并配置并再重申一遍，我的架构：一节点作为namenode/jobtracker，另外两节点作为datanode/tasktracker 好了，开始！1.去官网的镜像网站下载稳定版本的Hadoop，输入http://m...
2018-05-14 12:33:43
264
原创 Linux Centos永久关闭防火墙
关闭防火墙：service iptables stop禁止防火墙开机启动：chkconfig iptables off重启：reboot
2018-05-14 12:08:32
1064
原创 Hadoop完全分布式环境搭建之生成ssh秘钥并配置
首先说明，我模拟hadoop集群，创建了三个节点，分别为master,slave1,slave2，他们在本文配置基本一样，请各位举一反三。还有，在做这步之前请在各节点中都安装好jdk（版本越高越好，当然，与你的hadoop版本协调）与openssh接下来我们依然做点准备工作1.给本机起名，便于访问，就是不要使用我们的ip了指令:vim /etc/hostname以slave2节点举例，在编辑时先按...
2018-05-13 18:40:42
3717
原创 VMware Workstation Pro创建Linux CentOS 6.5虚拟机以及无线网设置
1.创建虚拟机（这里文件名别像我，最好全英文）(虚拟机文件存放位置)(找到你下载的linux系统文件)点击完成后虚拟机创建完毕 2.安装系统(点击一下界面进入虚拟机，上下调整选项，我们选择默认第一条即可，按下回车)(skip跳过)(忽略所有数据)（设置root用户的登陆密码）（将...
2018-05-11 14:25:11
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人