
老文章
ZFH__ZJ
JAVA大数据菜鸟一枚,QQ群:970045528,欢迎加入交流学习
展开
-
MySQL基础(一)Ubuntu下安装和配置mysql
检测是否已经安装mysql在命令行下输入: sudo service mysql start 出现如下语句,则没有安装mysql Ubuntu下安装mysql两个命令 sudo apt-get install mysql-server 需要输入root用户的账号和密码 sudo apt-get install mysql-client 使用该命令看是否安装成功,sudo netstat原创 2017-12-11 13:13:43 · 1453 阅读 · 0 评论 -
Linux(二)、vim简单使用
三种模式插入模式插入模式 按ESC进入命令模式 命令模式命令模式 按i进入插入模式 按:进入最后行模式 dd 删除光标所在行(剪切) 3dd 删除光标所在行的连续3行 p 粘贴到光标下一行 yy 复制光标所在行 3yy 复制光标所在行的连续3行 G 光标快速定位到最后一行 gg 光标快速定位到第一行 u 撤销上一步操作 /nfs 查找 n 向下跳转 ...原创 2018-04-09 22:35:50 · 1248 阅读 · 0 评论 -
Linux(三)、用户和用户组
用户和用户组用户UID 0标识root用户 普通用户UID通常从500开始 用户名和UID信息通常存储在/etc/passwd文件中,格式为用户名:x:UID:GID(groupId) 创建一个用户以后,系统默认会创建一个与用户名同名的用户组 使用id root 或者id usse01可以查看用户信息 用户组/etc/group 保存系统用户组的信息 用户指派给...原创 2018-04-10 11:17:20 · 1333 阅读 · 0 评论 -
Linux(四)、目录和文件权限
目录和文件的权限查看权限ll drwx—— 第一位 d文件夹 f文件 第二三四位 是第一组, 文件拥有者权限位 第五六七位 是第二组,文件拥有组权限位 第八九十位 是第三组,其他所有人权限位 权限意义表示字符 权限名称 对文件的含义 对目录的含义 r(4) 读 读取文件内容 检查目录内容 w(2) 写 修...原创 2018-04-10 11:18:17 · 1274 阅读 · 0 评论 -
Linux(五)、解压与压缩
tar.gz压缩:tar -zcvf 压缩后的包名.tar.gz 压缩的目标 解压:tar -zxvf 压缩后的包名.tar.gz [-C 目录目标] -z 压缩成gz的后缀 -c 创建压缩包 -x 解压 -v 显示过程 -f 解压缩包 -t 查看 tar.bz2压缩:tar -jcvf 压缩后的包名.tar.bz2 压缩的目标 解压:tar -jxvf 压缩后...原创 2018-04-10 11:40:20 · 1310 阅读 · 0 评论 -
Linux(六)、磁盘管理
磁盘管理Linux系统默认所有设备文件都在/dev下面 /dev/sda –硬盘1 sda1第一个分区 sda2第二个分区 sda3第三个分区 /dev/sdb –硬盘2 /dev/sdc –硬盘3 主分区与扩展分区主分区 + 扩展分区 <= 4 3+1 扩展分区必须分逻辑分区才能使用 blocklinux操作系统管理文件的最小逻辑单位,大小1K,2...原创 2018-04-10 13:17:00 · 1270 阅读 · 0 评论 -
Linux(七)、软件管理
软件包管理(安装)rpm包,使用rpm命令管理 安装 rpm -ivh 包名 -i安装 vh显示进度 卸载 rpm -e 包名 查看 rpm -qa -q查询 查询所有已安装的压缩包 查看文件属于哪个rpm包 rpm -qf 绝对路径 yum用来管理rpm包 yum list 列出所有可用(已安装)的rpm包,有@符号已经安装 yum -y install * ...原创 2018-04-10 13:21:14 · 1263 阅读 · 0 评论 -
Idea导入maven项目
选择项目的路径import Project界面选择第二个修改工程名字原创 2018-04-18 18:08:17 · 1238 阅读 · 0 评论 -
Idea maven工程运行在Tomcat
在pom.xml中添加如下内容</plugins> <plugin> <groupId>org.apache.tomcat.maven</groupId> <artifactId>tomcat7-maven-plugin&l原创 2018-04-18 18:47:23 · 1518 阅读 · 0 评论 -
Linux(八)、常用系统管理命令
常用系统管理命令ifconfig 查看网卡IP top 查看系统整体资源(类似windows任务管理器) 按q退出 free 查看内容 一般加-m参数 netstat [-an -tlnp] 查看端口情况 ps 查看进程 ps -ef ps auxf kill 杀死进程 kill -9 强制结束 kill -15 正常结束 ...原创 2018-04-18 19:55:00 · 1217 阅读 · 0 评论 -
01. Zookeeper简介
zookeeper简介中间件,提供协调服务 作用于分布式系统,发挥其优势,可以为大数据服务 支持java,提供java和C语言的客户端api 分布式系统很多台计算机组成一个整体,一个整体一致对外且处理同一请求 内部的每台计算机都可以相互通信(rest/rpc) 客户端到服务器的一次请求到响应结束经历多台计算机 zookeeper的特性一致性:数据一致性,数据...原创 2018-04-18 22:07:19 · 1348 阅读 · 0 评论 -
02. 单机版Zookeeper安装配置与启动
配置JDK此处省略JDK的安装与配置过程安装zookeeper并启动下载地址 解压:tar -zxvf xxx.tar.gz 配置环境变量:如图 进入conf目录,复制一份配置文件,cp zoo_example.cfg zoo.cfg 进入bin目录 ./zkServer.sh start启动,启动成功如图 Zookeeper主要目录结构bin:主要的一些运...原创 2018-04-18 22:12:44 · 1346 阅读 · 0 评论 -
03. zookeeper基本数据模型
基本数据模型是一个树形结构,类似于前端开发中的tree.js组件 zookeeper的数据模型也可以理解为linux/unix的文件目录:/usr/local 每一个节点都称之为znode,它可以有子节点,也可以有数据 每个节点分为临时节点和永久节点,临时节点在客户端断开后消失 每个zookeeper节点都有各自的版本号,可以通过命令行来显示节点信息 每当节点数据发生变化,那么该节点...原创 2018-04-19 08:35:41 · 1425 阅读 · 0 评论 -
04. zookeeper基本命令的使用
通过./zkCli.sh打开zookeeper的客户端进行命令行后台 常用命令ls与ls2ls命令用来查看当前zookeeper中所包含的内容 如ls / ls /zookeeper ls /zookeeper/quato ls2是ls的升级版,列出子节点的同时列出子节点的状态信息 其中 cZxid:节点被创建时的事务ID ctime:节点创建时间 ...原创 2018-04-19 16:56:23 · 1689 阅读 · 0 评论 -
Linux(一),基本命令
基本知识/ 表示根目录,linux系统里面最上层的目录 文件和目录组织成单根的倒置树结构 文件或者目录名称严格区分大小写 路径以/分割绝对路径和相对路径绝对路径以斜线开头,文件位置的全路径,采用绝对路径可以到处使用 相对路径不以斜线开头,当前工作目录的相对位置,可以通过相对路径方式来指定一个文件名 CentOS 两种工作界面模式图像化界面 字符界面(企业服...原创 2018-04-09 22:34:52 · 1293 阅读 · 0 评论 -
MySQL练习题
MySQL练习题查找最晚入职员工的所有信息相关建表语句以及测试数据CREATE TABLE `employees` ( `emp_no` int(11) NOT NULL, `birth_date` date NOT NULL, `first_name` varchar(14) NOT NULL, `last_name` varchar(16) ...原创 2018-04-09 22:32:34 · 1771 阅读 · 0 评论 -
MySQL基础(二)创建数据库及插入数据
打开mysql输入命令,mysql -u root -p创建数据库使用实名,create database employee原创 2017-12-13 14:59:58 · 1333 阅读 · 0 评论 -
springboot01-入门
简介Spring Boot来简化Spring应用开发,约定大于配置,去繁从简,just run就能创建一个独立的,产品级别的应用。 Spring Boot的产生背景,J2EE笨重的开发、繁多的配置,低下的开发效率、复杂的部署流程、第三方技术集成难度大。 Spring Boot是J2EE一站式解决方案,是整个Spring技术栈的一个大整合,Spring Cloud是分布式整体解决方案 ...原创 2018-05-08 18:16:21 · 1409 阅读 · 0 评论 -
maven install的时候把源码一起放到仓库
今天在公司看到了一个工具类,感觉很好用,就想看看源码,结果看到的源码是Intellij根据.class文件反编译后的代码,点download source还没下载到源码,去自己的maven仓库找找确实没有找到源代码,于是就找到了当初install是的工程,看了其pom.xml文件,加了如下配置 <build> <plugins> ...原创 2018-04-26 10:12:32 · 4872 阅读 · 0 评论 -
06. zookeeper原生java api使用
会话连接与恢复会话连接public class ZKConnect implements Watcher{ private final static Logger log = LoggerFactory.getLogger(ZKConnect.class);// private static final String zkServerPath = "192.1...原创 2018-04-26 10:06:20 · 1289 阅读 · 0 评论 -
05. zookeeper集群
概念zookeeper集群,包括主从节点,心跳机制(选举模式) 集群最少三台 搭建集群注意事项配置数据文件 myid 1/2/3 对应 server:1/2/3 通过./zkCli.sh -server [ip]:[port] 检测集群是否配置成功 搭建伪分布式集群复制首先复制两份zookeeper,使用命令 cp -rf zookeeper/ ...原创 2018-04-20 11:51:22 · 1317 阅读 · 0 评论 -
Linux下为VirtualBox虚拟机安装增强功能
下载VirtualBox最新版地址安装Linux系统在虚拟机上安装Linux系统,本文安装的是CentOS6.4 在root用户下,执行如下命令yum -y update yum -y install gcc gcc-c++ make kernel-* bzip2* 重启虚拟机reboot安装增强功能设备 下 选择 安装增强功能 点击确...原创 2018-03-17 09:41:16 · 2318 阅读 · 0 评论 -
CentOS6.4下配置JDK
卸载已经存在的jdkrpm -qa | grep jdk #会显示你所有包含jdk这个字符串的安装包 rpm -e –nodeps 对应的每个包名 #会卸载对应的包 如图 下载JDK地址移动位置,解压缩cp 下载的jdk地址 需要的位置 tar -zxvf jdk文件名配置环境变量vim /etc/profile 追加 export JAVA...原创 2018-03-17 10:59:44 · 1441 阅读 · 0 评论 -
01 服务器统一配置安装
服务器统一配置安装服务器使用CentOS6.4安装jdkjdk版本为1.8+,具体安装步骤请参考,地址统一host192.168.0.53 java1 192.168.0.54 java2 192.168.0.55 java3防火墙查看防火墙状态:service iptables status 关闭:service iptables stop...原创 2018-03-17 18:29:28 · 1461 阅读 · 0 评论 -
01 大数据概述
大数据概述大数据基本概念之大数据4V特征VolumeVarietyVelocityValue大数据技术要解决的问题从多样的数据类型(Variety),海量的数据规模(Volume),在快速的数据流转的情况下(Velocity),发现数据价值(Value)大数据涉及到的技术数据采集数据存储数据处理/分析/挖掘可视化大数据在技术架构上带来...原创 2018-03-17 23:32:11 · 1584 阅读 · 0 评论 -
02 初识Hadoop
初识HadoopHadoop概述概述The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for ...原创 2018-03-17 23:35:00 · 1323 阅读 · 0 评论 -
03.分布式文件系统HDFS
分布式文件系统HDFSHDFS概述及设计目标什么是HDFSHadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS 源自Google的GFS论文 发表于2003年,HDFS是GFS的克隆版HDFS的设计目标非常巨大的分布式文件系统运行在普通廉价的硬件上以扩展,为用户提供性能不错的文件存储服务...原创 2018-03-18 15:25:48 · 1501 阅读 · 1 评论 -
04 资源调度框架YARN
资源调度框架YARNYARN产生背景hadoop1.x时,MapReduce是Master/Slave架构,一个JobTracker带多个TaskTracker JobTracker:负责资源管理和作业调度 TaskTracker:定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况。接受来自JT的命令:启动任务/杀死任务 存在问题: 1. 单点故障,节点压力大不易扩展,仅支持Map原创 2018-03-18 15:46:49 · 1518 阅读 · 0 评论 -
05 分布式处理框架MapReduce
分布式处理框架MapReduceMapReduce概述源自于Google的MapReduce论文,论文发表于2004年12月 Hadoop MapReduce 是Google MapReduce的克隆版 MapReduce优点:海量数据离线处理,易开发,易运行 MapReduce缺点:实时流式计算MapReduce编程模型例子,worldcount统计文件中每...原创 2018-03-19 12:47:31 · 1382 阅读 · 0 评论 -
02 maven
下载下载地址windows下配置环境变量添加MAVEN_HOME:D:\codeing\apache-maven-3.5.2 在Path后添加:%MAVEN_HOME%\bin 验证mvn -v 成功如图 Eclipse中Maven配置 IDEA中Maven配置使用Nexus配置Maven私有仓库下载地址解压...原创 2019-01-10 15:27:40 · 1239 阅读 · 0 评论