quietlyw的博客

原创 虚拟机创建脚本

1.新建一个.sh文件，touch test.sh 2.编辑test.sh文件，vi test.sh 然后键入i，输入内容， #!/bin/sh必须放在第一行 然后键入esc 键入:wq保存退出 3.给test.sh赋予可执行权限，chmod +x test.sh 4.执行脚本./test.sh,即可执行脚本 5.也可以通过sh test.sh 执行脚本 扩展资料： Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统

原创 Hbase操作

> （1）启动hadoop ：start-all.sh > （2）启动zookeeper：zkServer.sh start > （3）启动hbase：start-hbase.sh > （4）进入hbase的xshell：hbase shell 相当于对库的操作 创建：create_namespace “库名” （创建库） 添加或修改属性： alter_namespace ‘库名’, {METHOD => ‘set’, ‘PROPERTY_NAME’ => ‘PROPE

原创 spark

以上图中有四个机器节点，Driver和worker是启动在节点上的进程，运行在JvM中的进程。 . Driver与集群节点之间有频繁的通信。 .Driver负责任务( tasks)的分发和结果的回收即任务的调度。如果task的计算结果非常大就不要回收了。 会造成oom。 worker是standalone资源调度框架里面资源管理的从节点。也是jvM进程。 Master是standalone资源调度框架里面资源管理的主节点。也是jvM进程。 4.3.Spark代码流程 1.创建sparkconf.

原创 Hadoop MapReduce

Map 的流程 原始数据File ·1T数据被切分成块存放在HDFS上，每一个块有128M大小 .数据块Block . hdfs上数据存储的一个单元,同一个文件中块的大小都是相同的 ·因为数据存储到HDFS上不可变，所以有可能块的数量和集群的计算能力不匹配 ·我们需要一个动态调整本次参与计算节点数量的一个单位 ·我们可以动态的改变这个单位–》参与的节点 切片split ·切片是一个逻辑概念 ·在不改变现在数据存储的情况下，可以控制参与计算的节点数目 ·通......

原创 hdfs写入数据和读取数据

1.客户端通过shell命令的方式传输文件到HDFS上(申请上传) 2.namenode检查文件夹是否存在,检查文件是否存在,如果文件夹不存在是肯定不能上传的,如果文件存在就要看有没有覆盖写入了 3.返回允许上传通知 4.判断文件的大小,然后切割文件,默认按照128m去切割(hadoop2.x)按照64m去切割(hadoop1.x） 5.通知namenode上传第一个block块 6.namenode通过副本机制得到block块应该放在哪些datanode节点上的地址列表 7.返回这些地址给client端

原创 HDFS命令练习

原创 hive命令

hive命令 查看数据库 : show databases ; 创建数据 : create database (要创建的数据库名字) ; 创建了一张表 : create table psn_1 ( id int, name string ) ; 插入一条数据 : insert into psn_1 (id,name) values (1,‘aa’); 除数据库 : drop databases (要删除的数据库名字) ; 在mysql中可以,在hive中不可以 : show databases like ‘

原创 Java链接数据库

查询自己的 ip地址 ipconfig

原创 jdbc一

今日内容 1. JDBC基本概念 2. 快速入门 3. 对JDBC中各个接口和类详解 JDBC： 1. 概念：Java DataBase Connectivity Java 数据库连接， Java语言操作数据库 * JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类。 2. 快速入门： * 步骤： 1. 导入驱动jar包 mysql

原创 MYSQL基本语句

DDL 的数据库操作 1.show databases; //查看数据库 2.use 数据库名称； //查看数据库 3.create database 数据库名称； //创见数据库 4.ALTER DATABASE 数据库名称 CHARACTER SET utf8; //修改数据库的编码为utf8 5.dr

原创 thread

创建多线程 （Runnable接口） 创建多线程程序的第二种方法：实现runnable接口 包：java.lang.Runnable Runnable接口应该有那些打算通过某一线程执行其实例类的类来实现 类必须定义一个成为run的无参数方法 java.lang.Thread类的构造方法 Thread（Runnable target）分配新的Thread 对象 Thread （Runnable target,String name）...