被迫内卷的学习记录-优快云博客

文章目录关于mysql开启/关闭/重启数据库登录数据库关于hadoop启动进程第一种：全部启动集群所有进程第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程第三种：单独启动某一个进程访问hdfs的web界面 http://master:50070访问yarn的web界面 http://master:8088hdfs – HAyarn – HA关于Redis启动/停止/重启 systemctl start/stop/restart redis开机自启

2022-04-10 20:33:28 2642

原创 DataX安装及使用

文章目录安装使用安装1、上传压缩包2、解压tar -zxvf datax.tar.gz -C /usr/local/soft/3、配置环境变量vim /etc/profilesource /etc/profile使用stream2stream编写配置文件stream2stream.jsonvim stream2stream.json{ "job": { "content": [ { "reader": {

2022-04-07 20:32:24 554

原创 Pycharm换源

pip 修改 pip 源找到系统盘下C:\Users\用户名\AppData\Roaming，APPData可能是隐藏文件，需要将隐藏关闭；查看在Roaming文件夹下有没有一个pip文件夹，如果没有创建一个；进入pip文件夹，创建一个pip.ini文件；使用记事本的方式打开pip.ini文件，写入：[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple临时修改pip install -i https://pypi.t

2022-03-30 19:43:21 1579 2

原创 python配置及其pycharm安装

文章目录1、安装SDK2、验证安装3、安装pycharm4、pycharm创建项目1、安装SDKpython中的sdk可以类比Java里面的jdk选择安装路径无脑下一步就好了这个时候python的环境就已经安装好了2、验证安装直接cmd里面输入python就好了3、安装pycharm无脑下一步注意创建桌面快捷方式的时候勾选64位的就好了4、pycharm创建项目...

2022-03-28 21:35:08 2442

原创 Kafka的安装与配置

文章目录1、上传压缩包到任意节点2、解压，配置环境变量所有节点都配置3、修改config/server.properties4、复制到其它节点 -- 伪分布式不需要5、修改每个节点 -- 伪分布式不需要6、启动重置kafka1、上传压缩包到任意节点2、解压，配置环境变量所有节点都配置tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/3、修改config/server.properties1、broker.id=0，每一个节点brok

2022-03-26 05:45:47 511

原创 Flink on yarn搭建及其俩种启动方式

文章目录关闭独立集群配置HADOOP_CONF_DIR判断是否生效上传依赖启动方式flink on yarn只需要在一个节点上部署即可关闭独立集群stop-cluster.sh 配置HADOOP_CONF_DIRvim /etc/profileexport HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop/注意：这里前面的export必须得加上，因为加上就是适用于全局，之前我们不加是因为要在下面的PATH里面引用最后大家

2022-03-23 21:08:43 3647

原创 Flink的web ui提交任务

文章目录打包提交任务杀死8888打包先在idea中给代码写完，打成一个jar包用来提交任务提交任务进入web ui界面master 8081点击add new 找到刚才打好的jar包位置选择jar包类的话直接从idea中Copy Reference即可点击submit提交完成杀死8888有时候我们打开8888端口显示已经被占用这时候我们可以将其杀死ps aux | grep 8888显示所有端口号杀死kill -9 35704...

2022-03-23 15:48:08 3892

原创 flink独立集群的搭建

文章目录1、准备工作2、上传解压、配置环境变量上传解压配置环境变量3、修改配置文件第一个配置文件第二个配置文件第三个配置文件同步实验1、准备工作配置JAVA_HOME免密钥这里这些操作前期都有介绍，大家可以看一下我前面的文章2、上传解压、配置环境变量上传使用ZMODEM或者xftp直接拉过去就好了解压tar -zxvf flink-1.11.2-bin-scala_2.11.tgz -C /usr/local/soft/配置环境变量vim /etc/profileso

2022-03-22 00:39:25 2171 2

原创 Flink简介

文章目录流处理和批处理的区别无界流和有界流离线计算和实时计算特点：实时计算面临的挑战什么是FlinkFlink的特点spark和flink的区别流处理和批处理的区别无界流和有界流因为Flink想要实现流批统一，所以提出了无界流和有界流这俩个概念，这俩个概念就相当于前文所说的流处理和批处理。任何类型的数据都是作为事件流产生的。再互联网上的所有数据都可以作为流生成无界流有一个开始但没有定义的结束。他们不会再生成时终止并提供数据。必须持续处理无界流，，即必须再摄取事件后立即处理实践。无法等待所有输入

2022-03-18 21:36:09 562

原创 Spark和Yarn的整合

文章目录为什么要和yarn整合停止spark集群删除node1和node2中所有spark文件开始整合增加hadoop配置文件地址往yarn提交任务需要的两个配置同步到其他节点，重启yarn为什么要和yarn整合在上一篇文章中我们提到了Spark的独立集群的搭建，但是在公里里面，一般不适用standalone模式，因为公司已经有了yarn，不需要再搞俩个资源管理框架了停止spark集群停止spark集群需要再spark的sibin目录下执行./stop-all.sh删除node1和node2

2022-03-09 21:28:25 2085

原创 spark环境搭建

上传文件并解压上传文件解压，配置环境变量，配置bin目录解压文件到指定目录：tar -xvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local/soft/这里名字有点长，我们可以给其重命名一下mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5配置环境变量vim /etc/profilesource /etc/profile修改配置文件conf去除template后缀cp spark-env.sh.t

2022-03-09 01:43:54 1501

原创 Scala函数（2）-----以函数作为参数

高阶函数1、以函数作为参数2、以函数作为返回值以函数作为参数 def fun1(f: String => Int): Unit = { //调用传进来的函数 val i: Int = f("100") println(i) }这段代码里面，fun1是一个参数为f，没有返回值的函数而f是一个参数为String返回值为Int类型的函数这时候调用fun1，就需要传入一个参数为String返回值为Int类型的函数 def f

2022-03-08 01:37:01 729

原创 Scala函数（1）

文章目录Scala和Java的区别面向对象编程面向函数编程Scala中函数的定义函数的简写Scala语言本质上和java没有区别，本质上都是基于jvm的语言，只不过是语法不同而已，最终的运行和原理都是一样的，所以java里面的所有内容在Scala中都可以使用，例如jdbc等，但是Scala也有自己特殊的语法，例如样例类。Scala和Java的区别Java是面向对象编程Scala是面向函数编程（这里面的函数就是方法的意思）（在高级语言中称方法为函数）面向对象编程面向对象编程就是将对象传来传去：

2022-03-06 22:04:04 323

原创 Phoenix介绍与安装

文章目录配置Phoenix出现1、创建表2、显示所有表3、插入数据4、查询数据,支持大部分sql语法，5、删除数据6、删除表7、退出命令行hbase shell 进入hbase命令行创建hbase表插入数据在phoenix创建视图， primary key 对应到hbase中的rowkey在phoenix查询数据，表名通过双引号引起来删除视图关闭hbase集群在/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml中增加如下配置同步到所有节点修改phoenix目录下的

2022-03-02 21:35:25 632

原创 HBase分布式集群搭建

文章目录前期准备1、启动hadoop2、启动zookeeper搭建hbase1、上传解压2、修改hbase-env.sh文件3、修改hbase-site.xml文件4、修改regionservers文件5、同步到所有节点7、启动hbase集群，需要在master上执行8、验证hbase重置hbase前期准备1、启动hadoopstart-all.sh验证http://master:500702、启动zookeeper需要在在三台中分别启动zkServer.sh startzkServe

2022-02-25 20:13:19 338

原创 Hive笔记

文章目录小前言Hive建表建表1：全部使用默认建表方式建表2：指定location （这种方式也比较常用）建表3：指定存储格式建表4：create table xxxx as select_statement(SQL语句) (这种方式比较常用)建表5：create table xxxx like table_name 只想建表，不需要加载数据Hive 内部表（Managed tables）vs 外部表（External tables）建表：加载数据：删除表：Hive加载数据1、使用```hdfs dfs

2022-02-19 02:43:51 526

原创暴力删除文件小程序

.txt文件保存DEL /F /A /Q \\?\%1RD /S /Q \\?\%1修改后缀名为.bat然后把文件拖到这个图标上面就好了

2022-02-18 21:55:03 282 1

原创 dll文件停止进程

大家在卸载文件的时候一定碰到下面这种情况显示文件在资源管理器中打开了，但是我们在资源管理器里面找不到这个进程，这个时候我们就可以使用cmd命令提示符来终止这个进程以便我们来对其进行删除操作如下例如我这里的这个进程是 AcSignCore16.dlltasklist /m AcSignCore16.dll（这一步是检查指定名字的文件被哪些进程调用了）按了回车键后会显示：调用进程名，进程ID（这里ID为11960）关闭进程，输入taskkill /f /PID 11960,语句意思是：强行终止I

2022-02-18 21:39:15 9387 5

原创 Hive介绍

文章目录Hive是什么Hive与传统数据库的比较Hive的存储格式Hive的四大常用存储格式存储效率及执行速度对比Hive操作客户端Hive的metastoreHive是什么Hive是建立在Hadoop上的数据仓库的基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据，同时这个语言也允许熟悉Map Reduce开发者的开发自定义的mapper和

2022-02-18 02:18:16 554

原创 Hive的安装配置及使用

文章目录前期准备检查MySQL检查Hadoop开始安装1、在MySQL中创建hive元数据库2、上传安装包并解压2.1解压3、配置环境变量3.1检查环境变量是否配置完毕4、修改配置文件4.1进入hive-1.2.1/conf目录，复制备份文件并重命名4.2修改hive-env.sh文件4.3修改hive-site.xml4.4拷贝mysql驱动到$HIVE_HOME/lib目录下4.5将hive的jline-2.12.jar拷贝到hadoop对应目录下运行hive后期1、修改mysql元数据库hive，让其

2022-02-18 00:18:45 3978

原创 HDFS的shell命令

调用文件系统（FS）的shell命令应使用 bin/hdfs dfs -xxx的形式所有的FS Shell命令使用URL路径作为参数URL的格式是scheme://authority/pash。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的scheme。大多数的FS Shell命令的行为和对应的Linux Shell命令类似调用文件系统（FS）shell命令应使用bin/hdfs d.

2022-02-15 00:59:45 1237

原创 Zookeeper介绍、搭建以及简单的使用

Zookeeper简介Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统，这些都是Zookeeper的应用场景。Zookeeper集群中节点个数一般为奇数个（>=3），若集群中Master挂掉，剩余节点个数在半数以上时，就可以推举新的主节点，继续对外提供服务。搭建Zookeeper1、上传

2022-02-11 21:11:50 385

原创 Hadoop集群搭建（分布式）

文章目录Hadoop集群搭建（分布式版本）一、准备工作二、搭建Hadoop集群1、上传安装包并解压2、配置环境变量3、修改Hadoop配置文件4、分发Hadoop到node1、node25、格式化namenode（第一次启动的时候需要执行）6、启动Hadoop集群7、检查master、node1、node2上的进程8、访问HDFS的WEB界面9、访问YARN的WEB界面Hadoop集群搭建（分布式版本）一、准备工作三台虚拟机：master、node1、node2时间同步ntpdate nt

2022-02-10 21:03:59 1527

原创 Hadoop概述以及HDFS、YARN、MapReduce的架构分析和Hadoop的特点

Hadoop前期学习必备笔记，你值得拥有

2022-02-10 20:11:40 1016

原创 Redis的简介以及Linux下的编译安装配置环境变量

文章目录简介：Redis是什么下载RedisRedis在Linux下的安装1、上传并解压上传解压缩2、安装编译所需依赖3、编译启动redis4、配置环境变量测试环境变量是否有用简介：Redis是什么Redis是开源的（BSD协议），使用ANSI C编写，基于内存的且支持持久化，高性能的Key-Value的NoSQL的数据库支持的数据结构类型丰富，有如：字符串（String）、散列（hashes）、列表（list）、集合（sets）、有序集合（sorted sets）与范围查询，bitmaps，hy

2022-01-20 21:03:05 1335

mysql安装包，安装方式详见博客

空空如也