笔记
关注
分享
扫一扫
她與風皆過客
这个作者很懒，什么都没留下…
展开
-
node.js+Angular+Vue
nodejs和前端脚手架原创 2023-02-23 22:39:15 · 623 阅读 · 1 评论 -
spark3.x 《自我总结》
spark四种运行模式:local Mode本地模式Standalone集群模式（伪分布式模式）Spark on Yarn 模式： 分为两种方式:Spark Client模式和Spark cluster模式mr-jobhistory-daemon.sh start historyserver yarn的历史服务器(HistoryServer)/export/server/spark/sbin/start-history-server.sh spark的历史服务器(JobHistoryServ原创 2022-05-06 10:37:27 · 427 阅读 · 0 评论 -
Mybatis-Plus
简介 官网 http://mp.baomidou.com/ 参考教程：http://mp.baomidou.com/guide/ [MyBatis-Plus](https://github.com/baomidou/mybatis-plus)（简称 MP）是一个 [MyBatis](http://www.mybatis.org/mybatis-3/) 的增强工具，在 MyBatis 的基础上只做增 强不做改变，为简化开发、提高效率而生。特点无侵入：只做增强不做改变，引入它不会对现有原创 2021-12-20 21:23:15 · 562 阅读 · 3 评论 -
Nuxt.js(三)
视图自定义布局效果:点击登录页面时 看不到其他模块html模板将不需要进行编译的文件放进static文件夹下原创 2021-12-14 20:29:18 · 1203 阅读 · 0 评论 -
Nuxt.js(二)
路由对比标签名描述<nuxt-link>nuxt.js中切换路由<Nuxt />nuxt.js的路由视图<router-link>vue默认切换路由<router-view/>vue默认路由视图基础路由路径组件位置及其名称规则/pages/index.vue默认文件 index.vue/userpages/user/index.vue默认文件 index.vue/原创 2021-12-14 20:22:58 · 930 阅读 · 0 评论 -
Nuxt.js（一）
Nuxt.js概述SEO和SSR对比SEO：搜索引擎优化（Search Engine Optimization）, 通过各种技术（手段）来确保，我们的Web内容被搜索引擎最大化收录，最大化提高权重，最终带来更多流量非常明显，SPA程序不利于SEOSEO解决方案：提前将`页面和数据`进行整合* 前端：采用SSR* 后端：页面静态化 （freemarker 、thymeleaf、velocity）* *************************什么是SSR技术服务端渲染（Serv原创 2021-12-14 20:04:49 · 691 阅读 · 0 评论 -
RabbitMQ(一)
安装部署拉取镜像docker pull rabbitmq:3.8-management创建容器docker run -e RABBITMQ_DEFAULT_USER=root -e RABBITMQ_DEFAULT_PASS=123456 -v mq-plugins:/plugins –name mq –hostname mq -p 15672:15672 -p 5672:5672 -d rabbitmq:3-managementRabbitMQ消息模型代码生产者pack原创 2021-11-30 15:49:35 · 1827 阅读 · 0 评论 -
SpringCloud——Gateway和过滤器和跨域问题的解决
介绍Spring Cloud Gateway 是 Spring Cloud 的一个全新项目，该项目是基于 Spring 5.0，Spring Boot 2.0 和 Project Reactor 等响应式编程和事件流技术开发的网关，它旨在为微服务架构提供一种简单有效的统一的 API 路由管理方式。为什么需要网关Gateway网关是我们服务的守门神，所有微服务的统一入口。网关的核心功能特性：- 请求路由- 权限控制- 限流创建gateway服务，引入依赖导入依赖<!--网关原创 2021-11-30 15:37:15 · 947 阅读 · 0 评论 -
SpringCloud——Fegin
Feign底层发起http请求，依赖于其它的框架。其底层客户端实现包括：•URLConnection：默认实现，不支持连接池•Apache HttpClient ：支持连接池•OKHttp：支持连接池最佳实践在需要使用远程调用的模块pom中加入:<!--httpClient的依赖 --><dependency> <groupId>io.github.openfeign</groupId> <artifactId>原创 2021-11-30 15:18:52 · 256 阅读 · 0 评论 -
Docker容器安装部署MySQL
Docker官网https://www.docker.com/products/docker-hub拉取镜像docker pull mysql创建目录mkdir /tmp/mysql/datamkdir /tmp/mysql/conf挂载docker run -d --name mysql-test01 -p 3306:3306 --privileged=true -v /tmp/mysql/data:/var/lib/mysql -v /tmp/mysql/conf/hmy.c原创 2021-11-25 20:28:27 · 944 阅读 · 0 评论 -
SpringCloud的认知&RestTemplate远程访问&Eureka注册中心
认识微服务SpringCloud优缺点单体架构的优缺点如下：**优点：**- 架构简单- 部署成本低**缺点：**- 耦合度高（维护困难、升级困难）-分布式架构的优缺点：**优点：**- 降低服务耦合- 有利于服务升级和拓展**缺点：**- 服务调用关系错综复杂什么是微服务微服务的架构特征：- 单一职责：微服务拆分粒度更小，每一个服务都对应唯一的业务能力，做到单一职责- 自治：团队独立、技术独立、数据独立，独立部署和交付- 面向服务：服务提供统一标准的原创 2021-11-14 12:18:11 · 886 阅读 · 0 评论 -
Vue全家桶（前后端完全分离）
前序下载axiosnpm install axios在main.js中引入插件import axios from "axios";前端实例router 路由在main.js中引入Vue.config.productionTip = trueVue.prototype.$http = axiosUser_list<template> <div> <table border="2"> <tr>原创 2021-11-14 11:12:15 · 10414 阅读 · 15 评论 -
NodeJs和Vue安装部署
NodeJs是什么Node.js是一个服务器端的Javascript运行环境(runtime)。Java使用JDK进行编译/运行。 JS使用Node进行编译/运行。 Node.js是一个web服务器Java使用Tomcat提供HTML、CSS、JS等资源访问。前端使用Node.js提供HTML、CSS、JS等资源访问。Node.js是资源管理器Node.js提供npm插件用于管理所有js资源。Java使用Maven管理所有jar资源。结论:Node.js是一款软件，支持JS基本语法，可以原创 2021-11-14 10:51:55 · 1319 阅读 · 0 评论 -
SpringCloud连接的mysql账号密码都对,访问不到的问题
原创 2021-11-08 10:07:52 · 496 阅读 · 0 评论 -
Mybatis小练习
建表语句CREATE TABLE category( cid VARCHAR(32) PRIMARY KEY, cname VARCHAR(50), parent_id VARCHAR(32), `desc` VARCHAR(100));INSERT INTO category(cid,cname,parent_id,`desc`) VALUES('c100','童书','0','一级分类');INSERT INTO category(cid,cname,parent_id,`des原创 2021-10-02 15:51:59 · 998 阅读 · 11 评论 -
Structed Streaming 窗口模式
package cn.itcast.spark.windowimport java.sql.Timestampimport org.apache.spark.sql.streaming.{OutputMode, StreamingQuery, Trigger}import org.apache.spark.sql.{DataFrame, SparkSession}/** * 基于Structured Streaming 读取TCP Socket读取数据，事件时间窗口统计词频，将结果打印到控制原创 2021-05-09 16:14:53 · 403 阅读 · 1 评论 -
Structed Streaming抽取json数据的某一字段
val resultTable: DataFrame = inputTable .select( get_json_object($"value","$.userID").as("userID") , get_json_object($"value","$.eventType").as("eventType") ) .dropDuplicates("userID","eventType") .groupBy($"userID",$"eventType") .原创 2021-05-09 16:13:34 · 216 阅读 · 0 评论 -
Structed Streaming 将数据封装成Json数据
val ResultStreamDF = InputStreamDF .selectExpr("CAST(value AS STRING)") .as[String] .filter( line => null != line && line.trim.split(",").length == 6 && "success".equals(line.trim.split(",")(原创 2021-05-09 16:09:41 · 224 阅读 · 0 评论 -
Structed Streaming写Mysql
Structed Streaming 向mysql写数据 val query: StreamingQuery = ResultStreamDF .writeStream .outputMode(OutputMode.Update()) .queryName("wc_countword") .trigger(Trigger.ProcessingTime("0 seconds")) .foreach(new MySQLForeachWrite())原创 2021-05-09 16:06:40 · 233 阅读 · 2 评论 -
Structed Streaming集成kafka
读取kafka数据 // 构建SparkSession实例对象，相关配置进行设置 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName.stripSuffix("$")) .master("local[2]") // 设置Shuffle时分区数目 .config("spark.sql.shuffle.partitions", "2"原创 2021-05-09 16:04:04 · 280 阅读 · 0 评论 -
Spark集成组件
Spark向Hbase写数据package spark.hbaseimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Putimport org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.util.Bytesimport org.apache.spark.rdd原创 2021-05-07 09:38:47 · 163 阅读 · 0 评论 -
Spark on Yarn(二)
所以Spark Application运行在YARN上时，采用不同DeployMode时架构不一样，企业实际生 产环境还是以cluster模式为主，client模式用于开发测试，两者的区别面试中常问。 1）、Driver在任务提交的本地机器上运行，Driver启动后会和ResourceManager通讯申 请启动 ApplicationMaster； 2）、随后ResourceManager分配Container，在合适的NodeManager上启动 ApplicationMaster.原创 2021-04-21 22:20:31 · 172 阅读 · 0 评论 -
Spark on Yarn（一）
将spark的jar包放在 hdfs的规定的可以关掉standalone 用yarn可以执行spark jar包Yarn ClientYarn cluster原创 2021-04-21 22:15:40 · 124 阅读 · 0 评论 -
Spark_standalone集群
standalone集群:主从架构:Master-servers结构Spark应用架构组成:driver Program + Executorsdriver Program:应用管理者;Executors:线程池;一个worker中有一个Executor，每个Executor可以执行多个Job任务，每 个Job任务能被分成多个Task去放到不同 Executor去执行也就是说 task是最小的执行单位Historyserver:无论在哪台节点下开启 都能读取hdfs的日志启动服务进程:原创 2021-04-21 22:07:57 · 127 阅读 · 0 评论 -
Scala的高阶函数的使用
map函数语法：list.map(A=>B):List[B] final def map[B](f: (A) ⇒ B): List[B] //map函数只有1个参数，这个参数是一个函数类型 f: (A) ⇒ B：f就是参数函数 //f有1个参数：A：代表集合中的每个元素 //f的返回值：B：B是A处理以后的返回值 List[A].map = List[B] A1 -> B1 A2 -> B2 …… 栗子 val list1 = List(1,2,3,4原创 2021-04-12 13:49:50 · 213 阅读 · 1 评论 -
HUE安装部署
Hue 的安装(在子节点配置的)#1. HUE安装包下载地址: http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz2.解压安装包cd /export/servers/ tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz3.联网安装各种必须的依赖包yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-pla原创 2020-12-04 09:12:01 · 556 阅读 · 0 评论 -
Hive内部流程和架构图
hive可以理解为将HQL语句转换成MapReduce的原创 2020-12-04 08:32:55 · 302 阅读 · 0 评论 -
Hive的使用2
Hive常识Hive中没有定义专门的数据格式不需要从用户数据格式到 Hive 定义的数据格式的转换不会对数据本身进行任何修改，甚至不会对数据进行扫描不会对数据中的某些 Key 建立索引Hive 不适合在线数据查询Hive数据库、表在HDFS上存储的路径/user/hive/wearhouseHive 的数据库、数据表、分区 在HDFS上的存在形式是什么文件夹Hive和传统数据库的区别Hive延迟较高的原因Hive内部解析、编译等流程需要时间。提交任务后，提交到Yarn,Yar原创 2020-12-02 21:29:55 · 171 阅读 · 0 评论 -
Hive的交互及初步使用
Hive JDBC服务前提:假如有三台虚拟机，131,132,133假设在132节点启动hivecd /export/servers/hive-1.1.0-cdh5.14.0bin/hive --service hiveserver2（前台启动）cd /export/servers/hive-1.1.0-cdh5.14.0nohup bin/hive --service hiveserver2 &（后台启动）注意:前台和后台区别是 前台的可视化窗口关闭（例如:IDEA）原创 2020-11-16 22:58:47 · 199 阅读 · 0 评论 -
Hive的意义及其安装部署
1.Hive介绍1.1什么是HiveHive相当于是站在hdfs和MapReduce的肩膀上的工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL），其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。1.2为什么使用Hive面临的问题: 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 为什么要使用Hive 操作接原创 2020-11-16 22:27:15 · 411 阅读 · 0 评论 -
MapReduce之自定义输出
1.Drive驱动类package RecodReader;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.原创 2020-11-16 17:26:12 · 263 阅读 · 0 评论 -
MapReduce之自定义输入
1.驱动类 Drive代码package RecordWrite;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.原创 2020-11-16 17:18:04 · 276 阅读 · 0 评论 -
MapReduce之map的join算法实现
Mapimport org.apache.hadoop.filecache.DistributedCache;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;i.原创 2020-11-04 20:59:05 · 171 阅读 · 0 评论 -
MapReduce之Reduce的Join算法实现
需求JavaBean类package Join.reduceJoin.Demo2;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class JavaBean implements Writable { private String id; private String dat原创 2020-11-04 20:56:56 · 163 阅读 · 0 评论 -
MapReduce——本地跑MapReduce遇到的问题
Could not locate excutable…原因:JDK是32位的 卸载jdk安装64位的jdk即可安装步骤卸载JDK1.用控制面板搜索java然后点击卸载检查并彻底卸载：2.打开安装jdk安装目录检查是否还有残余文件3.按Windows键+R 输入"regedit"打开注册表编辑器 找到HKEY_LOCAL_MACHINE/SOFTWARE/JavaSoft 右键点击删除4.在C盘中Windows\System32和Windows\SysWOW64文件夹下找到j.原创 2020-10-30 20:40:15 · 204 阅读 · 0 评论 -
MapReduce——ClassCastException报错如何解决
前言今天用JavaBean封装数据的时候 发现 接口为Writable时 如果Map类中 输出的是JAVABean 会导致ClassCastException解决方法1.第一种书写JavaBean中的ToString方法 使用JavaBean的形式 无非就是使用了tostring方法 而不是在大量数据中进行数据拼接根据这样的思路 我将JavaBean在Map中就转成Text类型 输出给Reduce 这样 从Map输出开始 数据就以Text形式 而不是JAvabean形式2.第二种.原创 2020-10-30 20:30:43 · 626 阅读 · 0 评论 -
本人亲自尝试 ------数据块丢失该如何操作
数据块丢失显示在哪?IP地址:50070——>Overview方法原创 2020-10-30 20:19:39 · 246 阅读 · 0 评论 -
HDFS-HA集群搭建（搭建的时候,请仔细仔细再仔细!!!）
HA集群的搭建注意事项:1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等7.注意集群时间要同步安装步骤：1.安装配置zooekeeper集群link2.安装配置hadoop集群link3.修改core-site.xml<configuration><!-- 集群名称在这里指定！该值来自于hdfs-site.xml中的配置 --><property原创 2020-10-26 16:10:18 · 251 阅读 · 0 评论 -
大数据ZooKeeper知识点
Apache ZooKeeper1．Zookeeper基本知识1.1．ZooKeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。1.2．ZooKeeper特性1.全局数据一致：集群中每个服务器保存一份相原创 2020-10-20 18:04:41 · 172 阅读 · 0 评论 -
ZooKeeper集群搭建
1.安装jdk1、软件包的上传大到/export/soft2、加压安装包到/export/servers tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/servers/3、修改系统配置创建vi /etc/profile.d/java.sh文件，添加一下内容，保存并退出 export JAVA_HOME=/export/servers/jdk1.8.0_65export PATH=$PATH:$JAVA_HOME/bin4、使配原创 2020-10-19 18:03:10 · 149 阅读 · 0 评论