- 博客(30)
- 收藏
- 关注
RSS订阅
原创 博客:www.xubatian.cn的文章目录清单
知识源于积累,登峰造极源于自律. 整理自己发在博客上的大数据笔记，方便查找。索引持续更新中…大数据开发(基础笔记)LinuxLinux命令收集Hadoop什么是大数据从Hadoop框架讨论大数据生态hadoop组成模块及各模块的简介hadoop组成模块之HDFS分布式存储详解hadoop组成模块之HDFS-HA高可用hadoop组成模块之MapReduce概述MapReduce框架原理之InputFormat数据输入hadoop组成模块之mapreduce的MapTask机制和re
2022-01-22 21:34:54
1511
原创 streamx源码编译及安装部署-本地编译(推荐)
锚定既定奋斗目标，意气风发走向未来。——人民日报在服务器端进行了streamx编译的那文章也说了,我没有flink,hadoop 的配置,所以我重新进行了streamx的源码编译,版本依旧是streamx-1.2.0 稳定版本现在编译的是Flink版本为1.14.3 , hadoop版本为3.1.3.源码编译的前提条件我使用的是maven 3.8.3版本. node js , jdk1.8.3 ,npm.streamx源码编译从官网下载streamx稳定版本官网地址: https://
2022-01-22 21:31:47
2782
3
原创 streamx1.2.0源码编译及安装部署-服务器端编译(注意:1.2.0之后相关操作改变了,具体看官网)
遇到问题，改变苛求别人的惯性，重新塑造思考问题的方式。换个角度看世界，换个方向看问题，就会豁然开朗。——人民日报什么是streamx大数据技术如今发展的如火如荼，已经呈现百花齐放欣欣向荣的景象，实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步，尤其是 Apache Flink 被普遍认为是下一代大数据流计算引擎， 我们在使用 Flink 时发现从编程模型， 启动配置到运维管理都有很多可以抽象共用的地方， 我们将一些好的经验固化下来并结合业内的最佳实践， 通过不
2022-01-22 16:54:12
3002
原创 第三章 Flink运行架构
前言大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正 Flink运行时的组件Flink运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作： 作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（D
2021-01-27 22:16:49
439
2
原创 Flink部署
前言大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正Flink部署 (两种模式 )一 . Standalone模式 (Flink自带的) ① 安装 解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz(如果你两个模式都想试一下就这个压缩包,实际上你要真正搭
2021-01-27 20:59:11
1533
原创 第一章 Flink简介
第一章 Flink简介前言大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正Flink简介Flink 是一种流式计算框架,Flink其中一半是java语言开发的,另一半是scala语言开发的;spark的源码是scala语言开发的.推荐一些博客Apache Flink 官网 https://flink.apache.org/Apache Flink GitHub 开源地址 https://g
2021-01-26 19:42:58
309
原创 Kafka集群起动完成后自动关闭问题
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正如上如可以看到,hadoop103中的kafka没有启动,因为我是使用群起脚本启动的,我不是很确定到底是没有启动还是启动完成后自动关闭了,所以我一个个启动,进行测试,我先启动start-dfs.sh ,在启动zookeeper,然后在启动kafka集群...
2020-04-17 15:14:41
1622
1
原创 Kylin启动报错Failed to find metadata store by url:kylin_metadata@hbase 或者一些奇怪的错几乎都可以解决,但会删除你kylin中原有的所数据
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正Kylin启动报错:错误1:Caused by: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=1, exceptions: Sat M...
2020-03-27 23:18:57
3604
14
原创 面试之谈mysql优化
面试之谈mysql优化第一方面：30种mysql优化sql语句查询的方法1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by涉及的列上建立索引。2.应尽量避免在 where 子句中使用 !=或<> 操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值 判断，否则将导致引擎放弃使用索...
2020-07-08 15:37:19
197
6
原创 关于搭建大数据Hadoop运行环境搭建之虚虚拟机环境准备
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正本文是对大数据学习时使用非root账户的一个更改账户的一个操作,用于模拟非root账户下的更真实的企业大数据模拟环境虚拟环境准备1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP3. 修改主机名4. 关闭防火墙5. 创建atguigu用户6. 配置atguigu用户具有root权限步骤顺序如图所示:一:二:三:四五:
2020-07-08 15:23:09
395
原创 Failed while trying to construct the redirect url to the log server. Log Server url may not....
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天学习spark遇到了一个小困难,网上有解决办法,此处纯属为了做笔记关于spark查看日志报错问题的解决方式解决方法:在hadoop的yarn-site.xml中加入这个属性即可只需要加上这个属性就可以了,然后分发到其他服务器集群上<!--指定yarn.log.server.url所在节点--> <property> <name>yarn.log.server.url</name&g
2020-05-10 23:43:00
2720
1
原创 Mysql 生产数据报错: [Err] 1292 - Incorrect date value: '0' for column 'v_birthday' at row 1
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正运行mysql产生数据sql语句报错,网上总结两种解决方式报错日志:[Err] 1292 - Incorrect date value: '0' for column 'v_birthday' at row 1截图图示:我认为原因是:SQL...
2020-04-28 00:31:55
9720
1
原创 MySQL优化技巧
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正MySQL优化三大方向① 优化MySQL所在服务器内核(此优化一般由运维人员完成)。② 对MySQL配置参数进行优化（my.cnf）此优化需要进行压力测试来进行参数调整。③ 对SQL语句以及表优化。MySQL参数优化1:MySQL 默认的最大连...
2020-04-01 22:45:00
206
原创 总结一下工作中的MySQL调优经验
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正多数时候数据库会成为整个系统的瓶颈，比如大的数据量的插入与修改，频繁的亦或是高流量的访问，都会对数据库系统带来很大的压力。我在平时工作的时候，总是会遇到大数据量的插入、修改或是查询的操作，所以在工作的时候积累了一些MySQL数据库的调优方式，在这里与大家...
2020-04-01 22:21:53
215
1
原创 ERROR [http-bio-7070-exec-8] controller.BasicController:62 : org.apache.kylin.rest.exception.Intern
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正本文借鉴 这位大佬的当你进入kylin的web界面然后向导入数据是,可能会出现一个提示框报错:ERROR [http-bio-7070-exec-8] controller.BasicController:62 :org.apache.kylin...
2020-03-28 21:35:15
1221
原创 kylin2.5.1配置hive beeline 出现异常Please set HIVE_CONF to the path which contains hive-site.xml
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正前提条件:注意：需要在/etc/profile文件中配置HADOOP_HOME，HIVE_HOME，HBASE_HOME并将其对应的sbin（如果有这个目录的话）和bin目录配置到Path，最后需要source使其生效。启动Kylin之前要保证HDFS...
2020-03-27 00:52:52
1495
原创 关于Hbase优化之手动设定预分区 ERROR: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.RemoteExcept
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正ERROR: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /HBase/.tmp/da...
2020-03-24 22:46:03
1249
2
原创 kafka集群配置之kafka启动了创建topic报错：Replication factor: 1 larger than avail
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正kafka启动了创建topic报错：Replication factor: 1 larger than available brokers: 0[shangbaishuyao@Hadoop102 kafka]$ jps10382 Jps7758 ...
2020-03-20 10:54:24
2122
2
原创 HDFS的API操作
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正package com.alibaba.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.Test;...
2020-03-02 12:10:37
213
原创 关于为什么datanode启动后jps没有显示的问题的一点意见
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正[shangbaishuyao@Hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanodestarting datanode, logging to /opt/module/hadoop-...
2020-02-29 23:56:22
1629
3
原创 03-查询支付状态（支付回调）
1、API：查询订单接口文档https://pay.weixin.qq.com/wiki/doc/api/native.php?chapter=9_2定时调用controller方法查询订单状态，当返回状态为success时，controller方法返回结果。前端代码收到结果后跳转到成功页面。2、辅助业务方法WeixinPayService：updateOrderStatus接口：/*...
2020-02-17 13:10:21
3110
原创 02-生成支付二维码
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正一、添加依赖service-order中添加微信sdk依赖<dependency> <groupId>com.github.wxpay</groupId> <artifactId>wxp...
2020-02-17 12:52:49
1527
原创 01-微信扫码支付开通
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正第一步：注册公众号（类型须为：服务号）请根据营业执照类型选择以下主体注册：个体工商户| 企业/公司| 政府| 媒体| 其他类型。第二步：认证公众号公众号认证后才可申请微信支付，认证费：300元/次。第三步：注册商户号用户商户号注册https:/...
2020-02-17 12:37:22
499
原创 Java高级工程师面试题
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律最近面了几家公司,有些面试经验来和大家分享,怀着沉痛的心,含泪总结…o(╥﹏╥)o , 还有,题目在这里,我可能会写,我会单独里一个模块,兴致来了就写,O(∩_∩)O哈哈~1、网关注册到nacos中,我A服务通过网关调用B服务,第一次调用成功之后,A服务和nacos连接断了,请问第二次还能调用的到吗?2、购物车购物商品存于购物项中,...
2020-01-05 13:15:48
349
原创 第二章: CRUD接口-主键策略
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,主体是以我的老师–姚环老师(想问哪里的?就不告诉你,嘿嘿)笔记资料整理出来的.有不当之处还请各位斧正一、插入操作@RunWith(SpringRunner.class)@SpringBootTest@Slf4jpublic class CRUDTests { ...
2020-01-05 01:23:39
265
原创 第一章:MyBatis-Plus 实战入门
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,主体是以我的老师–姚环老师(想问哪里的?就不告诉你,嘿嘿)笔记资料整理出来的.有不当之处还请各位斧正一、简介MyBatis-Plus（简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。简介：MyBatis...
2020-01-05 01:08:03
264
原创 关于数据库表逻辑关联和物理关联的讨论
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正这是我和我同学有关数据库逻辑关联和物理关联的讨论,我感觉我好…o(╥﹏╥)o我太懒了,不想写,直接截图看讨论的过程,总结的不是很到位,七张join图知识查询方法,但是删除和更新没考虑到,建表是正常建表不加外键还是加外键也没定论,先这样吧,有定论是我在重...
2020-01-02 02:00:27
1985
原创 Redis简介
大家好, 我是上白书妖!知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正一.Redis是什么?Redis是一个key-value类型的非关系型数据库，基于内存也可持久化的数据库，相对于关系型数据库（数据主要存在硬盘中），性能高，因此我们一般用redis来做缓存使用；并且redis支持丰富的数据类型，比较容易解决各种问题...
2020-01-01 02:12:25
191
原创 Java语言的特点
大家好,我是上白书妖,知识源于积累,登峰造极源于自律.今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点Java语言的特点完全面向对象：Java语言支持封装、继承、多态，面对对象编程，让程序更好达到 高内聚 ， 低耦合 的标准。支持分布式：Java语言支持Internet应用的开发，在基本的Java应用编程接口中有一个网络应用编程接口（javanet），它提供了用于网络应...
2019-12-31 21:53:46
271
原创 JavaSe基础体系概览
大家好!我是上白书妖,知识源于积累,登峰造极源于自律.今天开始我要在博客上整理一下我的知识体系的,就当自己学习Java至今的一次复习,如果有不当之处,烦请各位帮我把这可歪脖子树纠正一下!一.Java基础知识概览二. JavaSE知识模块介绍第一部分：计算机编程语言核心结构： 数据类型 、 运算符 、 流程控制 、 数组 、 方法 、 家庭收支记账系统 、…第二部分：Java面向对象核心...
2019-12-31 21:38:52
388
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人