自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

qq_38200425的博客

  • 博客(12)
  • 资源 (23)
  • 问答 (4)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 centos7部署Azkaban3.90.0

Azkaban部署

2022-06-13 15:37:51 335

原创 Python 周月季年时间函数

python常用时间函数、周月季年

2022-06-09 12:54:21 1211

原创 SpaceX1.0基础搭建[一]、macSO(M1)部署apache-hadoop3.1.0

基于macSO系统搭建单节点apache-hadoop3.1.0

2022-06-06 00:35:49 318

原创 Hql 常用时间函数

hql常用函数

2022-06-02 11:32:58 3060

原创 资料分享｜大数据开发,前端web开发,python爬虫,Java后端开发相关教学视频和书籍分享(值得收藏,还没更新完,有空再更新)

简述     本人现从事大数据开发工作,平时也会关注和学习一下其他方向的技术，如爬虫,web前端开发…等。俗话说技多不压身,希望能压住头发。以下是我个人觉得还不错的学习资料,可供有需要的朋友免费下载,顺便还有一套不错的简历模版也分享给大家。平时有空的话也会更新各个专题的资料，毕竟技术框架更新迭代还是比较快，稍不留神很多就会被淘汰了。目录简述一、大数据开发1、Flink2、数据挖掘3、Kafka4、Hbase5、Spark6、Flume7、MySQL8、

2021-03-15 10:01:13 136

原创 CDH运维｜节点宕机造成块丢失修复方案

目录一、场景二、修复方案1.检测已损坏的块2.如果文件不重要3.如果文件重要一、场景   cdh集群中某节点长时间宕机，还有数据不断写入hdfs，但是副本数据无法写入已宕机的节点。当宕机节点重启后，clouderManeger集群管理平台会抛出hdfs副本块丢失损坏的异常。eg：群集中有 8 个 副本不足的块 块。群集中共有 10 个块。百分比 副本不足的块: 80.00%。 临界阈值：40.00%。二、修复方案1.检测已损坏的块执行： hdfs fsck /  如下（示例）：2.如果文

2021-03-08 13:25:07 2083

原创 Java集合｜浅谈HashMap底层实现原理

目录一、HashMap源码相关知识二、数据结构三、HashMap常用方法实现四、关于jdk7和jdk8中Hashap的变化一、HashMap源码相关知识   HashMap是Java程序员使用频率最高的用于映射键值对(key和value)处理的数据类型。随着JDK版本的更新，JDK1.8对HashMap底层的实现进行了优化，列入引入红黑树的数据结构和扩容的优化等。Java为数据结构中的映射定义了一个接口java.uti.Map，此接口主要有四个常用的实现类，分别是HashMap，LinkedHash

2021-03-02 14:55:31 363

原创 MySQL运维｜服务器强制断电后导致mysql无法启动(终极方案)

强制断电后导致mysql无法启动1 强制InnoDB恢复 找到mysql的my.cnf文件,添加一下子两个参数: [mysqld] innodb_force_recovery=6(这个值越小越安全,最开始建议设置为1，如果也无法启动再改为2，以此内推) innodb_purge_thread=0注意：只有在紧急情况下才能设置innodb_force_recovery大于0，默认值是0，不进行强制恢复的正常启动。innodb_force_recovery一共有6个级别，举例说明

2020-12-14 15:59:34 7842

原创 Java权限管理｜基于springBoot+springSecurity+jwt实现前后端分离用户权限认证

基于springBoot+springSecurity+jwt实现前后端分离用户权限认证 1. 项目说明 主要基于前后端分离情况下用户权限认证, 当用户登录认证成功后，每个用户会获取到自己的token，在请求其他接口时只需携带token即可,后端会通过token来识别用户身份。springSecurity也有很多种权限认证方式，本项目主要实现基于接口授权，也就是说通过注解给controller赋予权限，用户只有拥有某个接口的权限才能成功访问这个接口，从而实现不同用户拥有不同访问权限; 2.

2020-12-09 14:21:03 3666 2

原创 摘抄: 数仓深度 | 数据模型设计

如果把指标⽐喻成⼀棵树上的果实，那模型就是这棵⼤树的躯⼲，想让果实结得好，必须让树⼲变得粗壮。真实场景举例：⼤多数公司的分析师会结合业务做⼀些数据分析（需要⽤到⼤量的数据），通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQL对资源消耗⾮常⼤，会造成队列阻塞，影响其他数仓任务，会引起数据开发的不满。数据开发会要求收回...

2020-09-04 13:39:10 376

原创 记录：spring-boot+mybatis+mysql 查询数据时间与返回数据时间不一致

开发中遇到一个很奇怪的事，同样的时间参数通过数据库工具可以查到数据，但是接口查不到，就算通过其他参数查询能返回数据，时间相差8个小时左右，其中数据类型为 datetime； 查看数据库时区如下： 可以看出时区不对，我国时区是GMT+8解决办法如下： 在数据库连接配置文件中添加&serverTimezone=GMT%2B8 spring.datasource.mg.ur...

2020-09-04 11:15:21 733

原创 记录：关于IDEA properties文件灰色的解决办法

步骤：preferences -> Editor -> Inspections -> Properties files 将Unused Property的勾取消掉

2020-08-06 14:07:13 4147

ClickHouse原理解析与应用实践
Yandex在2016年6月15日开源了一个数据分析的数据库，名字叫做ClickHouse，这对保守俄罗斯人来说是个特大事。更让人惊讶的是，这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件，例如Vertica。如果你没有听过Vertica，那你一定听过 Michael Stonebraker，2014年图灵奖的获得者，PostgreSQL和Ingres发明者（Sybase和SQL Server都是继承 Ingres而来的）, Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司，后来该公司被HP收购，HP Vertica成

2021-02-25

大数据私房菜_Kafka详解 （2021）
pdf密码：dsjsfc Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2021-02-22

大数据私房菜_Hive详解(2021)
pdf密码 dsjsfc Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

2021-02-22

大数据私房菜_HBase详解(2021)
pdf密码：密码 dsjsfc Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上来讲，它更像是分布式存储而不是分布式数据库，它缺少很多RDBMS系统的特性，比如列类型，辅助索引，触发器，和高级查询语言等。

2021-02-22

大数据私房菜_flink详解（2021）
pdf密码： dsjsfc Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

2021-02-22

大数据私房菜_最全最新面试题（2021）
pdf密码是：dsjsfc 总结了大数据开发基础组件如：hadoop，hive，spark，kafka，hbase，数仓，flink，java，es，flume，等面试体

2021-02-22

大数据私房菜之数据仓库
数据仓库，英文名称为 Data Warehouse，可简写为 DW 或 DWH。数据仓库，是为企业 所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支 持目的而创建。

2021-02-20

基于springBoot+springSecurity+jwt实现前后端分离用户权限认证
主要基于前后端分离情况下用户权限认证, 当用户登录认证成功后，每个用户会获取到自己的token，在请求其他接口时只需携带token即可,后端会通过token来识别用户身份。springSecurity也有很多种权限认证方式，本项目主要实现基于接口授权，也就是说通过注解给controller赋予权限，用户只有拥有某个接口的权限才能成功访问这个接口，从而实现不同用户拥有不同访问权限;

2020-12-09

数据可视化模版.zip
内有多个可视化模版,开箱即用.在开发大屏数据可视化项目时，除了各类图表的开发外，大屏的风格设计也是一项十分重要且耗时的工作。 本文推荐的几款大屏模板，旨在帮助那些有大屏数据可视化开发需求的同学能够快速上手，把更多的时间、精力放在报表本身的开发上。 该套模板采用CSS3的flex布局，具备良好的适应性，能够适配普通PC及各类大屏的常用分辨率。 模板采用了通用的上下和左中右布局，把整个大屏分隔成了若干区域（代码中已实现），方便在具体开发过程中根据实际需要自行调整。

2019-12-09

大数据之数据仓库设计与实现（hadoop,hive）
本书讲述在流行的大数据分布式存储和计算平台 Hadoop 上设计实现数据仓库，将传统数据仓库建模与 SQL 开发的简单性与 大数据技术相结合，快速、高效地建立可扩展的数据仓库及其应用系统。 本书内容包括数据仓库、 Hadoop 及其生态圈的相关概念，使用 Sqoop 从关系数据库全量或增量抽取数据，使用 HIVE 进行数 据转换和装载处理，使用 Oozie 调度作业周期性执行，使用 Impala 进行快速联机数据分析，使用 Hue 将数据可视化，以及数据仓 库中的渐变维（ SCD ）、代理键、角色扮演维度、层次维度、退化维度、无事实的事实表、迟到的事实、累积的度量等常见问 题在 Hadoop 上的处理等。 本书适合数据库管理员、大数据技术人员、 Hadoop 技术人员、数据仓库技术人员，也适合高等院校和培训机构相关专业 的师生教学参考

2018-12-10

笔记 deeplearning 深度学习笔记
主要介绍：神经网络和深度学习，神经网络优化，结构化机器学习项目，卷积神经网络，序列模型。

2018-12-10

书籍 《Apache Kylin》详解
Apache Kylin是Hadoop大数据平台上的一个开源OLAP引擎。它采用 多维立方体预计算技术，可以将大数据的SQL查询速度提升到亚秒级别。 相对于之前的分钟乃至小时级别的查询速度，亚秒级别速度是百倍到千 倍的提升，该引擎为超大规模数据集上的交互式大数据分析打开了大 门。

2018-12-10

书籍：大数据之路：阿里巴巴大数据实践
本书主要讲到阿里巴巴大数据系统架构，就是为了不断满足变化的业务需求，同时实现系统的高度可扩展性，灵活性以及大数据的高性能而设计。本书由阿里巴巴数据技术部和产品部组织完成写作。

2018-12-10

apache shiro视屏讲解(带代码，课件)
Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码和会话管理。使用Shiro的易于理解的API,您可以快速、轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序。

2018-12-04

spring视频
Spring是一个开放源代码的设计层面框架，他解决的是业务逻辑层和其他各层的松耦合问题，因此它将面向接口的编程思想贯穿整个系统应用。

2018-12-04

网站log日志etl项目(带模拟数据，代码，部分代码解析)
etl大概描述：用来将数据从数据源端抽取，转换，加载到目的端的过程。一般而言etl有实时etl和离线etl，这个项目介绍的是离线etl项目，代码中没有配置远程提交集群，如需集群运行需要自行打包代码提交到集群。

2018-12-03

cdh版本sqoop1.99.5 api调用
使用cdh版本的sqoop2 api远程操作sqoop进行数据迁移。

2018-11-23

vue-devtools（已编译，可直接使用）
vue-devtools是一款基于chrome游览器的插件，用于调试vue应用，这可以极大地提高我们的调试效率。

2018-10-25

spring-boot集成mybtis+druid实现hive/mysql多数据源切换
spring-boot集成mybatis+druid实现 hive/mysql多数据源切换，用mysql数据库作为用户验证库以及用户信息库，hive作为数据可视化源库。

2018-09-28

尚硅谷spring boot资源，带代码。
Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者

2018-09-19

关于内存swap在实际开发中的分析
Linux中Swap（即：交换分区），类似于Windows的虚拟内存，就是当内存不足的时候，把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况。Android是基于Linux的操作系统，所以也可以使用Swap分区来提升系统运行效率

2018-08-16

jsr305-3.0.0.jar
jsr305-3.0.0.jar 你所需要的 web 项目中，没有这个包会报错。 oogle guava工具包 其中包括javax.inject jsr305-3.0.1和所有的源码

2018-08-16

azkaban安装包
一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；

2018-08-16

hive _jdbc 连接SASL认证问题

2017-11-24

python: 函数相同 为何结果 就不同了，，，，，想不通

2017-11-15

mapreducer 自定义排序的 compreTO方法怎么理解？？？不懂

2017-11-13

MapReducer 写入到数据库 报错

2017-11-10

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除