- 博客(167)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 hive 参数优化
SET hive.exec.dynamic.partition = true;SET hive.exec.dynamic.partition.mode = nonstrict;SET mapreduce.job.running.reduce.limit = 800;SET mapreduce.job.running.map.limit = 1000;SET mapreduce.job.reduce.slowstart.completedmaps = 1.0;SET mapred.output.co
2021-06-18 19:50:44
861
1
原创 hive 频繁gc 参数配置
set mapreduce.map.memory.mb=6144;set mapreduce.map.java.opts=-Xmx6144M;set mapreduce.map.cpu.vcores = 4;set mapreduce.reduce.memory.mb=8192;set mapreduce.reduce.java.opts=-Xmx6144M;set mapreduce.reduce.cpu.vcores = 8;
2021-06-18 18:52:34
1396
原创 hive 删除多个分区
ALTER TABLE table_name drop if exists partition (dt='2020-03-23' , hh_mm_ss>='24:00:00')
2021-05-19 13:29:38
1936
1
转载 大表join小表优化
大表join小表优化 和join相关的优化主要分为mapjoin可以解决的优化（即大表join小表）和mapjoin无法解决的优化（即大表join大表），前者相对容易解决，后者较难，比较麻烦。 首先介绍大表join小表优化。以销售明细表为例来说明大表join小表的场景。 假如供应商进行评级，比如（五星、四星、三星、二星、一星），此时因为人员希望能够分析各供应商星级的每天销售情况及其占比。 开发人员一般会写出如下SQL： selects..
2021-04-26 11:55:03
2780
原创 hive 之with....as的用法
hive 之with....as的用法1.作用 with 。。as需要定义一个sql片段,会将这个片段产生的结果集保存在内存中,后续的sql均可以访问这个结果集,作用与视图或临时表类似.2语法with...as...必须和其他sql一起使用(可以定义一个with但在后续语句中不使用他) with...as...是一次性的，是临时的...
2021-04-26 11:43:23
583
转载 【数据仓库】——星型模型和雪花模型
一、星型模型当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型。星型架构是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，不存在渐变维度，所以数据有一定的冗余，如在地域维度表中，存在国家A 省B的城市C以及国家A省B的城市D两条记录，那么国家A和省B的信息分别存储了两次，即存在冗余。二、雪花模型当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的
2021-04-26 11:26:56
2177
转载 查询语句中select from where group by having order by的执行顺序
查询语句中select from where group by having order by的执行顺序1.查询中用到的关键词主要包含六个，并且他们的顺序依次为select--from--where--group by--having--order by其中select和from是必须的，其他关键词是可选的，这六个关键词的执行顺序与sql语句的书写顺序并不是一样的，而是按照下面的顺序来执行from--where--group by--having--select--o...
2020-11-26 16:42:17
370
转载 spark中job，stage，task之间的关系
转载https://blog.youkuaiyun.com/mys_35088/article/details/80864092?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add.
2020-11-11 13:28:31
2965
转载 git官网下载太慢解决方法
转载：https://blog.youkuaiyun.com/weixin_44198965/article/details/99686507下载传送门https://npm.taobao.org/mirrors/git-for-windows/选择版本进入后，选择你想要的版本，它里面是降序排序。
2020-08-26 10:47:23
483
转载 70道阿里的Java面试题
整理的70道阿里的Java面试题，都来挑战一下，看看自己有多厉害。1、java事件机制包括哪三个部分？分别介绍。2、为什么要使用线程池？3、线程池有什么作用？4、说说几种常见的线程池及使用场景。5、线程池都有哪几种工作队列？6、怎么理解无界队列和有界队列？7、线程池中的几种重要的参数及流程说明。8、什么是反射机制？9、说说反射机制的作用。10、反射机制...
2019-07-27 14:59:58
235
转载 亿级流量电商详情页系统的大型高并发与高可用缓存架构实战 目录
对于高并发的场景来说，比如电商类，o2o，门户，等等互联网类的项目，缓存技术是Java项目中最常见的一种应用技术。然而，行业里很多朋友对缓存技术的了解与掌握，仅仅停留在掌握redis/memcached等缓存技术的基础使用，最多了解一些集群相关的知识，大部分人都可以对缓存技术掌握到这个程度。然而，仅仅对缓存相关的技术掌握到这种程度，无论是对于开发复杂的高并发系统，或者是在往Java高级工程师、Ja...
2019-07-27 14:36:56
664
转载 海量数据判重——布隆过滤器（Bloom filter）与Bitmap对比
布隆过滤器关于布隆过滤器（Bloom filter）的介绍部分，大多翻译自Wikipedia简介布隆过滤器（Bloom filter）是一个高空间利用率的概率性数据结构，由Burton Bloom于1970年提出。被用于测试一个元素是否在集合中（由于集合无重复元素的性质，可用来判重）。可在数据量大到传统无错误散列（hash）方法需要使用的内存量是不可满足时使用，传统无错散列方法可以消除...
2019-04-24 10:04:06
4348
转载 缓存之缓存穿透、缓存击穿、缓存雪崩
目录概述一、缓存处理流程二、缓存穿透三、缓存击穿四、缓存雪崩概述什么样的数据适合缓存？分析一个数据是否适合缓存,我们要从访问频率、读写比例、数据一致性等要求去分析.一、缓存处理流程前台请求，后台先从缓存中取数据，取到直接返回结果，取不到时从数据库中取，数据库取到更新缓存，并返回结果，数据库也没取到，那直接返回空结果。...
2019-04-24 09:49:16
290
转载 Java并发编程六：CountDownLatch、CyclicBarrier和 Semaphore
Java并发编程：CountDownLatch、CyclicBarrier和 Semaphore在java 1.5中，提供了一些非常有用的辅助类来帮助我们进行并发编程，比如CountDownLatch，CyclicBarrier和Semaphore，今天我们就来学习一下这三个辅助类的用法。以下是本文目录大纲：一.CountDownLatch用法二.CyclicBarrier用法...
2019-04-22 09:46:45
421
转载 Java 并发编程零：乐观锁与悲观锁
Java 并发编程--乐观锁与悲观锁目录目录Java 并发编程--乐观锁与悲观锁1.概述：首先介绍一些乐观锁与悲观锁:2.悲观锁:3.乐观锁：CAS：JAVA对CAS的支持： CAS原理：CAS缺点：CAS与Synchronized的使用情景： concurrent包的实现：JVM中的CAS（堆中对象的分配）： 4.悲观锁和乐观锁的实战...
2019-04-17 10:07:24
370
转载 Java 并发编程五：volatile的使用及其原理
Java 并发编程：volatile的使用及其原理Java并发编程系列：Java 并发编程：核心理论Java并发编程：Synchronized及其实现原理Java并发编程：Synchronized底层优化（轻量级锁、偏向锁）Java 并发编程：线程间的协作(wait/notify/sleep/yield/join)Java 并发编程：volatile的使用及其原理一...
2019-04-17 09:34:56
181
转载 Java 并发编程四：线程间的协作(wait/notify/sleep/yield/join)
Java 并发编程：线程间的协作(wait/notify/sleep/yield/join)一、线程的状态 Java中线程中状态可分为五种：New（新建状态），Runnable（就绪状态），Running（运行状态），Blocked（阻塞状态），Dead（死亡状态）。 New：新建状态，当线程创建完成时为新建状态，即new Thread(...)，还没有调用start方法时...
2019-04-17 09:32:11
183
转载 Java 并发编程一：核心理论
Java 并发编程：核心理论 并发编程是Java程序员最重要的技能之一，也是最难掌握的一种技能。它要求编程者对计算机最底层的运作原理有深刻的理解，同时要求编程者逻辑清晰、思维缜密，这样才能写出高效、安全、可靠的多线程并发程序。本系列会从线程间协调的方式（wait、notify、notifyAll）、Synchronized及Volatile的本质入手，详细解释JDK为我们提供的每种并发...
2019-04-17 09:29:58
248
转载 Java并发编程二：Synchronized及其实现原理
Java并发编程：Synchronized及其实现原理一、Synchronized的基本使用 Synchronized是Java中解决并发问题的一种最常用的方法，也是最简单的一种方法。Synchronized的作用主要有三个：（1）确保线程互斥的访问同步代码（2）保证共享变量的修改能够及时可见（3）有效解决重排序问题。从语法上讲，Synchronized总共有三种用法： （1...
2019-04-17 09:28:11
195
转载 Java并发编程三：Synchronized底层优化（偏向锁、轻量级锁等各种锁）
Java并发编程：Synchronized底层优化（偏向锁、轻量级锁等）目录Java并发编程：Synchronized底层优化（偏向锁、轻量级锁）一，概述二，CAS算法三，Java对象的对象头，以及Mark Word四，各种锁五，在应用层提高锁效率的方案六、总结一，概述什么是java的锁？1，java中使用synchronized关键字来实现同步功能...
2019-04-17 09:03:12
279
转载 负载均衡之Haproxy配置详解（及httpd配置）
负载均衡之Haproxy配置详解（及httpd配置）下图描述了使用keepalived+Haproxy主从配置来达到能够针对前段流量进行负载均衡到多台后端web1、web2、web3、img1、img2.但是由于haproxy会存在单点故障问题，因此使用keepalived来实现对Haproxy单点问题的高可用处理。三大主流软件负载均衡器对比(LVS VS Nginx VS ...
2019-03-26 11:59:39
480
转载 WEB请求过程(http解析,浏览器缓存机制,域名解析,cdn分发)
WEB请求过程(http解析,浏览器缓存机制,域名解析,cdn分发)目录WEB请求过程(http解析,浏览器缓存机制,域名解析,cdn分发)概述HTTP解析HTTP请求头HTTP响应头HTTP状态码浏览器缓存机制DNS域名解析DNS解析过程跟踪域名解析过程的命令清除缓存的域名CDN(Content Delivery Network)...
2019-03-26 11:40:42
5670
转载 @Slf4j注解实现日志输出
自己写日志的时候，肯定需要:private final Logger logger = LoggerFactory.getLogger(LoggerTest.class);每次写新的类，就需要重新写logger有简单的方式，就是使用@Slf4j注解首先是在pom中引入:<!--可以引入日志 @Slf4j注解--><dependency> &...
2019-03-12 09:23:47
758
转载 Springboot整合log4j2日志全解
在项目推进中，如果说第一件事是搭Spring框架的话，那么第二件事情就是在Sring基础上搭建日志框架，我想很多人都知道日志对于一个项目的重要性，尤其是线上Web项目，因为日志可能是我们了解应用如何执行的唯一方式。在18年大环境下，更多的企业使用Springboot和Springcloud来搭建他们的企业微服务项目，此篇文章是博主在实践中用Springboot整合log4j2日志的总结。常...
2019-03-12 09:22:45
357
转载 【DDD 12】业务建模实践 —— 人关注人
【DDD】业务建模实践 —— 人关注人目录【DDD】业务建模实践 —— 人关注人1. Round-I业务建模业务模型示例代码2. Round-II 业务建模业务模型代码示例3. Round-III业务建模业务模型示例代码4. Round-IV业务建模业务模型示例代码5. Summarize 正文 社...
2019-02-27 09:03:03
547
转载 【DDD 11】业务建模实践 —— 删除帖子
【DDD】业务建模实践 —— 删除帖子目录【DDD】业务建模实践 —— 删除帖子1. 业务建模2. 业务模型3. 示例代码4. 建模经验使用“继承”方式实现不同角色的同类实体持续集成尽早发现模型中的不足5. 源码6. 迭代正文 本文是基于上一篇‘业务建模战术’的实践，主要讲解‘删除帖子’场景的业务建模，包括：业务建模、业务模型、示例代码；示例代...
2019-02-27 08:58:44
312
转载 【DDD 10】业务建模实践 —— 发布帖子
【DDD】业务建模实践 —— 发布帖子目录【DDD】业务建模实践 —— 发布帖子1. Round-I业务建模业务模型代码示例构造方法setter方法posting方法2. Round-II业务建模业务模型 示例代码 组合关系集合化处理改写TopicPost的equals和hashCode方法3. Round-III业务建模...
2019-02-27 08:56:39
616
转载 【DDD 9】领域驱动设计实践 —— Domain层实现
【DDD】领域驱动设计实践 —— Domain层实现目录【DDD】领域驱动设计实践 —— Domain层实现1. Domain层2. domain entity3. value object4. domain service5. domain event6. domain factory7. repository8. 领域建模示例9. demo正...
2019-02-27 08:53:33
1775
转载 【DDD 8】领域驱动设计实践 —— Application层实现
【DDD】领域驱动设计实践 —— Application层实现目录【DDD】领域驱动设计实践 —— Application层实现1. Application层2. Serviceservice是组件粘合剂思考类图代码示例 3. AssemblerAssembler是组装器示例代码 思考4. 类图5. demo 正文 本文是...
2019-02-26 16:51:49
1808
转载 【DDD 7】领域驱动设计实践 —— UI层实现
【DDD】领域驱动设计实践 —— UI层实现目录【DDD】领域驱动设计实践 —— UI层实现1. User Interface2. Controllercontroller是公司前台controller的职责controller的实现BaseController类图 代码示例3. DTODTO是controller和service之间数据传输的...
2019-02-26 16:41:36
535
转载 【DDD 6】领域驱动设计实践 —— 业务建模战术
【DDD】领域驱动设计实践 —— 业务建模战术目录【DDD】领域驱动设计实践 —— 业务建模战术1. 用一句话描述业务场景2. 小步快跑，不断迭代3. 短而高效的讨论很重要4. 将你的建模思考过程写下来5. 先从复杂的业务case开始建模6. 用业务术语代替技术术语 正文 本文结合团队在COMMUNITY（社区服务系统）业务建模过程中的实践经验，总...
2019-02-26 16:39:52
426
转载 【DDD 5】领域驱动设计实践 —— 限界上下文识别
【DDD】领域驱动设计实践 —— 限界上下文识别目录【DDD】领域驱动设计实践 —— 限界上下文识别1. 限界上下文（Bounded Context）2. 上下文图（Context Map）共享内核（Shared Kernel）客户/供应商（Customer/Supplier）Conformist（追随者）防腐层（Anticorruption Layer）公...
2019-02-26 16:38:45
591
转载 【DDD 4】领域驱动设计实践 —— 框架实现
【DDD】领域驱动设计实践 —— 框架实现目录【DDD】领域驱动设计实践 —— 框架实现1. 框架实现图2. 框架详述User Interface层dtocontrollerapplication层serviceassemblerdomain层domain entitydomain value objectdomain factory...
2019-02-26 16:36:51
598
转载 【DDD3】领域驱动设计实践 —— 架构风格及架构实例
目录1. 概述2. 架构风格六边形架构（端口和适配器）RESTCQRS事件驱动3. 架构实例架构图 架构详述 正文本文是【DDD】系列文章中的其中一篇，其他可参考：使用领域驱动设计思想实现业务系统 1. 概述DDD为复杂软件的设计提供了指导思想，其将易发生变化的业务核心域放置在限定上下文中，在确保核心域一致性和内聚性的基础上，DDD...
2019-02-26 16:31:27
947
转载 【DDD2】领域驱动设计精要
【DDD】领域驱动设计精要目录【DDD】领域驱动设计精要1. 定义2. 核心3. 概念4. 图解分层图模式图5. 思考 正文 本文算是《领域驱动设计》这本书的读书笔记，加上自己的一些读后感。网上有很多这本书的读书笔记，但是都是别人的，不如自己总结的理解深刻。建议大家在读这本书时结合《实现领域驱动设计》一起看，同时，一定要去实际建模和编码，理论...
2019-02-26 16:30:31
362
转载 【DDD1】使用领域驱动设计思想实现业务系统-目录篇
最近新接了一个业务系统——社区服务系统，为了快速熟悉和梳理老系统的业务逻辑和代码，同时对老系统代码做一些优化，于是打算花上一个月时间不间断地对老系统服务进行重构。同时，考虑到社区业务的复杂性，想起了之前做用户系统时尝试过的领域驱动建模（简称DDD，英文全称为：Domain Driven Design），思量之下，觉得DDD非常适合这种复杂业务逻辑的系统。毫不迟疑，开搞！ 之前在做用户系统时，...
2019-02-26 16:28:17
734
转载 领域驱动设计（DDD）在美团点评业务系统的实践
前言 至少30年以前，一些软件设计人员就已经意识到领域建模和设计的重要性，并形成一种思潮，Eric Evans将其定义为领域驱动设计（Domain-Driven Design，简称DDD）。在互联网开发“小步快跑，迭代试错”的大环境下，DDD似乎是一种比较“古老而缓慢”的思想。 然而，由于互联网公司也逐渐深入实体经济，业务日益复杂，我们在开发中也越来越多地遇到传统行业软件开发中所面...
2019-02-26 08:51:18
2699
转载 win10 eclipse git not authoried
摘要： 1 发现问题 有的朋友改了域用户名和密码，发现在eclipse下无法pull和push分支，报错not authorized信息。2 解决问题 window>preferences>general>security>content>git>delete 即可清除原有密码，再次pull时输入新密码即可。 ...
2019-02-18 12:59:30
421
转载 Java7和Java8的自由切换（Win10）
记录在电脑中同时安装java7和java8的过程1.下载并安装jdk1.7 和jdk1.8百度找资源或者直接官网下载：https://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html2.安装完成后配置环境变量因为我们先后安装了java7和java8，这里贴一下安装目录jdk1...
2019-02-12 14:24:17
938
转载 金融大数据架构概述与应用
问题导读：1、如何设计金融大数据架构？2、IBM如何看待未来大数据趋势？3、架构设计容易忽略的细节有哪些？【导读】本文选自杨晓洋于2016年7月7日在清华大学经管学院伟伦楼所做的《金融大数据架构概述与应用》的演讲。他在介绍IBM眼中的几个大趋势的同时也讲了一些大数据基础架构的内容，从技术问题和实际需求出发，采用多个案例说明了构建金融大数据架构的具体细节和重点问题，以及处理大数据时候要做这些考...
2019-01-18 15:31:17
2931
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人