- 博客(81)
- 收藏
- 关注
原创 SpringBoot-走览纯代码
文章目录一、版本说明二、简单的用例三、@SpringBootApplication3.1、作用3.2、源码形态3.2.1、@SpringBootConfiguration3.2.1.1、@Configuration3.2.2、@EnableAutoConfiguration3.2.2.1、@AutoConfigurationPackage3.2.2.1.1、AutoConfigurationPackages.Registrar3.2.2.2、AutoConfigurationImportSelector3.
2021-09-03 18:08:18
3485
1
原创 JVM专栏-GC基础
文章目录一、学习路线二、GC基础2.1 基础概念2.2 JVM内存划分JDK 1.82.3 分配对象2.4 收集对象2.4.1 识别垃圾2.4.2 收集算法2.5 收集器2.5.1 分代收集器2.5.2 分区收集器2.5.3 常用收集器三、写在最后一、学习路线建立知识体系: 从 JVM 的内存结构到垃圾收集的算法和收集器,学习 GC 的基础知识,掌握一些常用的 GC 问题分析工具。确定评价指标: 了解基本 GC 的评价方法,摸清如何设定独立系统的指标,以及在业务场景中判断 GC 是否存在问题的手
2021-08-31 10:49:48
280
原创 Spark——性能调优——Shuffle
一、序引 当以分布式方式处理数据时,常常需要执行map与reduce转换。由于巨量数据必须从一个节点传输到另外的节点,给集群中的cpu、磁盘、内存造成沉重的负载压力,同时也会给网络带宽带来压力。所以,reduce阶段进行的shuffle过程,往往是性能的瓶颈所在。 shuffle过程涉及数据排序、重分区、网络传输时的序列化与反序列化,为了减少I/O带宽及磁盘I/O操作,还要对数据
2017-07-29 22:03:52
1350
原创 Spark——性能调优——执行模型与分区
一、序引 考虑到性能问题,而言Spark基本原理、执行模型、描述数据被shuffle(洗牌),乃是前提条件。 掌握数据序列化,缓存机制,以及内存管理、垃圾回收,亦十分必须。 二、Spark执行模型 在大言Spark应用的性能改善之前,十分有必要先了解Spark在集群上分布式执行程序的基础知识。 →当启动一个Spark应用时,driver进程会随着集群
2017-07-21 18:00:24
1248
原创 中国历史时期划分
一、上古史:周以前 二、中古史: 上:从秦朝统一起,到后汉全盛时代止 中:从汉末分裂起,到南北朝止 下:从隋朝统一起,到唐朝全盛时代止 三、近古史: 上:从唐中叶以后藩镇割据起,到五代止 中:北宋 下:南宋 四、近世史: 上:元
2016-06-16 06:31:19
3236
原创 Hadoop分布式文件系统——LZO
Hadoop提供了bzip2、gzip、DEFALTE等多种传统压缩算法,亦实现了这些算法的JAVA实现。因为,既可以用FileSystem API对文件进行压缩和解压,也可以通过MapReduce输入输出格式化来实现。这些算法的缺点是:压缩格式不可分割,即不可分片! 然而,Hadoop的一个作业流程中,是由输入文件字节数与数据块的字节数(默认数据块是64MB)决定mapper启动的数量。
2016-01-22 11:27:59
1099
原创 Hadoop分布式文件系统——HDFS的读写
HDFS是运行在通用硬件平台上的可容错分布式文件系统。它优化了大文件的流式读取模式,适用于那些高吞吐并且对延迟性要求相对比较低的场景。它还通过文件“一次写入,多次读取”的简单策略保证了数据的一致性。HDFS亦使用了“块复制”的概念,让数据在集群的节点间进行复制,每个数据块复制的份数由“复制因子”决定。 HDFS包含三个服务: A、NameNode:
2016-01-22 10:06:26
2094
原创 Hadoop分布式文件系统——导入和导出数据
一、使用hadoop shell命令导入和导出数据到HDFS →1、创建新目录:hadoop fs -mkdir /data/logs/ →2、从本地复制到HDFS的新目录:hadoop fs -copyFromLocal entries.log /data/logs →3、列出HDFS上entries.log文件信息:hadoop fs -ls
2016-01-10 15:45:45
12542
原创 《山海经——海外经》
海外南经 结匈国→南山→比翼鸟→羽民国→二八神→毕方鸟→讙头国→厌火国→三株村→三苗国→臷国→贯匈国→交胫国→不死民→岐舌国→昆仑虚→寿华之野→三首国→周饶国→长臂国→狄山→南方祝融 海外西经 灭蒙鸟→大运山→大乐之野→三身国→一臂国→奇肱国→形天与帝争神→女祭女戚→(上次下鸟)鸟(左詹右鸟)鸟→丈夫国→女丑之尸→巫咸国→并封→女子国→轩辕国→穷山→诸夭
2015-11-15 20:17:41
2814
1
原创 《山海经——五藏山经》
南山经 南山经→鹊山→招瑶山→堂庭山→猿翼山→杻阳山→柢山→亶爰山→基山→青丘山→箕尾山 南次二经→柜山→长右山→尧光山→羽山→瞿父山→句馀山→浮玉山→成山→会稽山→夷山→仆勾山→咸阴山→洵山→虖勺山→区吴山→鹿吴山→漆吴山 南次三经→天虞山→祷过山→丹穴山→发爽山→旄山→非山→阳夹山→灌湘山→鸡山→令丘山→仑者山→禺稾山→南禺山 西山
2015-11-01 09:36:51
3894
原创 历史文化百科(一)
一、露西 1974年,考古学家在埃塞俄比亚东北部阿法(Afar)地区发现了一具几乎完整的、高达1.1米的女性非洲南方古猿遗骨,这项发现引起了前所未有的轰动。她被称为“露西”,名字来自于当时考古营地正在播放的甲壳虫乐队的一首歌。媒体很快把她称做“缺失的环节”。她属于人类种系,并且拥有所有直立行走的解剖特征。她的骨骼和牙齿提供了关于其生活方式的珍贵信息。二、尼安德特人化石 1856年,人们在
2015-08-09 21:14:22
1275
原创 《Java Concurrency in Practice》之线程封闭(Thread Confinement)
当访问共享的可变数据时,通常需要使用同步。一种避免使用同步的方式就是不共享数据。如果仅在单线程内访问数据,就不需要同步。这种技术被称为是线程封闭(Thread Confinement),它是实现线程安全性的最简单方式之一。当某个对象封闭在一个线程中时,这种用法将自动实现线程安全性,即使被封闭的对象本身不是线程安全性的。 Swing中大量使用了线程封闭技术。Swing的可视化组件和数据模型都
2015-07-27 16:46:05
1529
原创 密码学的进化史——手工加密阶段
一、手工加密阶段 密码学很早就广泛应用于古代战争中,使用手工方式完成加密损伤,以确保战争中军事信息的秘密传送,这一阶段称为手工加密阶段。这一阶段是古典密码学蓬勃发展的时期,称为古典加密阶段。 公元前1000年左右,武王伐纣时期。见于周朝兵书《六韬·龙韬》,书中记载了周朝著名军事家姜子牙为战时通信制定的两种军事通信密码:阴符和阴书。阴符是使用双方在通信前事先制造的一套尺寸不等、形状各异
2015-07-19 19:05:33
4951
原创 《世界历史》—史前时期的分期
史前时期分为旧石器时代、新石器时代、青铜时代以及铁器时代:旧石器时代早期:约公元前250万~前1万年新石器时代:公元前10000/8000~前4000/1800年青铜时代:约公元前4000~前700年(中东);公元前1800~前800年(欧洲)铁器时代:始于约公元前1100/前800年人类的史前时期处于地质时代的第四纪:更新世早期:约公元前180万~前80万年更新世中期:约公元前80万
2015-07-18 17:26:25
5418
原创 微信开发流程梳理(一)
该经验适用于网页程序的开发,且针对企业号! 一、获取code 1、官方url:https://open.weixin.qq.com/connect/oauth2/authorize?appid={0}&redirect_uri={1}&response_type=code&scope=snsapi_base&state={2}#wechat_redirect
2015-05-20 17:39:30
1417
原创 大型互联网流量统计之简易架构
一、采集端 1、概述:收集所有需要统计的指标,录入文件或数据库。收集端的数据,是最原始的数据。 2、方式:(1)、可通过Servlet的Filter程序,生成详细的日志文件,即原始数据。 (2)、可用javascript的方式,获取数据。 二、分析端
2015-03-25 12:08:41
1128
原创 大型互联网流量统计之统计指标
一、基本指标: (一)、UV: 统计规则:任意统计时间内,不重复的计数。 标识:注册并登录的用户,无须再另行标识;非注册用户,需要标识,可采用cookie的方式。 (二)、PV: 统计规则:任意统计时间内,所有浏览页面的访问行为计数,不去重。 标识:可采用用户方式的标识,也可用网站栏目标识。 (三)、
2015-03-24 09:38:22
2274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人