小弟_liao的博客

原创 莫名的-坑

想起了那天工作室开会，自己信誓旦旦的说起3d漫游的，我说:"有谁知道DirectX吗，有谁知道3d漫游吗"。3d之路还是不好走的，各种API的调用，想想都觉得没谁了。windows的基础还是没有过，3d漫游之路太漫长了。有些时候就会莫名其妙的踩入某些坑，你迟迟的走不出来。现在想起来才知道此言差矣。

原创 《将博客搬至优快云》

将博客搬至优快云

原创 2022-10-30

时间过得好快，每次来简书都是感叹这句话。以前是我推着生活走，现在是生活推着我前行。随着人变得世俗、没有了以前的理想世界，反倒觉得自己成熟了，适应了这个虚假的社会。对有权力的人、领导要顺从，对普通的只有一面之缘的人要狐假虎威，对自己的另一半要忍受和督促，对家人要思念，对真心的朋友要维护，对普通的朋友或同事要虚假。什么才是好的"谈话的艺术"？国庆去老刘的老家，大家都说鹏好会说话，可以得人心，到...

原创 2022-09-13

时间好快，每次来到简书，仿佛时间过去一个世纪。

原创 2022-06-05

身体真的很奇妙，比如一直刷视频或者玩一些玩物丧志的东西，就会精神颓圮，但是如果去锻炼做一些无氧运动，眼神立刻就变得清澈起来，身体也开始调度，疲惫-活力-思考，就会接踵而至。我老是对别人说，人生要有追求。可是有了追求又能变成怎样，有了钱又能怎样？到最后我仿佛变成圣僧了，真是自视清高。那么理想生活到底是怎么样的？我觉得第一个肯定是拥有健康的身体，第二个是需要有良性的循环来促进，第三个就是自我反思。...

原创 20211005

今天上午没有做事，下午又把计划安排上。运行了hdfs，看了hdfs的页面管理。了解了在spark-shell中，初始化了sparksession，️sparksession又创建了sparkcontext名为sc，用sparksession(spark)读文本为spark.read.textFile与sparkcontext(sc)读文本为sc.textFile两种方式生成的变量类型是不一样的。前...

原创 2021-10-02

今天是国庆的第二天，按照昨天的计划做了很多事，如下：1.安装hadoop环境2.安装spark环境，并使用sparkcontxt的readFile读取文件，使用了dataset的filter，map，count的操作3.了解了fork/join的大概构成4.学习了二分查找的思想，二分查找，最重要的点在于1)随着对比的进行，start和end需要变化，2)对于寻找中间点，用(end-star...

原创 2021-08-08

一个周末又快要收尾了，时间啊，过的好快。周五下班和杨去游泳，游完后身体变得很轻松，也不会像做在工位上那么累。周六上午还是游泳+篮球，一直搞到了下午5点半回家，傻儿子在面试拼多多，没有过，又哭了起来，我呵斥了她，我不想她那么脆弱，每次都这样形成了习惯。晚上去好利来发的生日用了公司卡。今天起床，一阵无力，一点想动也不。杨来了微信说去华阳打疫苗。屁颠屁颠打车过去，结果早就大排长龙，又打车转场到银泰...

原创 2020-02-01

这个年过得有些沉重，湖北新型冠状病毒肺炎，科比去世。疫情让我觉得恐惧，也为拼搏在一线的工作人员脱帽致敬。但是，对于一个对篮球痴狂的人，他们也许不能理解我作为一个球迷的心情。那是一种什么心情，就好比篮球是我的宗教信仰，一个人总得有信仰，不管是篮球，宗教，恋情，家人，追剧，看书，还是其他。信仰是我们活着的意义。我也许见过没有信仰的人的样子，脸上充满着迷茫，不甘，冷漠，无所事事，说话显得没有一点力...

原创 MySQL 加锁处理分析

一、背景MySQL/InnoDB的加锁分析，一直是一个比较困难的话题。我在工作过程中，经常会有同事咨询这方面的问题。同时，微博上也经常会收到MySQL锁相关的私信，让我帮助解决一些死锁的问题。本文，准备就MySQL/InnoDB的加锁问题，展开较为深入的分析与讨论，主要是介绍一种思路，运用此思路，拿到任何一条SQL语句，都能完整的分析出这条语句会加什么锁？会有什么样的使用风险？甚至是分析线上的一...

原创 《Moon River》

《Moon River》《月亮河》奥黛丽·赫本演唱moon.jpg奥黛丽·赫本.jpgMoon river, wider than a mile　　月亮河，宽不过一里I'm crossing you in style some day　　来日优雅地见到你Oh, dream maker, you heart breaker　　哦，织梦人，那碎心人Wherever y...

原创 LockSupport.park(...)

AQS是java.conccurent包下诸多工具类的抽象基类，借以AQS抽象基类，实现如lock,unlock,condition.wait,condition.signal等重要功能。其中ReentrantLock(可重入锁)就是借以AQS实现加锁，释放锁，线程阻塞，线程唤醒等功能。对于独占式(Exclusive)lock()->acquire()--->tryAcquir...

原创 我的世界观

我的世界观阿尔伯特·爱因斯坦我们这些总有一死的人的命运多么奇特！我们每个人在这个世界上都只作一个短暂的逗留；目的何在，却无从知道，尽管有时自以为对此若有所感。但是，不必深思，只要从日常生活就可以明白：人是为别人而生存的──首先是为那样一些人，我们的幸福全部依赖于他们的喜悦和健康；其次是为许多我们所不认识的人，他们的命运通过同情的纽带同我们密切结合在一起。我每天上百次的提醒自己：我的精神生活和物...

原创 2019-08-25

8月是个是非之月，在7月心血来潮，想要立马回到成都，在这残酷的8月把我打倒。我的工作经验处在十分尴尬的境地，这个我也心知肚明，当初信誓旦旦的说，去南京不过待两年，多么so easy的事，在现在看来举步维艰。因为这不仅仅是换个工作环境，换个地方生活，而是要放下很多，人是自私的，越是迫于环境需要放下的东西，越是难以放下，男生是后知后觉的，在慢慢经历人情世故，时光变迁后才发现，原来女生的心理是敏锐的，对...

原创 ES索引原理

介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎.Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎. 当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。实时分析的分布式搜索引擎。...

原创 统计手机用户流量日志

目录前言单词统计统计手机用户流量日志即将开始...统计手机用户流量日志需求分析需要统计手机用户流量日志，日志内容实例：要把同一个用户的上行流量、下行流量进行累加，并计算出综合。例如上面的13897230503有两条记录，就要对这两条记录进行累加，计算总和，得到：手机号上行流量下行流量总流量138972305035001600210...

原创 即将开始...

目录前言单词统计统计手机用户流量日志即将开始...Hadoop如何实现分布式Hadoop怎样在运行7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS，是数据库管理员的基础课程1、分布式文件系统HDFS简介2、HDFS的系统组成介绍3、HDFS的组成部分详解4、副本存放策略及路由规则5、NameNode Federation6、命令行接口...

原创 单词统计

目录前言单词统计统计手机用户流量日志即将开始...有一个文本文件，被分成了4份，分别放到了4台服务器中存储Text1：the weather is goodText2：today is goodText3：good weather is goodText4：today has good weather现在要统计出每个单词的出现次数。1.单词统计的业务过程拆解1.1...

原创 2019-06-06

旅途的意义并不在于目的地，而是在到达目的地之前遇到的未知的经历，每一样都会激起你的肾上腺素，让你觉得世界并不是一成不变的，还有很多有趣的地方。选择6.1儿童节回去找傻儿子，是我做出的一个改变，人总是希望自己越来越好——有好的习惯，有好看的外表，有强大的心灵。但，事实一般与此并列或相反。我一直蜷缩在自己的世界里，要想改变自己是漫长的，那些长久习来的德行，不可能两三天就改变，过于激动别人会为你莫名其妙...

原创 Apache Druid

介绍Druid是一个拥有大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍然能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延时问题，当时试图使用hadoop来实现交互式查询分析，但是很难满足实时分析的需要。而Druid提供了以交互方式访问数据的能...

原创 大数据理论体系总结--数据仓库管理与全链路数据体系

前言就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。那么我们回过头来考虑，什么是大数据，什么又是数据仓库，什么又是数据技术。大数据其实是个非常笼统的感念，它是由数据仓库演化而来的数据与技术方法论，那么我们先说一下数据仓库的由来：早在多年以前在...

原创 2019-05-23

我突然想起一件好笑的事，17年我在成都实习的时候，在源讯，这是一家做软硬件咨询服务的公司，是个外企，在成都设了个分公司，一共两层，第一层是专门“接电话”的，二层更高级一点，感觉是做硬件相关的。当时我和另一个小伙伴一起给他们开发一个自动化运维工具，基于python、web框架django的网页应用。当时是上午在给我的一个上司汇报工作的进度，以及应该怎么开展、工作点，一个楼上来的“高端人士”，看我...

原创 大数据治理平台——维度管理

背景image苏宁八大产业,每个产业有自己的数据集市,每个数据集市有自己的维度表，没有统一的维度管理(包括管理规范和系统支撑)。业务痛点包含以下几个方面：维度业务口径不统一，缺乏有效的管理流程来对其进行管理和约束，维度建设存在重复和歧义。对于维度服务的开发，各个产品中心需要各自实现，造成开发成本重复投入。例如公司的维度。业务人员想查询维度信息，缺乏可靠的公共平台去快速方便的查...

原创 《一生所爱》

卢冠廷从前 现在 过去了 再不来红红 落叶 长埋 尘土内开始终结总是 没变改天边的你飘泊 白云外苦海 翻起爱恨在世间 难逃避命运相亲 竟不可 接近或我应该 相信 是缘分情人 别后 永远 再不来(消散的情缘)无言 独坐 放眼 尘世外(愿来日再续)鲜花虽会凋谢(只愿) 但会再开(为你)一生所爱隐约(守候) 在白云外(期待)苦海 翻起爱恨在世间 难逃避命运相亲...

原创 《追梦赤子心》

GaLa充满鲜花的世界到底在哪里 如果它真的存在那么我一定会去我想在那里最高的山峰矗立 不在乎它是不是悬崖峭壁用力活着用力爱哪怕肝脑涂地 不求任何人满意只要对得起自己关于理想我从来没选择放弃 即使在灰头土脸的日子里也许我没有天分 但我有梦的天真 我将会去证明用我的一生也许我手比较笨 但我愿不停探寻 付出所有的青春不留遗憾向前跑 迎着冷眼和嘲笑 ...

原创 spring-cloud

Spring Cloud 是一个基于 Spring Boot 实现的微服务框架，它包含了实现微服务架构所需的各种组件。注：Spring Boot 简单理解就是简化 Spring 项目的搭建、配置、组合的框架。因为与构建微服务本身没有直接关系，所以本文不对 Spring Boot 进行展开。另外本文有一些例子涉及到 Spring 和 Spring Boot，建议先了解一下 Spring 和 Sp...

原创 java之happens-before

如果Java内存模型中所有的有序性都仅仅靠volatile和synchronized来完成，那么有一些操作将会变得很烦琐，但是我们在编写Java并发代码的时候并没有感觉到这一点，这是因为Java语言中有一个“先行发生”(happens-before)的原则。 这个原则非常重要，它是判断数据是否存在竞争、 线程是否安全的主要依据，依靠这个原则，我们可以通过几条规则一揽子地解决并发环境下两个操作之间是...

原创 java之synchronized

1. synchronized介绍在java代码中使用synchronized可以使用在代码块和方法中，根据Synchronized用的位置可以有这些使用场景：image.png如图，synchronized可以用在方法上也可以使用在代码块中，其中方法是实例方法和静态方法分别锁的是该类的实例对象和该类的对象。而使用在代码块中也可以分为三种，具体的可以看上面的表格。这里需要注意的是：...

原创 11月

让我谈一谈11月吧。11月初把之前的工作和生活氛围全丢了，而后在月中又慢慢挣扎和适应，月末仿佛又参透了一般，这种“透”说实话，不是偶然的心血来潮，这是经过一段时间的自律和沉淀所带来的正效应，跟颓废之后又想起自己需要走上正轨不同，总之这种感觉很奇妙，就像全世界都抓在自己手里一样，时间一分一秒也跑不掉。前几个月的生活状态是晚上11点半睡，早上6点40起。这个月的20号我决定改变这种状态，于是晚上1...

原创 spark支持的常用文件格式

原创 spark—键值对操作

1.JavaPairRDD背景键值对 RDD 通常用来进行聚合计算。先通过一些初始 ETL(抽取、转 化、装载)操作来将数据转化为键值对形式。键值对 RDD 提供了一些新的操作接口让用户控制键值对 RDD 在各节点上分布情况的高级特性：分区。使用可控的分区方式把常被一起访问的数据放到同一个节点上，可以大大减少应用的通信 开销。这会带来明显的性能提升。Spark 为包含键值对类型的 RDD ...

原创 数据库范式

第一范式1、每一列属性都是不可再分的属性值，确保每一列的原子性2、两列的属性相近或相似或一样，尽量合并属性一样的列，确保不产生冗余数据。12如果需求知道那个省那个市并按其分类，那么显然第一个图是不容易满足需求的，也不符合第一范式。12显然第一个图结构不但不能满足足够多物品的要求，还会在物品少时产生冗余。也是不符合第一范式的。第二范式每一行的数据...

原创 spark—RDD

1.什么是RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。2.RDD属性(1)一组分片(...

原创 NIO中存在的bug—epoll空轮询

IO&NIO介绍IO读取NIO读取NIO中epoll空轮询表现public static void main(String[] args) { Selector selector = Selector.open(); System.out.println(selector.isOpen()); ServerS...

原创 [leetcode 932]漂亮数组 Beautiful Array

对于某些固定的 N，如果数组 A 是整数 1, 2, ..., N 组成的排列，使得：对于每个 i < j，都不存在 k 满足 i < k < j 使得 A[k] * 2 = A[i] + A[j]。那么数组 A 是漂亮数组。给定 N，返回任意漂亮数组 A(保证存在一个)。示例 1：输入：4输出：[2,1,4,3]示例 2：输入：5输出：[3,1,2,5,4]...

原创 Java IO中的设计模式

1、适配器模式file 为已定义好的文件流 FileInputStream fileInput = new FileInputStream(file); InputStreamReader inputStreamReader = new InputStreamReader(fileInput);以上就是适配器模式的体现，FileInputStream是字节流，而并没有字符流读取字符的一些a...

原创 《阿甘正传》台词整理

1. Life was like a box of chocolates, you never know what you’re gonna get.(生命就像一盒巧克力，结果往往出人意料)2. There is an awful lot you can tell about a person by their shoes.(通过人家的鞋可以了解别人很多的东西)3. His back’s ...

原创 Java-IO详解

IO概览图片1.png字节流与字符流的区别字节流在操作时本身不会用到缓冲区(内存)，是文件本身直接操作的，而字符流在操作时使用了缓冲区，通过缓冲区再操作文件。图片1.png使用字节流示例public static void main(String[] args) { File f = new File("d:" + File.separator + "test...

原创 并发系统的设计

提升网站的访问速度，持续的高并发，这是技术上的必然，也是一种科技的衍进方式。以下是系统设计的进化之路。单点集中式特点：App、DB、FileServer都部署在一台机器上。并且访问请求量较少image应用服务和数据服务拆分特点：App、DB、FileServer分别部署在独立服务器上。并且访问请求量较少image使用缓存改善性能特点：数据库中频繁访问的数据存储在...

原创 二叉搜索树的平均查找长度及时间复杂度

O(log2(n))是时间复杂度，平均查找长度为:ASL = [(n+1)/n] * log2(n+1) - 1推导过程如下:假设有一颗二叉排序树, 总结点数是n, 高度是h, 根结点的高度是1,假设也是满二叉树, n与h的关系, 有公式: n = (2^h) - 1也就是: h = log2(n+1)对于高度为2,总结点数是3的二叉排序树(满二叉树),查找成功的平均查找长度为:...