python6_quanzhan的博客

不知道从什么时候开始，本来默默无闻的布隆过滤器一下子名声大燥，仿佛身在互联网，做着开发的，无人不知，无人不晓，哪怕对技术不是很关心的小伙伴也听过它的名号。我也花了不少时间去研究布隆过滤器，看了不少博客，无奈不是科班出身，又没有那么聪明的头脑，又比较懒...经过“放弃，拿起，放弃，拿起”的无限轮回，应该算是了解了布隆过滤器的核心思想，所以想给大家分享下。问题情景如果面试官问你，一个网站有 100 亿 url 存在一个黑名单中，每条 url 平均 64 字节。问这个黑名单要怎么存？若此时随便输入一个 u

写在前面大数据并不是一个突如其来的时兴科技词语，而是在厚积薄发中不断演变，时机到来时一下变得广为人知。传统数据库和数据仓库的统治地位本来看上去牢不可破，随着Hadoop等大数据技术的日趋成熟，这种情况到了终结的时候。作为当前最受关注的实时大数据开源平台项目，Storm和Spark都能为广大潜在用户提供良好的实时大数据处理功能。除在功能方面的部分交集外，Storm、 Spark 还各自拥有独特的特性与市场定位。企业过去曾执迷于数据仓库的开发。通过这些数据仓库，企业努力从每个可能的数据源获.

不知道各位最近是否听过一句话，叫做“科技无国界”。听上去冠冕堂皇，义正言辞。在笔者看来，这就是所谓的“公知们”对我国科技发展的一种阻碍。从当年银河号海上漂流33天，再到三枚导弹试射，而后两颗出现严重偏差。面对海外的技术封锁，所谓的“公知们”的科技无国界在哪里？而现在随着北斗升空，华为的5G也全球领先，“公知们”的科技无国界又再次提了出来。而我们面对这种困局，要有着清醒的头脑，不要被所谓的“科技无国界”迷惑，应该坚持创新，坚持发展科技，打破外界的科技封锁。所以应该努力学习，为国家，更为自我，定能搏出一

写在前边Netty是一款基于 NIO (Nonblocking /0,非阻塞10)开发的网络通信框架，对比于BIO ( BlockingIO,阻塞10)，他的并发性能得到了很大提高。难能可贵的是，在保证快速和易用性的同时，并没有丧失可维护性和性能等优势。作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty构建，比如RPC框架、Zookeeper等。作为如此有发展前途的技术，你有兴趣跟随小编一起深入学

前言Redis5.0 增加了很多新的特色功能。而 Redis5.0 最大的新特性就是多出了一个数据结构Stream，它是一个新的强大的支持多播的可持久化的消息队列，Redis Stream 狠狠地借鉴了 Kafka 的设计。今天，咱们就来深度剖析Redis的拓展应用——Stream基本介绍Redis Stream 的结构如上图所示，它有一个消息链表，将所有加入的消息都串起来，每个消息都有一个唯一的 ID 和对应的内容。消息是持久化的，Redis 重启后，内容还在。每个 Stream.

性能优化是通过某些有效的方法提高MySQL数据库的性能。性能优化的目的是为了是MySQL数据运行速度更快、占用的磁盘空间更小。性能优化包括很多方面，例如优化查询速度、优化更新速度和优化MySQL服务器等。MySQL数据库的用户和数据非常少的时候，很难判断一个MySQL数据库的性能的好坏。只有当长时间运行，并且有大量用户进行频繁操作时，MySQL数据库的性能才能体现出来。例如，一个每天有几万用户同时在线的大型网站的数据库性能的优劣就很明显。这么多用户在同时连接MySQL数据库，并且进行查询、插入和更新的操

前言众所周知，目前是互联网时代，可以说现在人们的生活已经离不开网络了。大小商品都可以从网上采购，大大方便了人们的日常生活，而未来是会实现万物互联的智能时代。而如何处理这亿万级别的流量，使之更加便利的服务人们的日常生活，就成了电商运作的核心要务了。下面小编帮大家推荐一本如何处理这亿级流量的核心技术秘籍，不管你是软件开发人员还是运维人员，通过阅读本书，都能系统地学习实现亿级流量网站的关键方法与技能，并收获解决系统问题的思路和方法。目录简介本篇的内容是理论与实战相结合，涉及的知识点比较多，共分

前言程序在运行过程中发生错误或异常情况是不可避免的，如果每一个运行时错误都由程序员手动控制和处理，其工作量是不可想象的。Java语言中的异常处理机制就解决的上述问题，把错误与异常的管理带到了面向对象的世界什么是异常？异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。 程序运行过程中，出现不期而至的各种状况，将它们统称为异常。比如说，你的代码少了一个分号，那么运行出来结果是提示是错误 java.lang.Error；如果你用System.out.pri

前几天咱们介绍了Redis基本架构和简单应用，后续笔者还会进行更多的Redis应用和原理剖析，争取每天和朋友们进步一点点，充实自我。今天，笔者继续带来Redis应用实战——位图和HyperLogLog应用三：节衣缩食——位图在我们平时开发过程中，会有一些bool 型数据需要存取，比如用户一年的签到记录，签了是1，没签是0，要记录365天。如果使用普通的key/value, 每个用户要记录365个，当用户上亿的时候，需要的存储空间是惊人的。为了解决这个问题，Redis 提供了位图数据结构，

前言jvm 是可运行Java代码的假想计算机，包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。jvm 是运行在操作系统之上的，屏蔽了与具体操作系统平台相关的信息，使得Java程序只需生成在 jvm 上运行的字节码，就可以在多种平台上不加修改地运行。Java 语言的一个非常重要的特点就是与平台的无关性(跨平台)，其得益于 jvm，不是 Java 实现的跨平台，而是 jvm 的跨平台性，进而描述 Java 是跨平台的。我们知道，每个平台的 api 肯定是不同的，就好比，

前言随着大数据时代的到来，数据中蕴含的价值日益得到展现，仿佛一座待人挖掘的金矿， 引来无数的掘金者。但随着数据量越来越大，如何实时准确地收集并分析数据成为摆在所有从业人员面前的难题。而这时，kafka的出现算是解决了这个问题。Kafka的核心功能是什么？一言以蔽之，高性能的消息发送与高性能的消息消费。接下来咱们就进入kafka世界，深入实战探讨kafka实战开发。Kafka实战本书是涵盖ApacheKafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Katk

前言之前咱们简单介绍了一下Redis的简单结构，相信很多读者看着比较入门。的确，笔者在介绍任何技术时，都是由浅及深的路数，为的是刚入门不久的新人，毕竟相对于久经沙场的老将，新人更需要这方便的普及。好的，话不多少，今天咱们就进行Redis的实战应用，深入剖析Redis从今天开始。Redis应用一：分布式锁分布式应用进行逻辑处理时经常会遇到并发问题。比如一个操作要修改用户的状态，修改状态需要先读出用户的状态，在内存里进行修改，改完了再存回去。如果这样的操作同时进行了，就会出现并发问.

前言十年之前，相信大家掌握了Java EE互联网轻量级框架整合开发 SSM框架SpringMVC+Spring+MyBatis就已经能够轻轻松松找到一份薪资很高的java开发工作了，而如今只会SSM的小伙伴，已经找不到工作了，已经以Spring全家桶、微服务作为基础来进行项目的开发与实施了。所以，既然入了java开发这份工作，就需要做好一直学习的准备了。这不，小编就把微服务+Nginx+Kubernetes实战文档和面试题准备好了，只等大家来好好学习了。首先，给大家介绍的是微服务分布式构架开发实

前言对于 JVM 来说，我们都不陌生，其实 Java Virtual Machine（Java 虚拟机）的缩写，它也是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。JVM 有自己完善的硬件架构，如处理器、堆栈等，还具有相应的指令系统，其本质上就是一个程序，当它在命令行上启动的时候，就开始执行保存在某字节码文件中的指令。Java 语言的可移植性就是建立在 JVM 的基础之上的，任何平台只要装有针对于该平台的 Java 虚拟机，字节码文件（.class）就可以在该平台上运行

前言每当我们执行某个 SQL 发现很慢时，都会下意识地反应是否加了索引，那么大家是否有想过加了索引为啥会使数据查找更快呢，索引的底层一般又是用什么结构存储的呢，相信大家看了标题已经有答案了，没错！B+树！那么它相对于一般的链表，哈希等有何不同，为何多数存储引擎都使用它呢，今天我就来揭开 B+ 树的面纱，相信看了此文，B+ 树不再神秘，对你理解以下高频面试题会大有帮助！为啥索引常用 B+ 树作为底层的数据结构 除了 B+ 树索引，你还知道什么索引 为啥推荐自增 id 作为主键，自建主键不行吗 什

前言Redis是互联网技术领域使用最为广泛的存储中间件，它是「Remote Dictionary Service」的首字母缩写，也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用Redis, 比如Twitter、 YouPorn、 暴雪娱乐、Github、 StackOverflow、 腾讯、阿里、京东、华为、新浪微博等等，很多中小型公司也都有应用。也可以说，对Redis 地了解和应用实践已成为当下

前言近年来，微服务架构一直是互联网技术圈的热点之一，越来越多的互联网应用都采用了微服务架构作为系统构建的基础，很多新技术和理念如Docker、Kubernetes、 DevOps、持续交付、Service Mesh等也都在关注、支持和跟随微服务架构的发展。今天咱们就为大家推荐一本学习微服务架构进阶的秘籍，将会系统性地介绍微服务架构：包括微服务架构是如何演进的，微服务架构的主要流派，当前主流的云原生应用与微服务之间的关系等。下面就跟着小编一起来一探究竟吧~~~本书特点本书在介绍Spring

前言作为软件开发者，我们一直处于一片混乱和不断变化的海洋之中，这已是软件开发领域中的一个常态。新技术与新方案的突然涌现会让我们受到强烈的冲击，使我们不得不重新评估应该如何为客户搭建和交付解决方案。使用微服务开发软件被许多组织迅速采纳就是应对这种冲击的一个例子。微服务是松耦合的分布式软件服务，这些服务执行少量的定义明确的任务。什么是微服务在微服务的概念逐步形成之前，绝大部分基于Web的应用都是使用单体架构的风格来进行构建的。在单体架构中，应用程序作为单个可部署的软件制品交付，所有的UI (

前言优化MySQL数据库是数据库管理员和数据库开发人员的必备技能。MySQL优化，一方面是找出系统的瓶颈，提高MySQL数据库整体的性能；另一方面需要合理的结构设计和参数调整，以提高用户操作响应的速度；同时还要尽可能节省系统资源，以便系统可以提供更大负荷的服务。MySQL数据库优化是多方面的，原则是减少系统的瓶颈，减少资源的占用，增加系统的反应速度。MySQL查询在MySQL中可以使用SHOW STATUS语句查询一些MySQL数据库的性能参数，SHOW STATUS语句语法如下：.

前言MySQL服务器由SQL层和存储引擎层构成。SQL层主要功能包括权限判断、SQL解析功能和查询缓存处理等，存储引擎层(Storage Engine Layer)完成底层数据库数据存储操作。MySQL整体架构的SQL层和存储引擎层实际上各自都包含了很多的小模块，各个模块的工作方式如下：从上图可以看出MySQL各个模块的特点如下：(1)客户端通过连接/线程处理层来连接MySQL数据库，连接/线程处理层主要用来处理客户端的请求、身份验证和数据库安全性验证等。(2)查询缓存和查.

一、Nginx 基本认识1、Nginx 是什么？　　Nginx 是一款开源的、轻量级的、高性能的 HTTP 服务器 以及 反向代理服务器。　　特点是 占有内存少、并发能力强。2、Nginx 用来干什么？　　其可以作为一个 HTTP 服务器 进行网站的访问、发布。　　也可以作为一个 反向代理服务器 实现负载均衡。二、正向代理、反向代理1、什么是代理？　　代理本质就相当于一个 中转站，用于处理一个目标到另一个目标。　　即两个目标之间并不存在真正的连接，而是通过某个通

前言当下互联网时代，国际社会发展迅速，技术革新更加迅猛。未来智能时代，是一个数据时代，而如何处理好这些数据，就是科技发展的趋势。本文主要为大家介绍一些2020年阿里P8对标学习教程，涵盖微服务架构、MySQL、Nginx和Redis等核心知识点，助你在如今的智能时代，有机会进军更加广阔的平台，纵横驰骋~~~1、微服务架构微服务架构是一项在云中部署应用和服务的新技术，已成为当下最新的热门话题，并被认为是未来的方向。2、MySQL数据库MySQL是一种开放源代码的关系型数据库管理系统

前言相信大部分人都知道JVM是什么，定义很简单，就是Java虚拟机的缩写，一种用于计算设备的规范，是一个虚构出来的计算机。但是对于如何运行、处理的细节，大部分人可能就觉得没那么简单了。今天，我们就来介绍一本学习JVM设计原理及实现的秘籍，相信你看过以后一定会有所收益的。目录第1章Java虚拟机概述从机器语言到Java——詹爷，你好 兼容的选择: 一场生产力的革命 中间语言翻译 神奇的指令 本章总结第2章Java执行引擎工作原理：方法调用方法调用 JVM的函数.

前言提到并发编程，很多人会想到多线程；希望让多个线程共同完成一项任务，以提高生产效率。所以要聊并发编程之前，就要明白线程和进程的关系。进程：在现代操作系统中，每一个独立运行的程序都是一个进程，比如运行中的word，微信等等都是一个独立进程。线程：在现代操作系统中，线程也叫轻量级进程，每个进程里面可以包含多个线程。CPU资源可以在多个线程之间不断切换，仿佛所有线程在并行执行。每个线程都有自己的计数器，堆栈，和局部变量等属性。这些线程也能够访问共享的内存变量。这将成为日后阻碍我们写出健壮且安全的并发

前言Django作为一个庞大的、自带电池的、整体Web开发解决方案框架，源代码多、子系统多、工具多。要将如此多的内容集成到一起，必然需要一个指导性的设计理念和哲学思维。这样才不至于显得东拼西凑、杂乱无章、接口混乱，而是整体一致、思路清晰、逻辑合理。既方便了源码开发，也方便了应用开发。下面就介绍一下Django的设计理念和哲学思维，这其中有一些是Django源代码中正在遵循的，一些是使用者开发项目过程中需要遵循的：系统性原则松耦合Django 追求各子系统（层）的低耦合和高内聚。各层之间保

前言1995年年底，Java语言在Internet舞台一亮相便名声大噪。其原因在于它将有望成为连接用户与信息的万能胶，而不论这些信息来自Web服务器、数据库、信息提供商，还是任何其他渠道。事实上，就发展前景而言，Java 的地位是独一无二的。它是一种完全可信赖的程序设计语言，得到了除微软之外的所有厂家的认可。其固有的可靠性与安全性不仅令Java 程序员放心，也令使用Java程序的用户放心。Java内建了对网络编程、数据库连接、多线程等高级程序设计任务的支持。1995年以来，已经发布了Java 开发工

前言在之前咱们有介绍过，使用微服务架构有很多好处，并且在各个方面都有其独特的优势，但是，每一件事情都不是绝对的，使用微服务架构同时也充满着挑战。因此，我们必须在开始进行微服务架构设计时，进行全盘考虑，权衡利弊，才能做出合理的选择，取得最佳的设计效果。在微服务架构设计中，对复杂系统进行拆分之后，会不会产生一些新的问题呢？比如微服务之间的相互调用和通信会不会很复杂？由于每个微服务都有独立的数据库，那么分散的数据管理怎么保证数据的一致性？如果单个微服务的功能变更，会不会影响到多个微服务的正常运行？诚然，这

简介NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。在现代的计算系统上每天网络上都会产生庞大的数据量。这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational model of data for large shared data banks"，这使得数据建模和应用程序编程更加简单。通过应用实践证明，关系模型是非常适合于客户服务器编程，远远超出预期的利益，今天它是结构化

前言近几年，大家都在谈论微服务，微服务是一个非常火爆的关键词，在百度中搜索微服务，随便就有几千万条结果。那么，什么是微服务呢，微服务的概念又是怎么产生的呢？相信大家对微服务也不陌生，或者正在做着相关的开发，现在，我们先来了解一下微服务架构的来龙去脉，为什么要使用微服务架构微服务架构能给我们带来什么好处，微务架构与Spring Cloud又是一种什么关系。下面请跟随笔者来一探究竟吧~~~微服务概念的由来据说，早在2011 年5月，在威尼斯附近的一个软件架构师研讨会上，就有人提出了.

前言最近咱们在更新Java相关教程，由基础到进阶，希望能够帮到大家。今天，咱们来介绍一下Java的面向对象，文章较长，建议大家先收藏后慢慢欣赏啊~~~一、方法1、概述方法，也可以称之为函数，在其他语言中可能方法和函数的概念和语法是不同的，比如Python中的函数是可以在文件中独立定义并存在的，而方法则是在类之中定义的函数，但是在Java中，方法和函数都指的是同一个语法，都是一样的，既可以称它为方法，也可以称它为函数。需要注意以下几点：方法是定义在类体之中的。 类体之中的多个方法

前言JVM咱们之前有简单介绍，就是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。今天，我们就来介绍一下JVM的性能优化，希望大家能够喜欢。对vm-性能优化不太熟悉，掌握不透彻的小伙伴可以借此学习一下。对vm-性能优化很熟悉，掌握很好的小伙伴可以当做复习巩固，如果有什么地方不准确，还请大家多多批评指正啊~一、常见JVM配置参数(引子)Xms 是指设定程序.

前言Linux作为目前发展最为迅猛的操作系统，居然有种超越龙头老大Windows的势头。那么，在如今大数据时代发展下，你都了解这未来黑科技多少呢？接下来跟着小编一起走入神秘的Linux的世界吧~~~先讲什么是操作系统：操作系统（Operation System，简称OS）是给用户提供一个与系统交互的操作界面，是运行在计算机上的软件程序，是管理计算机硬件与软件资源的程序，是计算机系统的内核与基石，WindowsWindows 是微软开发的操作系统，民用操作系统，可用于娱乐、影.

Spring框架中的三大核心思想是什么?IOC(控制反转) DI(依赖注入) AOP(面向切面编程)控制反转通俗讲，控制权由应用代码中转到了外部容器，控制权的转移，是所谓反转。也就是说，正常我们都是新建对象，才可以调用对象。现在不需要了，交给容器来管理，我们只需要通过一些配置来完成把实体类交给容器这么个过程。这样可以减少代码量，简化开发的复杂度和耦合度。这里，我要解释下几个概念：控制反转只是一个概念，我理解为一种设计模式。 控制反转的主要形式有两种：依赖查找和依赖注入依赖查找：

前言众所周知，Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。今天起，小编会每天更新Java相关学习内容，希望能对大家有所帮助哦~Java语言特点Java语言的本身的特点如下：1、 Java语言足够简单，相对于其他的任何语言而言，是很容易学的（入门简单）；.

前言推导式comprehensions（又称解析式），是Python的一种独有特性。推导式是可以从一个数据序列构建另一个新的数据序列的结构体。 共有四种推导：列表(list)推导式 嵌套列表推导式 字典(dict)推导式 集合(set)推导式接下来咱们一一介绍，希望能对大家学习有所帮助。一、列表推导式列表推导式提供了一种创建list的简便方法。应用程序创建列表时，列表中的元素来源于其他序列、可迭代对象或创建的一个满足一定条件的序列。基本格式：[表达式 for 变量 in

前言Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。而Flink中的时间类型和窗口是非常重要概念，也是学习Flink必须要掌握的两个知识点。今天我们就来探讨一下这两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种：处理时间 Flink程序执行对应操作的系

前言提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。下面我们通过一张图来了解一下目前大数据领域常用的一些技术，当然大数据发展至今所涉及技术远不止这些。下面自底向上介绍各个层的主要项目。.

前言架构师按照专注领域不同，可分为企业架构师、基础结构架构师、特定技术架构和解决方案架构师等，专职架构师往往偏向基础结构架构师和特定技术架构师，专职架构师不负责具体的业务系统，而又对所有的系统负责，很少直接负责项目，但对项目要有提前把控，面对的是更大的团队和更大的问题域。想要成为专职架构师，就要明确专职架构师的职责，以下是专职架构师常见职责：职责一：全局的技术规划全局技术规划是专职架构师必须要做的工作，全局技术规划要能非常明确的指引整个团队在同一时间向同一个方向前进，这对架构师的心力和体力都

前言很多人在学习了基本的Python语言知识后，就转入应用阶段了，没有对Python语言本身的新变化、新内容加以更新，甚至连已经发布了好几年的Python3.6的新特性都不甚了解，所以会感觉越来越吃力。今天我们列举了Python3.6、3.7、3.8三个版本的新特性，希望能对大家更好的应用Python有所帮助。一、Python3.6新特性1、Formatted字符串字面值Formatted字符串是带有’f’字符前缀的字符串，可以很方便的格式化字符串。>>> n

前言2018年底发生了一件震惊大数据圈的事情，阿里巴巴以9000万欧元的价格收购了位于柏林的Data Artisans这家最牛逼的开源流引擎Flink背后的创业公司。在Hadoop生态圈，Flink是一个比Spark更新的引擎。Spark你肯定知道了，就是那个取代了MapReduce成为新一代数据处理引擎霸主的。但是你可能不知道，阿里巴巴内部已经全面用Flink取代了Spark。那么到底什么是Flink呢？阿里又为什么会选择Flink呢？Flink简介Flink 是一个针对流数据和.