程序员进化者-优快云博客

一、底层原理1.select是随机的还是顺序的？select语句不使用default分支时，处于阻塞状态直到其中一个channel的收/发操作准备就绪（或者channel关闭或者缓冲区有值），如果同时有多个channel的收/发操作准备就绪（或者channel关闭）则随机选择其中一个。select语句使用default分支时，处于非阻塞状态，从所有准备就绪（或者channel关闭或者缓冲区有值）的channel中随机选择其中一个，如果没有则执行default分支。2.Go语言局部变量分配在栈还是堆？

2021-10-09 20:43:57 1740

原创操作系统相关总结

一、并发、并行、同步、异步、阻塞、非阻塞并发：指一个时间段内，有几个程序在同一个CPU上运行，但是任意时刻只有一个程序在CPU上运行并行：指任意时刻点上，有多个程序同时运行在多个CPU上同步：指代码调用IO操作时，必须等待IO操作完成才能返回的调用方式。异步：指代码调用IO操作时，不必等IO操作完成就返回的调用方式。阻塞：指调用函数时候当前线程被挂起。非阻塞：值调用函数时当前线程不会被挂起，而是立即返回。阻塞非阻塞是对调用者而言，调用结果返回前进程的状态，是挂起还是继续处理其他任务。同步异步

2021-09-05 16:01:12 187

原创网络相关总结

一、HTTP 与 HTTPS1、HTTPS协议需要到CA申请证书，需要一定费用2、HTTP信息是明文传输，HTTPS是具有安全性的SSL加密传输协议3、HTTPS和HTTP使用的是完全不同的连接方式，前者端口443，后者804、HTTP连接简单，是无状态的，HTTPS比HTTP安全。无状态是指两次连接通信之间是没有任何联系的，每次都是一个新的连接，服务端不会记录前后的请求信息。500：服务器内部错误。501：服务器不具备完成请求的功能。502：Bad Gateway错误。503：服务器目前

2021-08-30 22:13:09 151

原创 centos安装chromedriver并使用

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm# 查看安装的版本chromedriver -version根据上方查出的版本，在https://npm.taobao.org/mirrors/chromedriver中找到合适的安装包wget http://npm.taobao.org/mirrors/chromedriver/89.0.4389.23/chromedrive

2021-03-23 18:03:24 633 2

原创 Kafka知识点本文就够

本文目录一、Kafka概念二、消息队列的作用（一）缓冲和削峰（二）解耦和扩展性（三）冗余（四）健壮性（五）异步通信三、Kafka相对传统技术的优势（一）快速（二）可伸缩（三）持久（四）设计四、kafka 为什么那么快五、Kafka 消息是采用 Pull 模式，还是 Push 模式六、kafka中的broker的作用七、Zookeeper在Kafka中的作用八、Kafka 如何判断节点是否存活九、kafka中consumer group十、Kafka中是怎么体现消息顺序性的十一、消费者提交消费位移时提交的是当

2021-03-21 20:31:59 366 2

原创 Scrapy总结

本文目录一、网络相关（一）HTTP 与 HTTPS（二）cookie和session（三）GET和POST区别（四）三次握手、四次挥手（1）三次握手（2）四次挥手（五）浏览器访问百度的过程（六）其他二、Scrapy组件三、数据流四、反爬机制和应对措施五、日志信息和错误等级六、下载中间件（一）作用（二）拦截的请求（三）最重要三个方法（四）scrapy应用selenium的编码流程七、如何提升scrapy爬取数据的效率：八、爬取数据去重九、布隆过滤器一、网络相关（一）HTTP 与 HTTPS1、

2021-01-24 18:44:22 481

原创 MongoDB知识点本文就够

本文目录一、 Mongo概述（一）Mongo适用场景（二）相关概念（三）Mongo是否需要很大的内存？（四）一、 Mongo概述（一）Mongo适用场景1、网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。2、缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。3、在高伸缩性的场景，用于对象及JSON数据的存储。（二）相关概念1、mongodb是一个基于docume

2021-01-24 15:05:36 775

原创 Redis知识点本文就够

本文目录一、 Redis数据结构（1）String 字符串（2）Hash 哈希（3）List链表（4）Set集合（5）Zset有序集合二、 Redis单线程模型为啥这么快？（一）基于内存操作（二）C语言实现（三）简单的数据结构（四）多路I/O复用模型（五）单线程模型三、持久化之RDB与AOF（一）RDB（二）AOF（三）RDB和AOF对比四、主从复制与故障转移（一）数据复制的意义（二）Redis注册复制原理（三）故障转移五、高可用与 Sentinel 哨兵（一）sentinel的功能六、分布式缓存与 R

2021-01-10 17:57:13 2109 3

原创 MySQL知识点本文就够

MySQL知识点本文就够一、数据库三大范式与五大约束（1）三大范式（2）五大约束二、数据库事务（1）事务的四大特性（2）事务的四种隔离级别三、B树、B+树、二叉查找树、平衡二叉查找树、红黑树（1）B树（2）B+树（3）平衡二叉树（4）二叉查找树（3）红黑树四、MySQL锁（1）共享锁（S）（2）排他锁（X）（3）意向锁（4）意向共享锁（IS）（5）意向排他锁（IX）（6）表级锁（7）页级锁（8）行级锁（9）间隙锁（Next-Key锁）（10）死锁避免死锁（11）乐观锁（12）悲观锁五、存储引擎（1）m

2021-01-10 14:32:00 3529 7

原创使用PySpark处理数据

使用PySpark做用户画像文章目录使用PySpark做用户画像一、数据准备二、用户点击率1.创建SparkSession对象2.读取数据，将数据根据‘~’拆分，获取userid和behavior两列3.统计用户的各类行为数4.将userid,behavior和数量取出作为3列，并转为DataFrame格式5.根据userId进行分组，将behavior列数据进行旋转作为列标数值为cnt。并将behavior的0和1替换为“browse”和”click”。6.填充缺失值7.将计算的数据作为新列添加到数据8

2020-12-27 19:05:17 1167

原创 10分钟了解常用推荐算法

推荐算法分类与概述

2020-11-22 22:10:37 1139

原创 Pandas数据分析本文就够

十分钟快速上手Pandas数据处理一、常用操作1、csv读取和导出2、dataframe转换为列表3、某一列求和4、某一列格式转换5、选择数据6、修改数据7、删除数据8、处理NaN值9、保留小数和百分数处理10、列名更换11、复制12、相关值替换二、合并数据1、concat2、merge三、排名与排序1、排名，生成排序序号列。不改变数据顺序2、排序，改变数据顺序四、分组统计1、分组求和2、分组计数3、分组求累加值五、复杂操作1、条件赋值一、常用操作1、csv读取和导出df = pd.read_csv(

2020-07-16 19:53:58 649

空空如也

空空如也