<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Parallel2333的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Parallel2333</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Parallel2333]]></copyright><item><title><![CDATA[Flink+Spark相关记录]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/142281606</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/142281606</guid><author>Parallel2333</author><pubDate>Sun, 15 Sep 2024 11:31:49 +0800</pubDate><description><![CDATA[Flink+Spark记录]]></description><category></category></item><item><title><![CDATA[Doris相关记录]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/142281551</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/142281551</guid><author>Parallel2333</author><pubDate>Sun, 15 Sep 2024 11:02:12 +0800</pubDate><description><![CDATA[Doris工作整理

 Doris索引、分区及物化视图踩坑
 Doris向量化引擎理解与Clickhouse对比
 Flink写Doris的checkpoint及label问题
 Doris新增节点分片数据自动迁移


]]></description><category></category></item><item><title><![CDATA[分布式共识算法]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/122285023</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/122285023</guid><author>Parallel2333</author><pubDate>Sat, 08 Jan 2022 22:01:47 +0800</pubDate><description><![CDATA[分布式共识算法可以分为CFT（Crash Fault Tolerance）与BFT（Byzantine Fault Tolerance）。
CFT
CFT算法如Paxos、Raft，只能容忍分布式节点中存在故障，不能容忍分布式节点中有节点作恶。适用于机器节点之间的通信，比如Raft，需要进行选主，如果选出的主发起恶意信息攻击，那么所有节点都会跟随主的propose进行commit；或者从节点控制伪造投票节点数量使自己在新term成为主节点恶意操控集群等。现在也有些改进的BFT On Raft、BFT On ]]></description><category></category></item><item><title><![CDATA[关于分布式集群资源调度的一些事]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/120576619</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/120576619</guid><author>Parallel2333</author><pubDate>Sat, 18 Dec 2021 21:37:43 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[TiKV源码分析（一）RaftKV层]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/120028307</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/120028307</guid><author>Parallel2333</author><pubDate>Sun, 12 Sep 2021 23:25:11 +0800</pubDate><description><![CDATA[关于TiDB与TiKV学习总结TiKVTiKV知识点
TiKV
关于TiKV主要的研究点在KV的存储，TiDB将SQL转成了KV数据对，TiKV就是将KV数据进行存储并提供查询，对于多节点中每节点的数据一致性和Percolator事务prewrite/commit等就是主要要解决的事情，从而实现稳定的分布式存储。
TiKV知识点

Google Spanner、TrueTime API
Service：


gRPC(接TiDB)（kv_get/kv_scan/kv_prewrite/kv_commit A]]></description><category></category></item><item><title><![CDATA[TiDB源码分析]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/119064690</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/119064690</guid><author>Parallel2333</author><pubDate>Tue, 31 Aug 2021 22:13:10 +0800</pubDate><description><![CDATA[关于TiDB与TiKV学习总结TiDB+TiKVTiDB知识点TiKV知识点
TiDB+TiKV
这是一篇总结篇，是读了PingCAP系列文章以及部分源码对该块知识点进行的总结。
TiDB知识点
TiDB的主要工作是负责解析SQL协议，将其转换为所需查询的数据所在Region下传读写操作至TiKV，通过TiKV来查找具体的数据，TiKV负责Raft管理Log日志进行分布式kv的管理，以及基于Percolator进行事务一致性处理，MVCC实现多版本读取提供SI隔离级别，

Google F1
Nested ]]></description><category></category></item><item><title><![CDATA[关于读写性能优化]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/118441353</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/118441353</guid><author>Parallel2333</author><pubDate>Sat, 24 Jul 2021 22:00:36 +0800</pubDate><description><![CDATA[最近把很多以前零零散散的知识缕了一下，深刻意识到带着问题场景去学习的重要性。

ROUND1：关于数据库中最常见的读写和存储引发的一系列乱学

一开始我们使用read/write，后来有了pread/pwrite，再后来有了readv/writev/preadv/pwritev，现在还有了io-uring。同时还有在SSD上的顺序读写上下功夫，NVMe协议的SSD具有多队列加速读写，虚拟化qemu-kvm还有virtio/vhost的解决方案，配合SPDK协议用用户态设备驱动避免频繁的内核上下文切换以及轮询]]></description><category></category></item><item><title><![CDATA[Linux杂录]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/104734293</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/104734293</guid><author>Parallel2333</author><pubDate>Sun, 17 May 2020 14:40:02 +0800</pubDate><description><![CDATA[Linux大概也是过了一遍了，现在来做一个总结，路线：内核控制路径-&gt;中断-&gt;进程调度与进程描述符-&gt;内存描述符与虚拟内存-&gt;文件系统与块设备-&gt;内存分配。（很多东西借助了其他博客）进程的进程调度算法、文件的IO调度算法、内存的伙伴和slab算法等。

内核控制路径分为异常(包括系统调用)、中断、内核线程。抽象来说内核线程就是内核自己的一些日常工作；有时候上面的用户态...]]></description><category></category></item><item><title><![CDATA[TCP/IP层梳理]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/104218071</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/104218071</guid><author>Parallel2333</author><pubDate>Sat, 08 Feb 2020 01:28:18 +0800</pubDate><description><![CDATA[很久没更新了，这半年的时间把TCP/IP内核协议栈以及部分内核源码认认真真的捡起来看了一遍，虽然经常看的头痛不过好在慢慢能够看懂，再之后就连以前看了很多遍都没理解的东西也能看懂了比如epoll源码。

过年在家把《wireshark网络分析就这么简单》和《wireshark网络分析的艺术》（林沛满著）仔细读了一遍，决定把一些内容记录下来，结合之前读过的内核协议栈源码深入地理解一下。

可结合htt...]]></description><category></category></item><item><title><![CDATA[源码分析JRTPLIB之PollThread]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/100051320</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/100051320</guid><author>Parallel2333</author><pubDate>Sat, 24 Aug 2019 15:16:06 +0800</pubDate><description><![CDATA[读下PollThread源码和ThreadPool源码(https://github.com/progschj/ThreadPool)可以发现采用的线程间通信都是用的全局变量stop。这里提一下PollThread应该不是指的线程池，而是一种线程内部的管理机制。这两个都采用了同一种思想就是通过读取全局变量来控制线程的情况，当有函数修改了全局变量要求线程停止，其他处理函数读取到这个变量...]]></description><category></category></item><item><title><![CDATA[源码分析JRTPLIB之Transmitter]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/98900710</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/98900710</guid><author>Parallel2333</author><pubDate>Fri, 09 Aug 2019 00:22:58 +0800</pubDate><description><![CDATA[先从rtptransmitter.h和rtpudpv4transmitter.h开始讲起

1.关于setsockopt：以前只知道setsockopt很强大现在才知道原来socket的缓存区也可以设


size = params-&gt;GetRTPReceiveBuffer();//在438行
if (setsockopt(rtpsock,SOL_SOCKET,SO_RCVBUF,(cons...]]></description><category></category></item><item><title><![CDATA[从新版教务爬虫到JS逆向]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/90781344</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/90781344</guid><author>Parallel2333</author><pubDate>Tue, 04 Jun 2019 17:38:36 +0800</pubDate><description><![CDATA[看提到的原博链接即可



新版正方教务爬虫：https://blog.youkuaiyun.com/Koevas/article/details/88384604代码可运行

login_getPublickey.html



login_slogin.html的RSA和hex2b64





JS逆向：

百度翻译爬虫：https://blog.youkuaiyun.com/hwh1996/article...]]></description><category></category></item><item><title><![CDATA[关于一个单双击长按状态机和一个client+server]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/89329089</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/89329089</guid><author>Parallel2333</author><pubDate>Sun, 05 May 2019 15:10:24 +0800</pubDate><description><![CDATA[client.py：





server.py：(注意b" "和encode()和端口重用)

报错了端口会被占用的，只能尽量保证它不要报错









状态机：(注意if/else的bug)

每个状态机都有按下和松开的情况，除了S_INIT，触发它的只有按下， 所以不用考虑它的松开的情况，并且我们这里只用count来记录。第一次的判断肯定是pinValue，第二次if判断的也就是...]]></description><category></category></item><item><title><![CDATA[一些环境的搭建]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/89845170</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/89845170</guid><author>Parallel2333</author><pubDate>Sun, 05 May 2019 15:10:03 +0800</pubDate><description><![CDATA[全是Python3的：

众所周知python和python3不是同一门语言



一些经验总结：

1.dpkg -L xx-dev  # 查看某个dev包的内容

2.sudo pip3 install opencv-contrib-python==3.4.4.19  # 安装特定版本的软件

3.No mudule named 'pip._vendor.pkg_resources' ...]]></description><category></category></item><item><title><![CDATA[RabbitMQ基础一]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/89108179</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/89108179</guid><author>Parallel2333</author><pubDate>Mon, 08 Apr 2019 21:34:00 +0800</pubDate><description><![CDATA[教程：http://www.01happy.com/python-pika-rabbitmq-summary/

用的ubuntu16.04和python3，对于一些问题重新改过一些地方。可实际运行。

RabbitMQReceive.py //参数在这个文件里传，也就是python3 RabbitMQReceive.py sad.*


import time
import pika
impor...]]></description><category></category></item><item><title><![CDATA[关于python的模块发布和写成service]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/89044729</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/89044729</guid><author>Parallel2333</author><pubDate>Sat, 06 Apr 2019 16:37:41 +0800</pubDate><description><![CDATA[关于Service写法：

2019/04/18更新：把python程序写成xx.service就可以使用sudo systemctl [start|restart|stop] xx.service的方式运行它了，就跟之前我们耳熟能详的nginx一个调用法。一个service需要有三个模块：[Unit]、[Service]、[Install]。这里我们可以去下面三个地方看看别人软件里service...]]></description><category></category></item><item><title><![CDATA[CRT的入口函数和python进线程池]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/88930767</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/88930767</guid><author>Parallel2333</author><pubDate>Sun, 31 Mar 2019 16:31:03 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/findumars/p/5208462.html
我们写的程序在编译器上编译成为一个模块(可能是obj文件或者其他形式)，然后连接器会将一些所需要的库文件和刚才编译器生成的文件进行连接，最终生成一个exe文件，在所连接的库文件中就包含CRT运行时库，在运行时库里有一个已经定义如下的函数：(1)mainCRTStartup(wmainCRTStartu...]]></description><category></category></item><item><title><![CDATA[我的Git使用记录]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/88537778</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/88537778</guid><author>Parallel2333</author><pubDate>Wed, 13 Mar 2019 17:48:43 +0800</pubDate><description><![CDATA[要写一篇目前我用过的git命令，现在才会用git对不起！！

2019/4/23在分支基础上新建一个分支：(现在我要在motion分支的基础上新建一个修改了button情况的分支，取名就叫button)



在这里我修改过sound.py，因此需要要么还原回去以前的修改要么提交现有的修改，在这里我选择了修改回去。

之后我们需要把motion分支的内容pull下来，然后新建一个button分支，...]]></description><category></category></item><item><title><![CDATA[树莓派+8x32的MAX7219点阵模块显示字符串]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/88358368</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/88358368</guid><author>Parallel2333</author><pubDate>Fri, 08 Mar 2019 21:08:04 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/zyaiwmy/article/details/70224250?utm_source=blogxgwz1

按照上面这篇文章进行配置了驱程，修改了一下示例代码，效果如下：



这里记一下项目的github地址：https://github.com/rm-hull/luma.led_matrix

下面为按自己需求实现的代码


import re
i...]]></description><category></category></item><item><title><![CDATA[每天修Linux系统---关于libjpeg.so.8 && 简单的安装opencv的方法]]></title><link>https://blog.youkuaiyun.com/Parallel2333/article/details/88093311</link><guid>https://blog.youkuaiyun.com/Parallel2333/article/details/88093311</guid><author>Parallel2333</author><pubDate>Sun, 03 Mar 2019 20:37:55 +0800</pubDate><description><![CDATA[问题如图：



为了修这个东西我真的是费尽心力，天天念叨，就差卸载opencv重装。重装之前试了一下结果世界都亮了哥！！！

解决方案如图：



cv2没有报错了！！！！！！也不知道是不是运气好能直接find到，如果你们遇到这个问题没有find到你们再找别的解决方案吧。这里说下原因，我应该是下了个什么东西里面含有libjpeg.so.62，下载了以后会自动卸载libjpeg.so.8（这太不人...]]></description><category></category></item></channel></rss>