- 博客(21)
- 收藏
- 关注
RSS订阅原创 postgresql10 进程
postgres: checkpointer processpostgres: writer processpostgres: wal writer processpostgres: autovacuum launcher processpostgres: stats collector processpostgres: bgworker: logical replication launcherpostgres: {user} db 127.0.0.1(pid) idlepostgres:
2022-06-05 18:53:17
144
原创 Taste
correlation（协同滤波）：ItemCorrelation: 计算物品相似度，相似度算法：Pearson，GenericUserCorrelation: 计算用户相似度，相似度算法：Pearsonrecommender（推荐）：GenericItemBasedRecommender:基于物品相似度的推荐GenericUserBasedRecommender：基于用户相似度的推荐TreeClusteringRecommender： 用户聚类的推荐对所有用户邻域聚类（最近邻域，或最远
2022-05-27 12:40:12
136
原创 clickhouse 写数据+查询涉及的类
StoreageMergeTreeIstorageMergeTreeDataSelectExecutorQueryPlan IQueryPlanStep pipe +ReadFromMergeTreeprocessors IProcessor +MergeTreeInOrderSelectProcessorMergeTreeBaseSelectProcessor ::readFromPartImplMergeTreeReaderWideMergeTreeReaderStreamMergeTr
2022-03-13 23:14:23
1134
原创 es cluster 选举和 es reroute
选举消息:“internal:cluster/request_pre_vote” : 开始选举"internal:cluster/coordination/start_join 开始加入“internal:cluster/coordination/join” 请求加入“internal:cluster/coordination/publish_state” master 发布新集群状态“internal:cluster/coordination/commit_state” candidate m
2022-02-26 22:56:47
556
原创 es 模块交互
action 处理网络请求以get请求为例action: 处理网络层 http， rpc 请求的行为。TransportAction 作为 处理请求的基类public final Task execute(Request request, ActionListener<Response> listener) { /* * While this version of execute could delegate to the TaskListener * ve
2022-02-20 16:50:15
813
原创 es 网络层
es 网络层 基于 jdk, nio sdk 搭建nio多路复用 :SelectableChannelSelectorlibs/nio :NioSelectorGroupNioSelectorChannelFactoryChannelContextplugins/transport-nio :NioGropuFactoryNioTranport
2022-02-13 23:23:54
676
原创 spark scheduler
1 生成DAG 依赖图private def createResultStage( rdd: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], jobId: Int, callSite: CallSite): ResultStage = {val (shuffleDeps, resourceProfiles) = getShuffleDependenciesAndResourceProf
2022-02-08 00:51:59
901
原创 spark rdd
1 worker 获得RDD1.1 RDD.interator 返回 RDD 数据迭代器def iterator(split: Partition, context: TaskContext): Iterator[T]1.2 blockManager 获得RDD分区数据SparkEnv.get.blockManager.getOrElseUpdate， 根据blockId 优先从本地获取， 再从remote获取，再 doPutIterator （replicating）blockTransfe
2022-02-07 23:54:24
1034
原创 kafka 集群元数据管理
AdminManageradmin管理类 包含了 元数据缓存和 zk 监听客户端class AdminManager(val config: KafkaConfig,val metrics: Metrics,val metadataCache: MetadataCache,val zkClient: KafkaZkClient)zk 注册监听处理器case EventType.NodeChildrenChanged => zNodeChildChangeHandlers.get(pat
2021-12-11 19:22:31
1683
原创 kafka 笔记
kafka 笔记kafka-server-start.sh 启动入口 KafkaServer1 SocketServer 建立 tcp 消息通道 n个 Acceptor 对应 m个 Processor, 生产消息 和 消费 tcp消息。2 KafkaApis 处理 tcp RequestChannel 中的 请求，包括消息生产消费，topic 生命周期， 位点提交 获取， 元数据获取， 集群管理等。KafkaApis 包括 分组矫正器GroupCoordinator ，topic 管理者 Admi
2021-12-05 19:56:51
149
原创 spark 笔记
spark 笔记提交任务spark 工作节点 包含 master node， workNode ， 通过 RpcEndpoint 实现节点间的通信1 SparkSubmit 通过 RestSubmissionClient 向master 提交spark任务2 master::receive 处理消息， 接受到 RegisterApplication 消息， 调度起集群的spark 处理任务3 在 work node 启动driver 驱动线程， 在 work node 启动 executor线程。
2021-12-05 16:59:08
1091
原创 es 笔记
1.请求超时处理 线程 线程池 执行ContextPreservingRunnable::run2. TimeoutHandler::runpublic void run() {if (responseHandlers.contains(requestId)) {long timeoutTime = threadPool.relativeTimeInMillis();timeoutInf...
2019-05-31 10:41:48
1617
原创 es 节点发现
es 节点发现PeerFinder -> activate -> handleWakeUpconfigureHostResover 线程池开启节点发现线程 PeerFinder::lambdaconfiguredHostsResolver.resolveConfiguredHosts(providedAddresses -> {synchronized (mutex)...
2019-05-26 08:09:28
372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人