- 博客(35)
- 收藏
- 关注
RSS订阅原创 Java设计模式总结
java常用七种设计模式总结（单例模式、工厂方法模式、建造者模式、策略模式、模板方法、责任链模式、代理模式、适配器模式、观察者模式）
2023-02-03 18:06:33
622
原创 clickhouse 在客群和画像中的应用
clickhouse 基于标签高表的雾化视图在客群和画像中的应用说明：注意：基于ClickHouse标签高表对客群进行画像洞察的画像应用对客群进行画像洞察，求出客群下面不同的标签对应的客群画像基于ClickHouse JDBC对BitMap的插入操作测试 ClickHouse 版本号 21.8.12.29，经测试 在 21.8.12.1 的版本中插入失败。.........
2022-06-16 19:49:57
768
原创 Akka模拟Spark Master和Worker通信
Akka模拟Spark Master和Worker通信案例案例意义需求分析Spark Master和Worker通信案例Master代码Worker代码样例类结果学习Saprk的源代码，那么对Akka的通信原理一定要熟悉，我们通过Akka模拟Spark Master和Worker之间的通信过程，从而深入Spark的Master和Worker的通讯机制。学习Spark Master和Worker如何通信之前需要了解 Akka网络编程案例.案例意义深入理解Spark的Master和Worker的通讯机制
2021-02-20 15:37:35
429
4
原创 Akka网络编程案例
Akka网络编程案例需求介绍功能实现添加Maven依赖客户端代码服务端代码样例类执行结果Akka作为spark通信的基础，了解Akka的网络编程有助于了解spark是如何通信的。Akka基础请点击链接需求介绍#mermaid-svg-kXCN1vmGr5m1Orxl .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid
2021-02-20 14:54:07
243
原创 并发编程模型Akka
并发编程模型Akka简介Akka 简介Akka 介绍Akka 用于解决什么问题Actor模型Actor模型工作机制Actor应用实例Maven依赖单Actor通信案例多actor通信案例Akka 简介Akka 介绍Akka 是编写并发程序的框架，它提供了一种称为Actor的并发模型，其粒度比线程更小，你可以在系统中启用大量的Actor。Akka用Scala语言编写，同时提供了Scala和Java的开发接口。Akka的出现使得程序员不再过多的考虑线程、锁和资源竞争的问题，可以轻松的写出高效稳
2021-02-19 17:08:41
619
原创 LeetCode数值的整数次方
剑指Offer 16. 数值的整数次方说明Java代码说明实现函数double Power(double base, int exponent)，求base的exponent次方。不得使用库函数，同时不需要考虑大数问题。示例 1:输入: 2.00000, 10输出: 1024.00000说明:-100.0 < x < 100.0n 是 32 位有符号整数，其数值范围是 [−231, 231 − 1] 。Java代码public class Offer_16 { pub
2021-02-18 16:51:35
199
原创 Presto简介
Presto简介Presto概念Presto架构Presto优缺点Presto概念Presto是一个开源的分布式的SQL查询引擎，数据量支持GB到PB,主要用于处理秒级查询的场景。虽然Presto可以解析SQL，但它不是一个标准的数据库，不是MySQL、Oracle的替代品。主要包括下面几个组件：Server TypesPresto服务器有两种类型：协调器（Coordinator）和工作器（Worker）。以下部分说明了两者之间的区别。CoordinatorPresto协调器是负责解析语句
2021-01-04 20:17:51
576
2
原创 Presto优化
Presto优化Presto优化之数据存储Presto优化之查询SQLPresto优化之数据存储合理设置分区与Hive类似，Presto会根据元数据信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。使用列式存储Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。使用压缩数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压
2021-01-04 19:57:05
271
原创 presto内存
presto内存presto内存池为什么使用Reserved Pool内存呢？内存管理presto内存池Presto把整个内存划分成三个内存池，分别是System Pool ,Reserved Pool, General Pool。System Pool保留给系统使用的，默认为40%的内存空间留给系统使用。System Pool用于在机器之间传递数据，在内存中维护buffer等功能。Reserved Pool和General Pool 是用来分配query运行时内存的。其中大部分的query都是使用
2021-01-04 16:44:17
325
原创 Flink连接Kafka
Flink连接Kafka的Scala代码Maven依赖<dependencies> <!--flink模块引入--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <!--
2020-11-17 17:19:42
997
原创 Flink连接Hive的Demo
使用flink连接hive调试了大半天，主要是官网的文档很不详细（缺少各种maven依赖），做个记录，供大家参考。添加Maven依赖 <!--flink_hive 模块引入--> <!-- Flink Dependency --> <dependency> <groupId>org.apache.flink</groupId> <artifactId&g
2020-11-12 10:42:04
828
原创 ClickHouse安装与使用
1 ClickHouse简介ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。2 ClickHouse安装2.1 安装前准备2.1.1 取消打开文件数限制在/etc/security/limits.conf和/etc/security/limits.d/90-nproc.conf这2个文件的末尾加入一下内容：在文件末尾添加：* soft nofile 65536 * hard
2020-11-12 09:32:22
1017
1
原创 lightgbm分类问题的实例
lightgbm学习代码自己学习代码仅供参考import numpy as npimport pandas as pdfrom sklearn.preprocessing import LabelEncoderfrom sklearn.model_selection import train_test_split, GridSearchCVimport lightgbmfrom sklearn.metrics import *import matplotlib.pyplot as plti
2020-10-23 15:58:05
1454
原创 环形队列的java实现
数组模拟环形队列分析说明1.尾索引的下一个为头索引时表示队列满，即将队 列容量空出一个作为约定,这个在做判断队列满的 时候需要注意 (rear + 1) % maxSize == front 满2.rear == front 空环形队列数组的实现/** * @author zl * @create 2020--09--03--9:02 */public class CicleArrayQueueDemo { public static void main(String[] ar
2020-09-04 14:57:30
178
原创 单链表的java实现及其常用操作
单链表的实现单链表介绍1.链表是以节点的方式来存储,是链式存储2.每个节点包含 data 域， next 域：指向下一个节点.3.链表分带头节点的链表和没有头节点的链表，根据实际的需求来确定单链表的java实现import java.util.Stack;/** * @author zl * @create 2020--09--03--10:17 */public class LinkedListDemo { public static void main(String
2020-09-04 14:45:28
159
原创 双向链表实现
双向链表实现双向链表和单链表的比较1.单向链表，查找的方向只能是一个方向，而双向链表可以向前或者向后查找。2.单向链表不能自我删除，需要靠辅助节点 ，而双向链表，则可以自我删除，所以单链表删除节点时，总是找到删除节点的前一个节点。双向链表java实现代码/** * @author zl * @create 2020--09--03--16:37 */public class DoubleLinkedList { public static void main(String[]
2020-09-04 14:35:50
233
原创 约瑟夫问题
约瑟夫问题约瑟夫问题Josephu 问题为：设编号为1，2，… n的n个人围坐一圈，约定编号为k（1<=k<=n）的人从1开始报数，数到m 的那个人出列，它的下一位又从1开始报数，数到m的那个人又出列，依次类推，直到所有人出列为止，由此产生一个出队编号的序列。思路用一个不带头结点的循环链表来处理Josephu 问题：先构成一个有n个结点的单循环链表，然后由k结点起从1开始计数，计到m时，对应结点从链表中删除，然后再从被删除结点的下一个结点又从1开始计数，直到最后一个结点从链表中
2020-09-04 14:28:14
276
原创 SparkStreaming有状态转化操作案例
SparkStreaming有状态转化操作案例SparkStreaming有状态转化操作主要有两种类型滑动窗口和updateStateByKey()滑动窗口Window Operations可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态。基于窗口的操作会在一个比 StreamingContext 的批次间隔更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。案例一每间隔十秒都计算前三十秒的数据实现wordcountimport org.apa
2020-08-03 18:02:07
328
原创 SparkStraming和SparkSql结合使用案例
案例一SparkStraming和SparkSql结合实现WordCountimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.sql.{DataFrame, SparkSession}object SparkStreamingStudy_rddtosql { def main(args: Array[.
2020-07-31 16:57:32
215
原创 spark分布式运行xgboost
spark分布式运行xgboost数据集如下所示程序完整代码# coding=UTF-8import osos.environ['PYSPARK_SUBMIT_ARGS'] = '--jars /data/pycharm/zhanglong/pysparkxgboostnew/xgboost4j-spark-0.90.jar,/data/pycharm/zhanglong/pysparkxgboostnew/xgboost4j-0.90.jar pyspark-shell'from py
2020-07-13 17:45:42
1615
9
原创 Structured Streaming利用withWatermark和window窗口函数实现wordcount
Structured Streaming利用withWatermark和window窗口函数实现WordCountpom添加依赖<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <
2020-06-30 12:39:39
911
2
原创 在linux安装postgresql
安装（我的本机centos6.8安装PostgreSQL 12-64位版本）（1）安装命令yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-6-x86_64/pgdg-redhat-repo-latest.noarch.rpmyum install postgresql12-server （2）初始化数据库并开启自动启动service postgresql-12 initdbchk.
2020-06-23 15:56:56
247
原创 txt文件导入到hive分区表中
Hive分区表导入txt文件txt文件数据如下所示13516987666 196037895 59.28% 25.74 659.02 419 50 语音类:干扰类:覆盖类 baf4d04:baf4d07:baf4d01 196037892:196037895:196037889 2020052713588688770 190464769 44.87% 22.52 646.7 887 49 覆盖类:干扰类:语音类 4ee71a1:b5a4303:b5a4301 82735521:19046477
2020-06-12 17:48:37
3674
2
原创 常用Mysql函数总结
常用Mysql函数总结/*概念：类似于java的方法，将一组逻辑语句封装在方法体中，对外暴露方法名好处：1、隐藏了实现细节 2、提高代码的重用性调用：select 函数名(实参列表) 【from 表】;特点：①叫什么（函数名）②干什么（函数功能）分类：1、单行函数如 concat、length、ifnull等2、分组函数功能：做统计使用，又称为统计函数、聚合函数、组函数...
2020-04-08 16:17:38
129
原创 使用Windows Services执行定时任务调用存储过程
Quartz--定时任务应用Quartz应用需要执行的任务Windows Services调用定时任务Quartz应用using Quartz;using Quartz.Impl;using Quartz.Spi;using System;using System.Configuration;using System.IO;namespace ITMSService{ ...
2019-10-08 15:22:31
408
原创 WinForm简单应用
C#WinForm简单应用生成winform生成如下的form点击button触发事件c#代码结果生成winformnamespace WindowsFormsApp1{ partial class Form1 { /// <summary> /// 必需的设计器变量。 /// </summary> ...
2019-10-08 14:59:31
284
原创 Rabbit简单应用
C#控制台简单应用——Rabbit生产者发送C#代码消费者接收c#代码结果启动生产者启动消费者生产者发送C#代码using RabbitMQ.Client; //需要使用nuget管理工具导入RabbitMQ.Clientusing System;using System.Collections.Generic;using System.Linq;using System.Text...
2019-09-11 16:58:57
314
原创 C#控制台应用——利用TCP协议发送，接受数据
C#控制台应用——利用TCP协议发送，接受数据客户端发送C#代码服务端接受c#代码客户端发送C#代码using System;using System.Collections.Generic;using System.Linq;using System.Net;using System.Net.Sockets;using System.Text;using System.Thre...
2019-08-15 16:57:14
2131
1
原创 字符串转换整数 (atoi)
字符串转换整数 atoi字符串转换整数 (atoi)字符串转换整数 (atoi)规则请你来实现一个 atoi 函数，使其能将字符串转换成整数。首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假如第一个非空字符是数字，则直接将其与之后连续的数字字...
2019-06-24 17:17:05
141
原创 弱密码验证
包含大小写字母、数字、特殊字符四种组合中的三种组合常规定义C#代码JS代码常规定义从口令设置的规则来说，所有口令（密码）位数必须大于等于8，至少包含大小写字母、数字、特殊字符四种组合中的三种组合，不符合此种规则的为弱口令。C#代码1.验证规则string reg = @"^(?![a-zA-Z]+$)(?![A-Z0-9]+$)(?![A-Z\W_]+$)(?![a-z0-9]+$)(?...
2019-06-18 10:21:27
2048
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人