- 博客(79)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 基于Flink技术的商品实时推荐系统(初版)
基于Flink技术的商品实时推荐系统(初版)之前趁着寒假有时间，学了一下大数据的基础知识，Hadoop、Hbase、Flink、Kafka等。做了一个简单的推荐系统。1.0 演示视频基于Flink的实时推荐系统-初版(ps录制的时候卡卡的) 录制视频的时候，开的软件有点多，加上为了方便演示，把一些时间间隔参数调小了，所以CPU一直在运作，比较卡顿。1.1 关于推荐算法 推荐算法，用到的是Slop
2021-04-05 14:39:18
2896
4
原创 Flink读取Kafka存储的日志记录，转换成POJO(随录)
Flink代码随录，所以基本不会有解释文字MainJob.javapackage ash.jobs;import ash.entity.MyLog;import ash.jobs.base.BaseJob;import com.google.gson.Gson;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.common.serialization.Sim.
2021-02-17 07:56:24
631
原创 Flink1.2.1通过Table API / Flink SQL读取HBase2.4.0
最近需要整一个推荐系统，学了下Flink，整合HBase出了很多怪问题<= 主要还是Hadoop生态各种组件组合时的配置文件配置不熟悉。1. 环境废话不多说，这里用到的环境如下（不确定是否都必要，但是至少我是这个环境）zookeeper 3.6.2Hbase 2.4.0Flink 1.2.12. HBase表# 创建表create 'u_m_01' , 'u_m_r'# 插入数据put 'u_m_01', 'a,A', 'u_m_r:r' , '1'put .
2021-02-11 00:49:55
700
1
原创 微信公众号开发-后端demo（随录）
本来想在博-客-园记录的，但是不能实时看到MarkDown语法渲染的页面，有点小蛋疼。就在优快云里记录下。微信公众平台接口调试工具微信官方文档 <= 坑爹，很多内容旧了没更新。（国内文档大多不靠谱）github该demo链接下面都是基于微信公众平台接口调试工具谈论。捣鼓了下微信公众号后端开发，就暂时做了2个测试用接口：“基础支持”-“获取access_token接口/token”“消息接口调试” - “文本消息”0. 项目部署是否成功访问服务器ip/test，如果有显示文字
2020-12-01 14:46:09
1038
原创 用JMeter对使用Guava-BloomFilter的简易项目的性能测试（github带代码、测试文件等）
用JMeter对使用Guava-BloomFilter的简易项目的性能测试（带github代码）Jmeter查看QPS和响应时间随着时间的变化曲线（转载）A component required a bean of type ‘redis. clients. jedis. JedisPool’ that could not be found.SpringBoot高级篇Redis之Jedis配置Guava教程-BloomFilter…0. github测试代码demo项目先贴上对应的gith
2020-10-14 01:50:44
346
原创 Netty零拷贝--一起看源码呗
Netty零拷贝–一起看源码呗 先推荐一下下面的文章。本篇文章也是参考下述文章后，再对部分类进行源码查看的。理解Netty中的零拷贝（Zero-Copy）机制netty深入理解系列-Netty零拷贝的实现原理对于 Netty ByteBuf 的零拷贝(Zero Copy) 的理解netty四种BUFFER的内存测试Netty学习之Byte...
2020-05-02 20:31:39
570
原创 IO读写原理；BIO、NIO、AIO（是否同步、是否阻塞）、IO多路复用--知识不用就会忘
IO读写原理；BIO、NIO、AIO（是否同步、是否阻塞）、IO多路复用-- 知识不用就会忘有些东西，开发的时候你都懂。等你开发完了，你就记忆模糊了，哈哈。不知道是不是只有我这样。额在介绍三者之前，先聊一聊IO读写的基础原理。《Netty、Redis、ZooKeeper高并发实战》图书1. IO读写基础原理1.1 read、write系统调度 &n...
2020-05-01 16:17:56
620
原创 IPv4字符串和int32数字转换（Java版本）
ipv4的字符串和int32互转据说实际开发会用到。之前我都是用的String的ip直接存Redis了，还是我孤陋寡闻了。这里试着用位运算实现了一下，不敢保证是最优写法，如有更好的方式，还希望各位网友指点一下，哈哈。下面直接上代码：public class Test{ @Test public void testIPv4AndInt32() { int i...
2020-05-01 01:00:32
1346
原创 快速排序+快速选择(常用于筛选前N个最大or最小)-java实现
快速排序+快速选择(常用于筛选前N个最大or最小)-java实现最近这一两天，终于有空复习以前学习的东西了。前面忙着学SpringCloud和Netty感觉花费了太多时间，做项目也是。后来实习的面试准备就等于没准备，全靠着以前学习的记忆面试。果不其然，效果不是很好。这里建议大家做项目量力而行，最好还是多学习和复习所学的知识。毕竟别人往往一两句话就认定了你的项目的水准和花费的努力。而复习所学的知...
2020-04-30 19:09:54
494
原创 后端的protobuf的java类转换JSON传输到前端Dart后转protobuf的dart类读取
后端的protobuf的java类转换JSON传输到前端Dart后转protobuf的dart类读取这个是我自己踩过的坑之一。因为某些场景中需要直接把.proto生成的java类包装成JSON通过HTTP请求返回给Dart。但是我试了很多种方式，发现都会出现奇怪的错误，但是网上没找到比较好的解决方法。最后还是自己各种尝试后，试出来了一种可以在Dart识别出JSON中的proto类的数据的方式...
2020-04-16 20:03:54
1199
原创 UDP打洞和为何打洞、为什么TCP"不适合"P2P，以及NAT介绍(下面讲的是NAT的NAPT)
UDP打洞和为何打洞、为什么TCP"不适合"P2P，以及NAT介绍(下面讲的是NAT的NAPT)下面介绍流程如下A、NAT中的4种NAPTB、NAT的概念为什么会出现NATNAT是啥，能干啥C、TCP是否需要NAT，以及谈谈为什么UDP需要打洞(什么是NAT穿透)TCP当然也是需要走上面的NAT流程的TCP是否能实现P2PTCP有链接和UDP无连接为什么需要UDP打洞(什么是...
2020-03-25 07:48:53
1851
4
原创 推荐一些UDP打洞文章，以及谈谈自己对NAT的理解和自己过去遇到的UDP"坑"
UDP打洞，内网NAT映射问题（直接从我github的MD笔记摘过来了）UDP通讯，外网向内网发消息，内网无法收到 [问题点数：20分，结帖人pylmcy150]udp外网无法返回数据到内网 [问题点数：40分，结帖人qianshangding]请教UDP 打洞是个什么过程，有成功过的请进。 [问题点数：100分，结帖人myth_2002]求助技术贴：对称型NAT 怎么穿透udp外网无...
2020-03-25 04:04:27
787
原创 SpringBoot配置开启事务
搭建好FastDFS之后，测试了下文件上传下载，没啥问题。然后不经意间发现自己原来之前MySQL操作忘记配置事务了，就顺便配置下。下面先讲讲自己为啥这么配，下面再贴自己事务的配置类事务级别选择 MySQL默认的事务级别是可重复读（repeatable-read），但是这种模式下，如果SQL没有命中索引，就会锁表。而比这个事务低一个级别的不可重复读（read-committed）在没...
2020-03-22 09:36:09
605
原创 地理位置处理---Redis的GeoHash和MySQL的geography类型（之后有空再详细介绍）
地理位置处理—Redis的GeoHash和MySQL的geography类型（之后有空再详细介绍）最近比较忙，本来很早就想写对比文章了，这里先大致写写，等之后有空再详细介绍吧。这个文章我本地MD笔记也有，以后再上传到github。1. MySQL的geography适合查找某个指定范围内的物体（比如一个多边形内的）适合需较高精确位置关系的场景。比如传来一个用户坐标，如果需要较精确的定...
2020-03-19 01:43:30
1021
原创 普通token登录验证和OAuth2.0应用场景(简述,之后有空再详写)
之前2月底特地看了很多关于token机制和Oauth2.0的文章。由于3月初到现在每天都很忙，所以一直没时间整理。今天其实也还是没时间。不过现大概写一些东西。后面有空在补上吧。之前忙着发现杯的作品提交材料，最近则是忙着Netty开发。在正式介绍Token之前，先大致回顾一下Cookie和Session。（下面介绍跨度比较大，涉及内容不止Cookie和Session）1. Cookie ...
2020-03-19 00:51:19
975
1
原创 CentOS7宝塔配置Nginx强制HTTPS访问，按照路径转发80端口的请求至两个docker服务路径
CentOS7宝塔配置Nginx强制HTTPS访问，按照路径转发80端口的请求至两个docker服务路径下面是自我吐槽，可以直接略过ps：起初是打算用docker-compose搭建nginx，然后再配置http转发到HTTPS，以及根据url路径选择不同的docker服务。然而在docker中配置了很久，一直没配好，导致服务器崩溃了好几次，额。最后还是选择了宝塔，在其nginx的配置基础上做...
2020-03-02 06:28:39
2166
1
原创 SpringCloud开发中多台公网ip服务器，Eureka、provider、Ribbon遇到的坑记录
SpringCloud开发中多台公网ip服务器，Eureka、provider、Ribbon遇到的坑记录springcloud多模块项目，每个项目执行maven package后生成的jar包大小很小，并不是可执行的jar包。解决方案(修改pom依赖文件)：spring-boot-maven-plugin的版本使用与当前springgboot相符合的下面的<configur...
2020-02-28 00:00:18
908
原创 MySQL的NULL值、空值查询；模糊查询的like、%和=比较
MySQL的NULL值、空值查询；模糊查询的like、%和=比较（用初略测试数据）mysql 用法 ExplainMySQL_执行计划详细说明MySQL执行计划extra中的using index 和 using where using index 的区别提要 今天正好项目要设计数据库，再纠结以前没特地纠结的问题，那就是MySQL如果有字段可能不存在，是否要设置成NULL还是用NO...
2020-02-25 10:36:02
3069
原创 cloud config、eureka+security（3个不同公网ip、不同局域网环境的服务器）
cloud config、eureka+security（3个不同公网ip、不同局域网环境的服务器）每个服务器分别有一个eureka（整合security）和一个config，config只在本地局域网中，eureka向互联网暴露端口。config的启动类使用@EnableConfigServer注解，eureka的启动类用@EnableEurekaServer//Config的Appl...
2020-02-19 21:31:30
771
2
原创 个人对JVM五大部分的总结（欢迎网友指点、补充、指出错误）
因为我对Heap的文字描述比较多，先单独抽取出来：----------------new对象、数组等分配的内存空间。heap又分为新生代Young和老年代Old（两者1：2大小）。新生代细拆为3部分（Eden、from、to，8：1：1），from和to合称为Survivor区。新分配的对象先到新生代的Eden区，要是Eden放不下，就会触发Minor GC垃圾回收，新生代使用...
2020-02-19 20:31:39
622
3
原创 【IDEA】maven想ctrl+左键查看jar包源代码却出现cannot find declaration to go to
很可能是maven的镜像源获取的jar包资源不够新，反正我是这样的。建议使用阿里的maven镜像源具体操作：安装和配置maven（自行百度，网上一抓一大把教程）修改maven的源找到自己的maven安装目录下的conf目录的settings.xml文件打开，在文件的140-160行左右的位置，找到<mirrors>标签，在内部可以看到配置maven源的模板，粘贴以下代码...
2020-02-05 22:49:32
1812
原创 java.lang.IllegalStateException: No instances available for SPRINGCLOUDTEST-PROVIDER-DEPT解决
java.lang.IllegalStateException: No instances available for SPRINGCLOUDTEST-PROVIDER-DEPT解决方法估计遇到类似下面这张图片的问题的，都是看了网上的SpringCloud教程整合自定义Ribbon的负载均衡算法类。解决方案：下面是原本的启动类（80端口的消费者）把@RibbonClient注解的...
2020-01-28 02:05:22
6948
5
原创 个人web开发-最近用到的Linux指令，整理了一下（省得以后找不到了）
web开发自己用到的常用Linux指令附上自己的github对应的MD笔记网址Ashiamd的docsify-notes1. Linux远程服务器文件的上传、下载linux系统下的rz、sz详解sz:将选定的文件发送（send）到本地机器rz:运行该命令会弹出一个文件选择窗口，从本地选择文件上传到服务器(receive)2. linux下的文本去重方法linux下的...
2019-12-27 15:21:31
195
1
原创 今天写代码想到个问题，局部变量的对象类型String str=null;和对象类型String str;在不使用str时有什么区别
发现网上也有人和我有相同的问题（上古时期），1.局部变量声明而不赋值，和赋值为null，在内存分配上有什么区别？2.java中，只声明一个对象不赋值，与声明一个对象并赋为 null 的区别3.从一个class文件深入理解Java字节码结构下面对比两种情况Test20191213_01.javapublic class Test20191213_01{ public static ...
2019-12-13 01:36:22
374
原创 Vmware安装Ubuntu16.04.1+安装Vmware Tools+安装gnome桌面+安装打字法+卸载vm的Ubuntu
之前折腾了一段时间，所以再重搞一下，万一以后要做类似的安装，也比较有印象。一、下载Ubuntu16.04.1的iso文件http://old-releases.ubuntu.com/releases/xenial/二、打开VM15.5pro准备安装Unbuntu要是没有还不会安装VM，可以看看这个文章https://www.cnblogs.com/Komorebi-john...
2019-11-03 01:21:52
934
原创 LeetCode-探索-中级算法-数组和字符串-1. 三数之和(个人做题记录，不是习题讲解)
LeetCode-探索-中级算法-数组和字符串-1. 三数之和(个人做题记录，不是习题讲解)LeetCode探索-中级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-medium/三数之和语言:java思路：只想到用多层for嵌套的解答方式，但是感觉会超时。参考代码1(...
2019-10-24 18:42:05
260
原创 LeetCode-探索-初级算法-其他-6. 缺失数字(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-其他-6. 缺失数字(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/缺失数字语言:java思路:先排序,再找出缺失的数字代码(11ms,23.83%丢人):class ...
2019-10-24 18:38:10
221
原创 LeetCode-探索-初级算法-其他-5. 有效的括号(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-其他-5. 有效的括号(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/有效的括号语言:java思路:用数组模拟堆栈,然后进行括号匹配代码(0ms):class Solu...
2019-10-24 18:37:29
504
原创 LeetCode-探索-初级算法-其他-4. 帕斯卡三角形(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-其他-4. 帕斯卡三角形(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/帕斯卡三角形语言:java思路:杨辉三角,就下一层的等于上一层的相加.代码(1ms):class...
2019-10-24 18:36:37
270
原创 LeetCode-探索-初级算法-其他-3. 颠倒二进制位(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-其他-3. 颠倒二进制位(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/颠倒二进制位语言：java思路：除了获取每一位,然后直接位运算和最开头的替换,暂时没想到比较好的方法....
2019-10-24 18:35:49
289
原创 LeetCode-探索-初级算法-其他-2. 汉明距离(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-其他-2. 汉明距离(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/汉明距离语言：java思路：先异或运算，那么就转换成“位1的个数”问题了。代码(0ms)：class...
2019-10-24 18:34:45
247
原创 LeetCode-探索-初级算法-其他-1. 位1的个数(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-其他-1. 位1的个数(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/位1的个数语言：java思路：用位运算来比较是否为1，然后记录1的数量代码(1ms)：public...
2019-10-24 18:32:56
354
原创 LeetCode-探索-初级算法-数学-4. 罗马数字转整数(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-数学-4. 罗马数字转整数(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/罗马数字转整数语言：java思路：从前往后判断诸如LIV的比较麻烦，从尾向前则只要当前小于上一个，就用...
2019-10-10 01:09:07
209
原创 LeetCode-探索-初级算法-数学-3. 3的幂(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-数学-3. 3的幂(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/3的幂语言：java思路：就循环判断余数是否==0，非3的幂的大于1的数字就会余数出现非0情况。代码(1...
2019-10-10 01:08:34
685
原创 LeetCode-探索-初级算法-数学-2. 计数质数(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-数学-2. 计数质数(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/计数质数语言：java思路：我用了双层for循环，然后就果断超时了。后面看网上的文章得知用动态规划的思想，在...
2019-10-10 01:07:58
198
原创 LeetCode-探索-初级算法-数学-1. Fizz Buzz(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-数学-1. Fizz Buzz(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/Fizz Buzz语言：java思路：就很简单地判断%3和%5就好了代码(3ms,81.53...
2019-10-10 01:07:15
228
原创 LeetCode-探索-初级算法-设计问题-2. 最小栈(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-设计问题-2. 最小栈(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/最小栈语言：java思路：本来打算用1个ArrayList再存储排序后的堆栈之类的来实现快速获取最小值，但...
2019-10-10 01:05:28
354
1
原创 LeetCode-探索-初级算法-设计问题-1. Shuffle an Array(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-设计问题-1. Shuffle an Array(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/Shuffle an Array语言：java思路：看了网上说打乱的方法就是从尾...
2019-10-10 01:04:25
210
原创 LeetCode-探索-初级算法-动态规划-4. 打家劫舍(个人做题记录，不是习题讲解)
LeetCode-探索-初级算法-动态规划-4. 打家劫舍(个人做题记录，不是习题讲解)LeetCode探索-初级算法：https://leetcode-cn.com/explore/interview/card/top-interview-questions-easy/打家劫舍语言：java思路：假设总共5个，那么第5个获取的最大值就是第3个能获取到的最大值加上第5个or...
2019-10-10 01:02:58
258
个人对JVM总结图.png
2020-02-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人