- 博客(178)
- 资源 (16)
- 收藏
- 关注
原创 Kubernetes(k8s)基础之五:yaml文件详解
● 没有相关资源,使用run命令–dry-run选项● 已有相关资源,使用get命令–export选项,ie:, ie:,ie:…## 10. 获取资源配置清单的总结● 没有相关资源,使用run命令--dry-run选项● 已有相关资源,使用get命令--export选项。
2022-10-19 21:30:50
744
原创 Sharding-Jdbc实战之四:分库分表
也可以,根据数据冷热程度拆分,20%的热点字段拆到一个表,80%的冷字段拆到另外一个表。insert into t_order(user_id,order_id) values(2,3),user_id%2 = 0使用数据源ds0,order_id%2 = 1使用t_order1,insert语句最终操作的是数据源ds0的t_order1表。对1000w的用户数据进行分库分表,对用户表的数据进行分表和分库的操作。分库分表的目的,是将一个表拆成N个表,就是让每个表的数据量控制在一定范围内,保证SQL的性能。
2022-10-16 18:30:06
6473
原创 Sharding-Jdbc实战之三:读写分离
本文在之前的搭建的mysql主从复制基础环境之上进行简单的项目开发,进一步研究读写分离的原理。2.3 定义配置application.yml2.4 创建t_user表2.5 定义mapper、controller,entityentitymappercontroller 2.6 验证1. 启动日志中三个数据源初始化成功:2:访问 一直进入到ds1主节点3:访问 一直进入到ds2、ds3节点,并且轮询进入 ShardingSphere 的
2022-10-16 10:01:50
1137
原创 Sharding-Jdbc实战之二:MySQL主从复制
本文是《Sharding-Jdbc实战》学习过程中的第二篇记录文章,主要介绍MySQL主从复制的大概原理和在docker下搭建mysql主从复制环境的环境,为后文的实战搭建必要环境,下一篇将在实战中体会读写分离。
2022-10-15 11:06:35
1130
原创 Sharding-Jdbc实战之一:概述
本文是《Sharding-Jdbc实战》学习过程中的第一篇记录文章,主要介绍Sharding-Jdbc的框架介绍和基础概念,下一篇开启实战体验。
2022-10-15 10:31:47
732
原创 SpringBoot实战之一swagger
本文简要对swagger进行了介绍,并介绍了如何在springboot项目中集成swagger,swagger是优秀的api文档工具,对于它的其他使用后续在使用中进一步补充。
2022-10-04 18:06:59
537
转载 Java并发编程之一:线程池工作原理
通过上面分析提到,通过Executors这个工具类来创建的线程池其实都无法满足实际的使用场景,那么在实际的项目中,到底该如何构造线程池呢,该如何合理的设置参数?1)线程数线程数的设置主要取决于业务是IO密集型还是CPU密集型。CPU密集型指的是任务主要使用来进行大量的计算,没有什么导致线程阻塞。一般这种场景的线程数设置为CPU核心数+1。IO密集型:当执行任务需要大量的io,比如磁盘io,网络io,可能会存在大量的阻塞,所以在IO密集型任务中使用多线程可以大大地加速任务的处理。
2022-10-04 11:58:26
464
原创 Elasticsearch 实战之三:ES 基本操作
在实战开始之前,为了便于书写和沟通,本文先来约定一下如何在文章中表达请求和响应的信息:1. 假设通过Postman工具或者Kibana向服务器发送一个PUT类型的请求,地址是:http://{IP}:9200/test001/article/1。
2022-10-03 23:05:10
1444
原创 Elasticsearch 实战之二:核心概念
导读:本文是系列 Elasticsearch 实战专栏的第二篇,前一篇文章已经在windows下搭建了单机版的ES6,安装了必要的工具和插件。在正式开始实战之前,本节有必要对ES的相关核心概念尤其是存储方式的概念进行简要的梳理。
2022-10-03 21:43:06
236
原创 Elasticsearch 实战之一:环境搭建
Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库—无论是开源还是私有。但是 Lucene 仅仅只是一个库。为了充分发挥其功能,你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是,您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常 复杂。
2022-10-03 17:37:40
2015
原创 Kubernetes(k8s)基础之四:k8s持久化实战
使用K8S另一个绕不开的话题就是K8S持久化存储。例如: 我们做系统迁移,要把原来的服务迁移到K8S中,系统用的Mysql数据库,也要迁移到K8S。我们知道,K8S运行的是一个一个Pod,K8S对Pod自动化管理,一个Pod挂了,另外一个Pod就会马上拉起来,假如运行Mysql的Pod挂了,马上重新拉起来,那原来Pod中存储的数据还会存在吗?或者说新拉起来的Pod会进行数据恢复吗?答案是:NO!如果没有持久化存储,那兄弟,你真正的做到了从删库到跑路!
2022-10-03 15:39:01
963
原创 Kubernetes(k8s)基础之三:K8s常用命令
一个典型的用例如下: 使用Deployment来创建ReplicaSet。然后,通过更新Deployment的PodTemplateSpec字段来声明Pod的新状态。这会创建一个新的ReplicaSet,Deployment会按照控制的速率将pod从旧的ReplicaSet移动到新的ReplicaSet中。注意: Deployment的rollout当且仅当Deployment的pod template(例如.spec.template)中的label更新或者镜像更改时被触发。
2022-10-03 09:28:21
2406
原创 Kubernetes(k8s)基础之二:容器编排介绍及概念
Kubernetes 包含若干抽象用来表示系统状态,包括:已部署的容器化应用和负载、与它们相关的网络和磁盘资源以及有关集群正在运行的其他操作的信息。这些抽象使用 Kubernetes API 对象来表示。另外,Kubernetes 包含大量的被称作控制器(controllers) 的高级抽象。控制器基于基本对象构建并提供额外的功能和方便使用的特性。
2022-10-03 09:16:08
1231
1
原创 Kubernetes(k8s)基础之一:基础概念及组件介绍
k8s(Kubernetes)作为容器编排生态圈中重要一员,是Google大规模容器管理系统borg的开源版本实现,它提供应用部署、维护、 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用。当前Kubernetes支持GCE、vShpere、CoreOS、OpenShift、Azure等平台,除此之外,也可以直接运行在物理机上。kubernetes是一个开放的容器调度管理平台,不限定任何一种言语,支持java/C++/go/python等各类应用程序。
2022-10-03 08:56:19
1401
原创 Spring Cloud Alibaba实战之二:OpenFeign的使用
Feign是一个声明式WebService客户端,使用Feign能让编写Web Service客户端更简单它的使用方法是定义一个服务接口然后在上面添加注解,Feign也支持可拔插式的编码器和解码器。Spring Cloud对Feign进行了封装,使其支持了Spring MVC标准注解和HttpMessageConverters。Feign可以与Eureka和Ribbon组合使用以支持负载均衡Feign能干什么Feign旨在使编写Java Http客户端变得更容易。
2022-10-02 17:38:43
4464
3
原创 Spring Cloud Alibaba实战之一:项目搭建
传统的单体应用,将所有功能的表示层、业务逻辑层,数据访问层,包括静态资源等等全部糅合在一个工程里面,编译,打包,部署在单台服务器上上线,比如打成war包放在Tomcat的webapp目录中部署项目。这样的项目开发部署适合小型项目,系统功能不复杂,访问量不大的情况下有绝对的优势。开发速度快,运维方便。但是当业务越来越复杂,功能越来越多,参与的开发人员越来越多,就暴露出问题了。比如:业务变复杂,代码量增大,代码可读性,可维护性,可扩展性下降。万一要新同事接手代码,理解起来花很多时间测试难度增大。
2022-10-02 14:53:04
10088
5
原创 Spring Boot自动装配原理
springboot在配置上相比spring要简单许多,其核心在于spring-boot-starter,在使用spring boot来搭建一个项目时,只需要引入官方提供的starter,就可以直接使用,免去了各种配置。starter简单来讲就是引入了一些相关的依赖和一些初始化的配置Spring 官方提供了很多starter,第三方也可以定义starter。为了加以区分,starter从名称上进行了如下规范:
2022-10-01 22:04:18
472
原创 Docker Compose使用教程
Docker Compose是一个用来定义和运行复杂应用的Docker工具。一个使用Docker容器的应用,通常由多个容器组成。使用Docker Compose不再需要使用shell脚本来启动容器。Compose 通过一个配置文件来管理多个Docker容器,在配置文件中,所有的容器通过services来定义,然后使用docker-compose脚本来启动,停止和重启应用,和应用中的服务以及所有依赖服务的容器,非常适合组合使用多个容器进行开发的场景。
2022-09-25 22:05:52
5127
原创 OpenFaaS梳理之三:OpenFaaS API Gateway
本文是《OpenFaaS梳理》系列的第三篇,在前面两节搭建openfaas部署环境并且成功将一个函数发布到openfaas之后,我们就可以通过前端页面进行已经发布函数信息的查看,其中包括已经发布的函数列表以及对单个函数通过Invoke function 以request请求进行测试,类似于postman进行访问。不过身为开发人员当然不止想通过工具进行访问,官方提供了OpenFaaS API Gateway 通过接口进行openfaas对函数从部署(deploy)、触发(invoke)、扩缩容(scale)等
2022-09-21 23:28:36
1282
原创 K8s部署SpringBoot项目简单例子
本文通过将一个构建好的springboot的hello-world项目镜像,通过yaml部署的方式将其部署到K8s上。通过回顾部署的具体实现作为springboot项目K8s容器化部署的开始,后续考虑补充多个服务部署过程中出现的一些问题,加深对K8s的理解。
2022-09-11 22:59:57
1535
原创 OpenFaaS梳理之二:函数入门
本文是《OpenFaaS梳理》系列的第二篇,在Kubernetes环境把OpenFaaS在搭建好之后,终于可以开始开发函数了;本篇的主题是熟悉OpenFaaS的函数操作,包括:开发、部署、使用。
2022-09-11 20:50:30
1736
原创 OpenFaaS梳理之一:部署
《OpenFaaS梳理》系列是最近在做的一个项目需要用到openfaas,该项目基本的实现是通过利用openfaas将Python基础镜像结合用户自定义的Python脚本,并通过发布服务和调度任务等方式,实现将一个个机器学习任务隔离在不同的容器服务中执行,实现现场人员机器学习任务的利用。本系列从最基础的部署开始,希望通过对之前开发中的细节和实现的回顾,浅入深逐渐熟悉OpenFaaS的高级功能,并将整个研发的思路过程做一次回顾。
2022-09-11 13:39:52
1485
1
原创 docker-java实现镜像管理的基本操作
本篇旨在通过最基础的代码实现简单的docker镜像获取、构建加载及将镜像推送到harbor仓库等基础操作。前提已经安装好了docker和harbor。
2022-08-29 23:10:55
3631
3
原创 SpringBoot使用Nacos进行服务注册发现与配置管理
Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。本文将简单介绍如何将nacos作为服务注册中心和配置管理。
2022-08-22 22:39:50
10001
原创 idea启动Tomcat项目发现端口一直被占用,但是没有进程在使用该端口
idea启动Tomcat报错“Error running 'SpringMVC': Address localhost:8019 is already in use”但是端口并未被占用
2022-08-21 18:11:48
1963
3
原创 Spark--Yarn分布式部署模式
Spark--Yarn分布式部署模式Yarn分布式部署模式1、安装(1)集群规划 hadoop102 hadoop103 hadoop104 Spark NodeManager ResourceManager NodeManager NameNode NodeManager DataNode DataNode DataNode (2)安装把安装包上传...
2021-04-07 23:53:19
394
原创 idea对spark程序进行远程提交和调试
第一部分 远程提交本文以WordCount程序来实现idea对spark程序进行远程提交和调试环境 利用虚拟机搭建拥有3台主机的spark集群 hadoop102 hadoop103 hadoop104 IntelliJ IDEA 2020.3.2 (Ultimate Edition) 背景知识若要把 Spark SQL 连接到一个部署好的 Hive 上,你必须把 hive-site.xml 复制到 Spark的配置文件目录中($SPARK_HOME/c
2021-04-07 14:50:43
1399
1
原创 Spark 配置连接hive 元数据库
Spark 配置连接hive 元数据库第一步 安装Hive和Spark(略)第二步 配置 Metastore 到 MySql原因是, Metastore 默认存储在自带的 derby 数据库中,推荐使用 MySQL 存储 Metastore;2.1 驱动拷贝上传并解压 mysql-connector-java-5.1.27.tar.gz 驱动包 到 hive/lib/ 目录下[root@hadoop102 mysql-libs]# tar -zxvf mysql-c..
2021-04-07 14:26:02
5638
原创 Anaconda 虚拟环境查看,创建,激活和删除等基本操作
Anaconda 虚拟环境查看,创建,激活和删除等基本操作 查看现有虚拟环境: conda env list 创建虚拟环境: conda create --name env_nameconda create --name env_name python=2.X/3.Xconda create --name env_name numpy scipy(含哪种包)conda create --name env_name python=3.6 numpy scipy 激活虚拟环.
2021-03-31 20:48:45
427
转载 一致性Hash原理与实现
一致性Hash原理与实现原文写的很好,这里只粘贴MurMurHash算法代码。具体实现算法接口类# IHashServicepublic interface IHashService { Long hash(String key);}算法接口实现类public class HashService implements IHashService { /** * MurMurHash算法,性能高,碰撞率低 * * @param ke
2021-03-30 20:04:47
150
原创 LeetCode 146.LRU 缓存机制
题目:运用你所掌握的数据结构,设计和实现一个 LRU (最近最少使用) 缓存机制 。实现 LRUCache 类:LRUCache(int capacity) 以正整数作为容量 capacity 初始化 LRU 缓存int get(int key) 如果关键字 key 存在于缓存中,则返回关键字的值,否则返回 -1 。void put(int key, int value) 如果关键字已经存在,则变更其数据值;如果关键字不存在,则插入该组「关键字-值」。当缓存容量达到上限时,它应该在...
2021-03-30 19:46:35
112
原创 LeetCode 875.猴子吃香蕉
题目:珂珂喜欢吃香蕉。这里有 N 堆香蕉,第 i 堆中有 piles[i] 根香蕉。警卫已经离开了,将在 H 小时后回来。珂珂可以决定她吃香蕉的速度 K (单位:根/小时)。每个小时,她将会选择一堆香蕉,从中吃掉 K 根。如果这堆香蕉少于 K 根,她将吃掉这堆的所有香蕉,然后这一小时内不会再吃更多的香蕉。珂珂喜欢慢慢吃,但仍然想在警卫回来前吃掉所有的香蕉。返回她可以在 H 小时内吃掉所有香蕉的最小速度 K(K 为整数)。示例 1:输入: piles = [3,6,7,11], H = 8.
2021-03-30 19:19:28
1037
原创 LeetCode 1. 两数之和
题目:给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]Related Topics 数组 哈希表???? 9308 ???? 0思路:思路第一次遍历数组先将所有元
2021-03-30 19:00:14
138
原创 tensorflow-gpu版本使用时报错,各种dll文件找不到
tensorflow-gpu版本使用时报错,各种dll文件找不到win10下python下载安装CUDA+tensorflow2.x使用gpu最好是“查看一下你的驱动版本号够不够,windows下一定要下载最低CUDA10.1的版本!之前下载CUDA10.0的卸载了吧。”如果已经下载了CUDA10.0 或者CUDA10.2,那就可能遇到下面这些找不到dll文件的问题。coreClock: 1.56GHz coreCount: 16 deviceMemorySize: 4.00GiB devic
2021-03-21 13:06:28
1841
转载 关于数据中台的思考与总结
关于数据中台的思考与总结目录关于数据中台的思考与总结数据中台数据汇聚数据开发智能运维数据体系数据资产管理数据服务体系离线平台苏宁实时平台美团点评bilibili网易离线数仓与实时数仓从0建设离线数仓区别数据中台解决方案零售行业原文地址:https://miaowenting.site/2020/03/24/%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E7%9A
2021-03-09 16:24:26
482
原创 正则表达式练习
正则表达式练习:多条件匹配获取查找内容import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;public class RegularLesson1 { static String matcher(String value, String regEx) {
2020-05-20 20:12:27
219
转载 机器学习
1.kaggle用户性别和年龄推断kaggle用户性别和年龄推断2.TensorFlow实现流行机器学习算法教程汇集(上)TensorFlow实现流行机器学习算法教程汇集(上)3.TensorFlow实现流行机器学习算法教程汇集(下)TensorFlow实现流行机器学习算法教程汇集(下)...
2020-05-07 17:14:15
231
python安装包basemap-1.2.1-cp37-cp37m-win_amd64.whl
2020-05-21
talkingdata-mobile-user-demographics.zip
2020-05-20
PoiMap.zip
2020-04-21
TMDB 5000 Movie Dataset
2018-10-15
人工智能产品经理
2018-07-20
2017全球人工智能人才白皮书
2018-07-20
Python项目开发实战(第2版)带标签
2018-07-20
fer2013人脸表情识别数据集
2018-06-24
剑指offer完整版PDF带目录源码(C++和Java版)
2018-01-20
Python数据分析与挖掘实战pdf带标签+源代码
2018-01-09
pandas API英文版(20171212版)
2018-01-05
利用Python进行数据分析pdf中文完整带目录+源代码(py和ipynb)
2018-01-05
titanic_dataset.csv(泰坦尼克数据集)
2018-01-05
Learning Jupyter 英文高清完整带标签(pdf版和epub版)下载
2018-01-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人