- 博客(36)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 org.apache.flink.shaded.guava18.com.google.common.util.concurrent.ThreadFactoryBuilder 真实解决方案
FlinkCDC遇到的问题
2022-06-07 18:40:01
7235
18
原创 Hive索引
Hive之索引1.什么是索引？2.Hive为什么删除索引以及Hive的推荐方式2.Hive索引创建方式2.1创建、查看与删除索引2.2先创建在构建、查看与删除索引2.3创建位图(bitmap)索引、查看与删除2.4在一张新表上创建索引2.5 创建RCFile格式的索引2.6 创建TEXTFILE格式的索引2.7 创建带有索引属性的索引2.8 创建带有表属性的索引2.9 删除索引2.10 在分区上重建索引1.什么是索引？众所周知，给数据库的表中增加索引可以有效的提高查询效率，Hive也是存在索引的，其创建
2021-02-20 11:05:42
2169
原创 Spark自带求π的算法：蒙特卡洛算法
标题Spark自带求π的算法：蒙特卡洛算法** 1.在我们对spark集群进行压力测试时，通常会选择spark自带计算π的类来进行测试，那么spark内部到底是如何求π的呢？我们这里先上一段测试脚本： **bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cl...
2020-05-03 17:49:38
1578
原创 Hive相关调优知识
介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map端的汇总合并优化，使数据倾...
2020-03-18 22:51:01
271
原创 Linux入门以及精通
一、配置网络1.虚拟化软件（vmware）a)编辑–>虚拟网络编辑器–>VM8–>子网IP：192.168.x.0(只需要改x即可，x为1-255中任何一个数字【注意，windows本机ip的x部分与虚拟机x部分不能相同】),点击确定b)点击NAT设置，看网关IP是否是192.168.x.2,一般默认就为这个2.Linxu虚拟机网络设置系统–>首选项–>网络...
2020-01-12 23:07:21
287
原创 MySQL原理以及SQL语句优化
一、索引索引本身也是一个文件，在磁盘存储，在使用时，从磁盘加载到内存！索引适用的时机：①查询时，可以加快效率②排序时，也可以使用索引上的顺序不适用的时机：①不经常查询的表或字段，不用建索引②经常更新的表，不适合建索引MySql使用的索引select * from xxx where id=1通常为id这列建立索引B-tree: 多路平衡树5.4之前使用B(b...
2020-01-10 22:43:21
161
原创 Redis基础知识与入门
一、安装1.检查是否有gcc-c++环境ps -ef | grep gcc-c++如果没有,则需要安装：yum install –y gcc-c++2.开始安装redisa)编译在redis解压后根目录里面的src目录下执行make命令b)安装编译完成之后,执行make install命令,文件会被安装到/usr/local/bin二、启动将配置文件redis.conf拷贝一份...
2020-01-05 18:16:09
243
原创 JVM分析(基于JDK1.8)：类加载过程、堆的新生代与老年代
一、安装1.检查是否有gcc-c++环境ps -ef | grep gcc-c++如果没有,则需要安装：yum install –y gcc-c++2.开始安装redisa)编译在redis解压后根目录里面的src目录下执行make命令b)安装编译完成之后,执行make install命令,文件会被安装到/usr/local/bin二、启动将配置文件redis.conf拷贝一份...
2020-01-01 21:18:19
706
1
原创 sqoop应用及介绍
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle…)之间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署...
2019-12-28 21:21:39
447
原创 Phoenix应用及介绍
全局索引，生成一个索引表，存储在hbase!适用于多读少写场景！在向表写入数据时，不仅要更新数据，还要更新索引！索引表有可能分布在另外一台RS中，插入数据时，不仅向当前RS写数据，还需要向索引所在RS发送更新请求！会带来额外的网络开销！局部索引，在region中多生成一列，存储索引！存储在region中，索引和数据由一台RS负责！更新时，不需要跨RS执行更新！适用于多写的场景！...
2019-12-27 23:04:46
684
1
原创 Hadoop（二）hadoop介绍以及MapReduce
Map阶段需要继承Mapper类实现自定义核心逻辑，Reduce阶段需要继承Reducer实现自定义核心逻辑:1.易于编程2.高容错一台机器挂了，可以把上面的任务转义到另外一个节点上运行，不至于这个任务运行失败3.适合PB级以上数据的离线处理...
2019-12-19 23:14:50
131
原创 Hadoop（一）hadoop介绍以及HDFS
HDFS：分布式文件系统，负责大数据文件的读写，HDFS适合一次写入，多次读出，不支持文件的修改(随机写)，支持对文件的追加！原因： HDFS在存储文件时，以块的形式存储！...
2019-12-17 20:48:15
132
原创 Flume原理及架构深入
1.说明：高可用，高可靠，分布式的海量日志采集，聚合和传输系统，Flume基于流式架构，灵活简单；2.flume可监控文件夹日志以及端口传输的数据3.flume进程名称：Application...
2019-12-14 20:35:49
317
原创 Idea配置Remote Host
依次打开tool -> deployment -> Bowser Remote Host点击右上角…图标，如图所示图标在弹出的窗口中，右上角点击+图标在弹出的Add Server窗口中,Name:你要连接的主机名称Type：选择SFTP接下来，就是填写你需要连接的主机信息点击ok，你就可以在右侧看到你的主机信息了...
2019-12-12 23:12:14
9180
原创 Hive以及其架构
Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce框架。由于MapReduce 本身具有较高的延迟，因此在利用MapReduce 执行Hive查询时，也会有较高的延迟。相...
2019-12-11 23:29:39
120
原创 Sublime Text 3 使用sftp远程访问文件
Sublime Text 3 使用sftp远程访问文件最近准备使用Sublime Text 3的远程服务来访问远程文件，并对文件进行相应的操作，发现这个远程修改文件工具还是蛮不错的，网上有些教程存在一些问题，这里附上详细教程：1.打开Sublime Text 3依次点击文件–>SFTP–>Setup Server2.此时会弹出一个配置文件：3.修改此配置文件相关重要配置...
2019-12-08 21:06:27
1144
原创 HBase基础以及架构深入了解
HBase基础以及架构深入了解HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。面向列的数据库。hbase中所有的列（包含主键）全部都是字节数组...
2019-12-07 21:12:04
312
原创 Zookeeper原理及架构深入
一.zookeeper介绍1.什么是zookeeper？Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目，多用作为集群提供服务的中间件！官网也对此做了介绍：zookeeper这个词语翻译过来就是"动物园管理员"，主要是为hadoop体系集群提供服务的中间件，之所以叫zookeeper，是因为hadoop体系的框架大多是以动物作为logo，所以zookeep...
2019-12-05 20:23:59
266
原创 kafka基础架构及核心知识
kfka基础架构及核心知识目录一、kfka介绍以及说明1.kfka介绍以及名字由来2..kfka数据存储3.kafka高效的原因4.kafka的特点二、kafka集群的安装与部署三、kafka的核心组成1.Broker2.Topic3.Partition4.Offset5.持久化6.副本机制7.Producer8.Consumer9.Consumer Group四、shell客户端操作kafka五...
2019-12-04 23:20:30
3773
原创 Windows（Windows Server2019）平台下的消息组件RabbitMQ的安装与使用（C#.NET使用）
由于之前公司一直用的是MSMQ（Microsoft Message Queue），最近搭建了一个RabbitMQ，这里简单讲一下安装与使用一、安装1.下载并安装erlang,地址：http://www.erlang.org/downloads选择OTP 22.0 Windows 64-bit Binary File(94094976) 下载，并安装（安装步骤就是一直下一步直到完...
2019-07-28 22:14:05
2099
转载 索引存储结构
四种数据存储结构---顺序存储 链接存储 索引存储 散列存储转自：https://www.cnblogs.com/fengty90/p/3768826.html存储结构分四类：顺序存储、链接存储、索引存储 和 散列存储。顺序结构和链接结构适用在内存结构中。索引结构和散列结构适用在外存与内存交互结构。顺序存储：在计算机中用一组地址连续的存储单元依次存储线性表的各个数据元素,...
2019-07-26 20:13:23
12599
原创 C#.net创建一个简单的消息队列程序（MessageQueue）
MessageQueue：消息队列，现在应用也是越来越广泛，如微信朋友圈，可以概括为仅仅两条消息队列，消息队列常用于处理高并发的问题，当我们在实际应用中发现接收到数据量过多时，可以使用队列。微软提供了一个消息队列组件MSMQ（Microsoft Message Queue），下面我们就使用这个创建一个简单的消息发送与接收程序一、安装MSMQ组件依次打开控制面板-->程序--&g...
2019-07-25 22:42:54
3192
原创 C#.NET面试题：一批编号为1-100全部开关朝上（开）的灯进行以下操作： 开关编号凡是1的倍数反方向拨一次开关；若该编号也是2的倍数反方向又拨一次开关；若该编号又是3的倍数反方向又拨一次开关……
面试.NET工程师，有一道这样面试题：代码题：对一批编号为1-100全部开关朝上（开）的灯进行以下操作：开关编号凡是1的倍数反方向拨一次开关；若该编号也是2的倍数反方向又拨一次开关；若该编号又是3的倍数反方向又拨一次开关……以此类推一直计算到100为止。计算出开关朝上（开）的灯的数量并给出代码博主当时未加多思索（哈哈，拿出来做个对比，小伙伴们看看就好），便给出了以下答案：...
2019-07-25 10:46:10
2304
原创 Knockout学习（3）之observableArray，监控数组，列表（循环绑定）
ko对于数组列表，监控跟踪属性值关键字为：observableArray， 绑定值关键字为：foreach@{ ViewBag.Title = "Index3";}<h2>Index3</h2><head> <script src="~/Scripts/jquery-1.10.2.mi...
2018-06-12 18:29:21
5305
原创 Knockout学习（2）之observableArray，监控数组，展示下拉框
ko对于数组，监控跟踪属性值关键字为：observableArray，绑定值关键字为：options例子如下：@{ ViewBag.Title = "Index2";}<h2>Index2</h2><head> <script src="~/Scripts/jquery-1.10.2.min.js"></script&
2018-06-11 18:02:16
1179
原创 Knockout学习（1）之observable，监控文本
Knockout的具体介绍我这里就不详情说了，直接上代码：@{ ViewBag.Title = "Index";}<h2>Index</h2><head> <script src="~/Scripts/Knockout.js"></script> <script src="~
2018-06-11 17:51:06
1240
原创 解决JQuery冲突
有时候，我们明明引用了相关的JS脚本，但偏偏报异常，如 $('#id').combotree（）is not a function,$.toJSON is not a function;xxx is not a function;则很有可能是Jquery的$冲突引起的，则只需要按照以下方式修改即可1. $(function(){ });替换为--->jQuery(document).read...
2018-06-11 16:44:18
810
原创 ajax传递knockout对象的值
在实际应用中我们将各个文本框用ko进行了绑定之后，此时用户填好各个文本框的值之后，就需要提交表单了，以前，我们获取各个文本框的值用的是Jquery的val()方法，例如，我们要获取用户名的值，则这样获取：var UserName=$("#UserName").val(),但用到了knockout对各个文本框进行了绑定之后，则可以这样传值：前端代码：@{ ViewBag.Title = "I...
2018-06-11 16:34:54
760
原创 修改了Redis配置文件的端口，运行却还是6379
前段时间，本人准备在电脑部署两个redis服务，第一个默认6379，打开服务（redis-server.exe）运行，没有任何问题；第二个修改了配置文件为端口为6380，运行服务，一闪而过，马上发现，端口估计重复了，于是，关闭了第一个服务，再次运行第二个服务，成功打开，但端口居然还是6379（明明已经修改为6380了）后来经过发现，原来是第二个redis没有读取到配置文件所导致的,所以解决办法：...
2018-06-07 09:40:28
15814
1
原创 查看IIS日志以及网站对应的IIS日志文件夹
1.为什么要查看IIS日志？ 有时，我们在部署了一个程序之后，虽然程序里面记载了log日志，但有些类似503这样的错误在程序里面是无法记载的，所以我们需要通过查看IIS日志来查找问题。2.IIS日志目录点进去之后，我们发现，IIS日志文件夹目录下又包含有几个文件（这些文件夹是系统根据你站点多少而创建的，例如我电脑只有两个站点，则只有两个IIS日志文件夹）3.怎么知道我的哪个站点对应哪个文件夹呢...
2018-06-06 17:14:59
10452
1
原创 如何在RedisManager看到的键呈现树状结构
在RedisManager中，有些时候，我们为了方便查找redis的键，如果全在db0下，一旦键多了，查找起来可能有点麻烦，所以我们需要呈现一种树状结构，方便查找，例如下图所展示的：如何生成这种效果呢，只需要你在Redis的键的时候，加上 “：”，就可以了例如：set 20180601:15:01 123456，这样，就会呈现一个20180601的文件夹，下面包含一个15的文件夹，然后键是201...
2018-06-06 17:12:50
1645
1
原创 如何像连接SQL一样配置Redis连接字符串
在用C#连接SQL数据库时，我们需要在Config配置文件里面配置SQL连接字符串，同样，在连接Redis时，也可以配置连接字符串： <add key="RedisTest" WriteServer="127.0.0.1:6379,password=123456,connectTimeout=1000,connectRetry=1,syncTimeout=1000"/>注释：127....
2018-06-06 17:10:01
13209
redisdesktopmanager20191.zip
2019-07-25
mongodb-compass-1.17.0-win32-x64.zip （stable版）
2019-05-16
ASP.NET Core 2.2 官方教程(中文版)
2019-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人