- 博客(25)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 APPARENT DEADLOCK Creating emergency threads for unassigned pending tasks
在迁移CDH集群的元数据库后，重新启动集群失败，报APPARENT DEADLOCK!!! 错误
2022-08-26 09:56:09
3191
2
原创 clickhouse-common-static signature check fail
clickhouse-common-static signature check fail
2022-07-16 11:00:15
471
原创 beeline 连接，参数报错 Cannot modify ** at runtime. It is in the list of parameters that can‘t be modified
CDH 大数据集群，使用beeline 连接hiveserver2时，后面跟spark的一些参数时。报错Failed to open new session: java.lang.IllegalArgumentException: Cannot modify hive.spark.client.server.connect.timeout at runtime. It is in the list of parameters that can't be modified at runtime or is p
2021-05-12 10:01:50
2792
原创 spark-shell 提交session报错Attempted to request executors before the AM has registered!
部署CDH6的客户端后，使用spark-shell --master yarn 进入spark后报Attempted to request executors before the AM has registered! 如下错误：[test_user@user1 ~]$ spark-shell --master yarnSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLe...
2021-04-16 15:09:36
1332
5
原创 Java并发机制的底层实现原理
目录一、volatile 的应用1、volatile的定义和实现原理2、volatile的使用优化二、synchronized 的实现原理与应用1、Java对象头2、锁的升级与对比3、锁的优缺点三、原子操作的实现原理Java代码再编译后会变成Java字节码，字节码被类加载器加载到JVM中，JVM执行字节码，最终需要转化为汇编指令在CPU上执行，Java中所使用的...
2018-12-18 18:01:24
196
原创 并发编程
一、串行和并行之间的关系多线程和单线程：当计算量大的时候，不需要频繁的上下文转换，则多线程优势，也就是并行计算；但是计算量小，或者需要频繁的上下文转换，则单线程优势，也就是串行计算，怎么样使用Java编写多线程呢：使用Thread就可以Thread的几种初始化，和run，start，join的区别二、减少上下文的切换无锁并发编程：多线程竞争锁时，会引起上下文切换，所以多线程...
2018-12-17 16:33:59
243
原创 基于高德地图的APP路径规划开发
一、初始化一个APP项目参见我的上一篇文章：https://blog.youkuaiyun.com/QiwzDeBLOG/article/details/84701746前期准备：我的项目名称：AmapTestV5; 我的包名：cn.edu.xidian.amaptestv5，如何查看包名： 在高德开发网站申请自己APP测试用到的mapkey:如何申请：网上搜搜；二、下载相关的高德地图包，并...
2018-12-02 12:42:58
2563
2
原创 开发一个AndroidAPP的大致流程
一、创建一个项目 此时APP构建完成，就会跳转到这个页面点击右上角的重构Sync Now ，如果出现什么问题，一般都是上图2 build.gradle参数配置的问题。修改一下后面是（Modle;app)的build.gradle的参数就可以，要和自己Android studio 的下载的SDK相匹配的参数。二、初始化一些参数这是我电脑上build.gradl...
2018-12-02 10:59:39
3083
原创 YARN的执行流程
client向yarn提交作业 yarn为提交的作业分配一个AM(container) yarn 与对应的NM通信，要求启动AM AM向RM注册，并为各个任务向RM申请资源，并监控各个任务的运行情况 AM采用轮训的方式通过RPC协议和RM通信 AM申请到资源后，和对应的NM通信，并要求NM启动对应的task NM启动作业对应的task...
2018-09-11 11:37:17
355
原创 切换双屏之后应用不显示在桌面的问题
有时候我们苦逼的码农或者设计人员使用电脑时喜欢双屏或者多屏显示，然而，当你有一天返回到单屏的时候，缺发现有些软件，死活就是在电脑桌面上显示不了，即使下面有显示这个应用已经打开了，鼠标移动上去也有反应，那么在此我给大家说一下怎么解决这类问题：STEP:win+D显示桌面 鼠标点击一下下面已经启动的应用或者打开你不能正常显示的应用 alt + 空格键，会出现一个小框，注：这个时候不要动鼠标...
2018-09-06 11:22:20
14085
2
原创 单例模式
定义：确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。(Ensure a class has only instance, and provide a global point of access to it.)优缺点：优点：由于单例模式在内存中只有一个实例，减少了内存开支，特别是一个对象需要频繁的创建，销毁时； 由于单例模式只生成一个实例，减少了系统的性能开销...
2018-09-03 10:08:40
204
原创 B树（B-tree, 平衡的多路查找树）的相关知识
目录多路搜索树B树B+树：多路搜索树首先，介绍一下2-3树，指的是其中每一个节点2结点--有两个孩子或者3结点--三个孩子或者没有孩子，2节点指的是该节点有一个元素和两个孩子OR没有孩子，3节点指的是该节点有两个元素（一大一小）和三个孩子OR没有孩子。特点是所有叶子节点都在同一层，插入和删除节点都必须保证顺序和性质不变。左子树小于根节点元素小于中子树小于右根节点元素小于左子...
2018-08-31 22:31:41
799
原创 数据挖掘
决策树：贝叶斯定理： 朴素贝叶斯：决策树：ID3：熵：Gain大的点选择为分开点 神经网络：梯度下降法：BP算法网络例子：Online Demo http://neuron.eng.wayne.edu/software.htmlhttp://facstaff.cbu.edu/~pong/ai/hopfield/hopfieldap...
2018-08-13 22:24:54
1003
原创 数据预处理
Data Cleansing 空值 不一致性 冗余数据 数据类型 缺失数据： 离群点分析：ROF，A点到临近点的值比上B点到临近点距离的值 重复数据：人口信息判断是否相同用滑动窗口 Data Transformation Now we have an eror free dataset Stil needs to be standardized Type Conver...
2018-08-11 12:38:42
414
原创 Hadoop wordcount 小实例
step one:启动hadoop集群；进入hadoop，为防止进入错误，可以先：cd / 进入根目录后，然后 cd ,就会进去hadoop下面创建一个文件，或者rz上传一些文件，touch test.guyong.cn vi test.guyong.cn //然后再里面写一些内容把创建的文件上传到HDFS中，hadoop fs -put test.guyong.cn /...
2018-07-25 16:45:14
251
原创 Java 基础知识
目录一、基本概念1.1 Java语言的优点1.2 Java 与C++ 的异同1.3 为什么需要publicstatic void main(String args[])1.4 如何实现在main() 函数执行前输出“Hello World!”1.5 Java程序的初始化的顺序是怎样的1.6 Java中的作用域有哪些1.7一个Java文件中是否可以定义多个类1.8...
2018-07-24 22:44:34
625
原创 Git Bash 的基本应用——上传代码
首先默认你有github的账号了，其次默认你电脑上安装有git了。设置SSH Key 运行你的Git Bash在$后输入 ssh-keygen -t rsa -C "你注册github时的邮箱xx@xx.com"然后回车 然后载回车 接下来就是你需要输入密码了，得输入两次，建议上手学习的人不要输入密码，后续太麻烦，连续两次回车就可以了，没下来就会显示你的密钥了，也就是有一个类似框框的画面，里面有...
2018-06-24 12:20:58
401
原创 GitHub提供的主要功能
Git仓库 在网络上保存你的代码。Organization 可以同意管理账户和权限。Issue Issue的功能是将一个任务或者问题分配给一个Issue 进行追踪和管理。每一个功能的更改或修正都对应一个Issue ，讨论或修正都以这个Issue 为中心进行。只要查看Issue， 就能够知道和这个更改相关的一切信息，并以此进行管理。 在Git的提交信息中写上Issue 的ID...
2018-06-24 09:37:08
781
原创 SQL基本操作
SQL中的关系存储的关系：表视图数据类型可变或者固定长度的字符串 CHAR(n) / VARCHAR(n) 表示最多可有n个字符的字符串CHAR / VARCHAR 长度不固定 boolean 逻辑值 TRRE FALSE UNKNOWN INT = INTEGER FLOAT = REAL DATE TIME 简单的表定义CREATE TABLE MovieStar( name ...
2018-06-22 11:35:39
221
原创 Java：容器（基本知识）
容器基本的类型有：List, Set, Map, Queue。他们都是对象类型，也策划能够为集合类。Java中使用Collection来命名他们，故称之为容器。 Collection：独立元素的序列，List 按照插入的顺序保存元素，Set 不能有重复元素，Queue 按照排队规则（先进先出）来保存元素。 Map：保存键值对对象，允许按键来查找值。 容器可以自动的调整自身...
2018-06-15 15:58:39
289
原创 数据挖掘流程
一、业务理解 主要任务是深刻理解业务需求，在此基础上制定数据挖掘的目标和实现目标的初步计划。二、数据理解 收集数据，熟悉数据，识别数据的质量问题和探索引起兴趣的子集。三、数据准备 从收集来的数据集选择必要的属性（因素），并按关联关系将它们连接成一个数据集，然后进行数据清洗：即空值及异常值处理、离群值剔除，数据标准化等。四、建模阶段 选择应用不同的数据挖掘技术，并确定模型最佳...
2018-06-15 12:12:47
331
原创 Data Mining 入门
一、association 关联规则挖掘 一个事件与另一个事件之间的一来关系。 关联规则算法：Apriori 算法：首先从事件中寻找所有频繁出现的事件子集，然后再这些频繁事件子集中发现可信度比较搞的规则。二、聚类：聚类就是将数据对象划分成若干个子类，在同一类中的对象具有较高的相似度，而不同类中的对象差异较大。 聚类算法：划分方法、层次聚类方法 k-Means：把n个数据对象...
2018-06-14 18:42:59
1348
[完美解码][V20180630]
2018-07-06
Sublime_Text3_Stable_Build_3143_x64_Chs.7z
2018-01-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人