洋葱专栏-有灵魂的程序员

hive中分区表的创建_神罗天征-优快云博客_hive创建分区表

hive的事务表事务和非事物的区别和联系事务表与非事务表_KreaWu的博客-优快云博客_事务表1.hive事务表在hdfs的存储深入理解 Hive ACID 事务表_张吉的博客-优快云博客_hive事务表2.hive支持事务表的配置a.thrift的方式Hive事务表_千里之行始于足下-优快云博客_hive事务表创建的表必须是 分桶的 orc 的 事务表create table t1(id int, name string)clustered by (id) into 8 buck

链接：主成分分析 (一）： 基本思想与主成分估计方法_冷月无声的博客-优快云博客_主成分分析的基本思想主成分分析（principal component analysis）是1901年Pearson对非随机变量引 入的，1933年Hotelling将此方法推广到随机向量的情形，主成分分析和聚类分析有很 大的不同，它有严格的数学理论作基础。 主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我 们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。通常是选出比原始 变量个...ht

发现公司有一块硬盘坏掉了，幸好系统没有安装到这个磁盘下面，带着一块新硬盘去机房重启服务器，过不了检测，提示某个盘符下面的文件无法访问。解决办法1 将自读的文件系统修改可以编辑的状态 mount -o remount rw /2 vi /etc/fstab 给掉坏掉的磁盘注释掉 在每行前面加 #3 重新启动系统，不在监测坏的分区盘4 关闭机器，换上坏掉磁盘，启动服务器5 重新格式化磁盘。 1) fisk /dev/sdb 2) 格式化文...

原文链接：https://blog.youkuaiyun.com/jia718/article/details/88253918待学习补充

#-*-coding:utf-8-*- #=============================================================================== # 目录对比工具(包含子目录 )，并列出# 1、A比B多了哪些文件 # 2、B比A多了哪些文件 # 3、二者相同的文件:文件大小相同 VS 文件大小不同 (Size相同文件不打印:与Size不同文件显示未排序)#================================.

文章目录 A*算法描述 简化搜索区域 概述算法步骤 进一步解释 具体寻路过程 模拟需要更新F值的情况 Lua代码实现 在学习A*算法之前，很好奇的是A*为什么叫做A*。在知乎上找到一个回答，大致意思是说，在A*算法之前有一种基于启发式探索的方法来提高Dijkstra算法的速度，这个算法叫做A1。后来的改进算法被称为A*。*这个符号是从统计文献中借鉴来的，用来表示相对一个旧有标准的最优估计。启发式探索是利用问题拥有的启发信息来

1、Ctrl+N按名字搜索类相当于eclipse的ctrl+shift+R，输入类名可以定位到这个类文件，就像idea在其它的搜索部分的表现一样，搜索类名也能对你所要搜索的内容多个部分进行匹配，而且如果能匹配的自己写的类，优先匹配自己写的类，甚至不是自己写的类也能搜索。2、Ctrl+Shift+N按文件名搜索文件同搜索类类似，只不过可以匹配所有类型的文件了。3、Ctrl+H查看类的继承关系，例如HashMap的父类是AbstractMap，子类则有一大堆。4、Ctrl+Alt+B查看

1何谓OOPSOops是美国人比较常有的口语。就是有点意外，吃惊，或突然的意思。“Oops”并不是很严重，正如在Britney Spears的“Oops I Did It Again”那首歌的歌词中，也是一种轻描淡写，有时含有抱歉的意思。http://v.youku.com/v_show/id_XMTM0ODgxMDYw.html对于Linux内核来说，Oops就意外着内核出了异常，此时会将产生异常时CPU的状态，出错的指令地址、数据地址及其他寄存器，函数调用的顺序甚至是栈里面的内容都打印出来..

09:00:30.307 [http-8080-6] ERROR org.hibernate.transaction.JDBCTransaction -JDBC begin failedcom.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 56,237,340 milli.

学习链接：https://www.bilibili.com/video/BV1CJ411m7Gc?from=search&seid=76633557929097109深度学习的内容待整理，敬请期待~

学习链接：https://www.cnblogs.com/jingmoxukong/p/5975994.html感谢阅读，深度学习内容有待整理，敬请期待~

原文链接：https://blog.youkuaiyun.com/u013967628/article/details/83656560?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-b

在读李航的《统计学习方法》，记录一些读书笔记：（一）总览统计学习方法三要素：模型、策略、算法：（二）一些细节机构风险其实就是经验风险加上惩罚项：定义如下：等式右边第一项是经验风险，最后面一项就是惩罚项，其中J(f)为模型复杂度。结论：想要结构风险小，必须经验风险与模型复杂度同时小，其中J(f)为模型原文链接：https://blog.youkuaiyun.com/cc1949/article/details/78904768...

今天学习vue项目练手时，出了一个小小的错误：检查了下，发现自己在模块导入的时候没有和组件文件名大小写完全一致造成的。改为上述，即必须和文件名一毛一样，大小写敏感，唉。居然只是大小写错误，要注意大小写敏感问题转载：https://blog.youkuaiyun.com/qq_36256590/article/details/110431544...

1、手动修复：hdfs fsck / #首先检查哪些数据块丢失了hdfs debug recoverLease -path 文件位置 -retries 重试次数# 修复指定路径的hdfs文件，尝试多次 此时，hdfs就能被修复了，切记不要使用hdfs fsck / -delete命令，它是删除所有损坏的块的数据文件，会导致数据彻底丢失，当然若只有一个副本，或所有副本均已经损坏，则可以执行此命令。2、自动修复hdfs当然会自动修复损坏的数据块，当数据块损坏后...

nodejs安装配置1.下载地址：https://nodejs.org/en/2.默认安装安装完成后，执行npm -v 出现版本号则表示安装成功。3.配置在node安装目录下新建两个文件夹node_global和node_cache 配置npm全局模块的存放路径以及cache的存放路径，执行如下命令：npm configsetprefix"D:\Program Files\nodejs\node_global"npm configsetprefix"D:...

！！学习完vue环境搭建并创建项目后下面我们介绍使用vscode运行vue项目。！！文章参考：https://www.youkuaiyun.com/gather_29/OtTagg3sNzA2LWJsb2cO0O0O.html&https://www.jianshu.com/p/80ae9b1b8fae【如果你和我一样是菜鸟的话，点进来的时候不要被文章长度吓到了，因为我写的特别详细所以看起来篇幅比较长，加上截图比较庞大。我怀疑之前由于截图较小 博客没自动给我加水印，导致文章发不出去，咱就是怀疑，咱也...

maven 环境变量的配置https://blog.youkuaiyun.com/love_caicai/article/details/82228985使用IntelliJ IDEA 配置JDK（入门）https://blog.youkuaiyun.com/nobb111/article/details/77116259最简单的在IntelliJ IDEA导入一个本地项目教程https://blog.youkuaiyun.com/luo609630199/article/details/82706322...

转载：https://blog.youkuaiyun.com/qq_421128工作流Activiti项目是一项新的基于Apache许可的开源BPM平台，从基础开始构建，旨在提供支持新的BPMN 2.0标准，包括支持对象管理组（OMG），面对新技术的机遇，诸如互操作性和云架构，提供技术实现。Activiti是一个独立运作和经营的开源项目品牌，并将独立于Alfresco开源ECM系统运行。 Activiti将是一种轻量级，可嵌入的BPM引擎，而且还设计适用于可扩展的云架构。 Activiti将提供宽松的A..

SQL FULL OUTER JOIN 关键字FULL OUTER JOIN 关键字只要左表（table1）和右表（table2）其中一个表中存在匹配，则返回行.FULL OUTER JOIN 关键字结合了 LEFT JOIN 和 RIGHT JOIN 的结果。SQL FULL OUTER JOIN 语法SELECTcolumn_name(s)FROMtable1FULL OUTER JOINtable2ONtable1.column_name=table2.column_...

一、数学函数ABS(x) 返回x的绝对值BIN(x) 返回x的二进制（OCT返回八进制，HEX返回十六进制）CEILING(x) 返回大于x的最小整数值EXP(x) 返回值e（自然对数的底）的x次方FLOOR(x) 返回小于x的最大整数值GREATEST(x1,x2,...,xn)返回集合中最大的值LEAST(x1,x2,...,xn)返回集合中最小的值LN(x)返...

今天查询遇到个问题，一直报''空值错误，查询条件中，加入日期空值处理解决了where toDateOrNull(dat_dt)>='2020-11-01' and toDateOrNull(dat_dt)<='2020-12-02'目录1.建表时的空值问题2.查询时的空值问题3.关联问题 我们再ClickHouse环境下，SQL很多语法是和HIVE、Spark环境下不同的。以下从三个方面说明CK下空值的问题。1.建表时的空值问题如果我们建表时，不特殊说...

每个Kudu 表必须设置Pimary Key(unique), 另外Kudu表不能设置secondary index, 经过实际性能测试, 本文给出了选择Kudu主键的几个策略, 测试结果纠正了我之前的习惯认知.简单介绍测试场景: 表中有一个unqiue字段Id, 另外还有一个日期维度字段histdate, 有三种设置kudu PK的方法, 分别是:表设计方案1 (histdate, id)作为联合主键, 日期字段放在前.表设计方案2 (id,histdate)作为联合主键, 日期字段放在后...

Kudu在使用过程中有各种限制，或者说叫注意事项，我结合官方文档和自己的经验进行了如下总结。Schema主键表创建后，主键不能修改。必须删除重建表指定新的主键。 主键列必须在非主键列之前 主键列的值不能使用UPDATE函数修改。如果要修改主键的值只能删除该行重新插入。 DOUBLE、FLOAT或BOOL类型的列不能作为主键，此外，主键列必须为NOT NULL。 不支持自动生成的主键（如自增列） 组合主键的所有列在编码后，大小不能大于16K列不支持CHAR、VARCHAR、DA..

1、Presto基本认识1.1 定义Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto是一个OLAP的工具，擅长对海量数据进行复杂的分析；但是对于OLTP场景，并不是Presto所擅长，所以不要把Presto当做数据库来使用。和大家熟悉的Mysql相比：首先Mysql是一个数据库，具有存储和计算分析能力，而Presto只有计算分析能力；其次数据量方面，Mysql作为传统单点关系型数据库不能满足当前大数据量的需求，于是有各种大数据的存储

前言   在Kudu出现前，由于传统存储系统的局限性，对于数据的快速输入和分析还没有一个完美的解决方案，要么以缓慢的数据输入为代价实现快速分析，要么以缓慢的分析为代价实现数据快速输入。随着快速输入和分析场景越来越多，传统存储层的局限性越来越明显，Kudu应运而生，它的定位介于HDFS和HBase之间，将低延迟随机访问，逐行插入、更新和快速分析扫描融合到一个存储层中，是一个既支持随机读写又支持OLAP分析的存储引擎。本篇文章研究一下Kudu，对其应用场景，架构原理及基本使用做一个总结。Kudu介绍 在

很多时候在使用Linux的shell时，我们都需要对文件名或目录名进行处理，通常的操作是由路径中提取出文件名，从路径中提取出目录名，提取文件后缀名等等。例如，从路径/dir1/dir2/file.txt中提取也文件名file.txt，提取出目录/dir1/dir2，提取出文件后缀txt等。下面介绍两种常用的方法来进行相关的操作。一、使用${}1、${var##*/}该命令的作用是去掉变量var从左边算起的最后一个'/'字符及其左边的内容，返回从左边算起的最后一个'/'（不含该字符）的右边的内容

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反应历史变化（Time Variant）的数据集合，用于支持管理决

为了使Hadoop集群保持健康的状态，集群需要进行日常的维护，主要从基础运维，集群扩容和异常处理三个方面。1、基础运维1.1 启动 / 停止Hadoop在Hadoop_HOME/bin下执行./start-all.sh或者./stop-all.sh命令。（官方不推荐使用这两个命令）1.2 启动 / 停止 HDFS在Hadoop_HOME/bin下执行./start-dfs.sh或者./stop-dfs.sh命令。1.3 启动 / 停止 MapReduce在Hadoop_H