<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[williamjame的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/williamjame</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; williamjame]]></copyright><item><title><![CDATA[三数之和、删除有序数组中的重复项、移除元素]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/122954803</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/122954803</guid><author>williamjame</author><pubDate>Wed, 16 Feb 2022 00:25:34 +0800</pubDate><description><![CDATA[三数之和


思路
标签：数组遍历
首先对数组进行排序，排序后固定一个数 nums[i]nums[i]，再使用左右指针指向 nums[i]nums[i]后面的两端，数字分别为 nums[L]nums[L] 和 nums[R]nums[R]，计算三个数的和 sumsum 判断是否满足为 00，满足则添加进结果集
如果 nums[i]nums[i]大于 00，则三数之和必然无法等于 00，结束循环
如果 nums[i]nums[i] == nums[i-1]nums[i−1]，则说明该数字重复，会导致结果重复，]]></description><category></category></item><item><title><![CDATA[hive ql 使用 posexplode函数实现多行转多列]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/117752420</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/117752420</guid><author>williamjame</author><pubDate>Wed, 09 Jun 2021 19:31:22 +0800</pubDate><description><![CDATA[lv1、lv2:对应的视图名称

lvs1、lvs2：生成对应的索引值,从0、1、2...开始递增

lvws1、lvws2:视图的字段名称
]]></description><category></category></item><item><title><![CDATA[异常检测基本概念和方法]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/116680162</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/116680162</guid><author>williamjame</author><pubDate>Wed, 12 May 2021 01:29:35 +0800</pubDate><description><![CDATA[1.异常检测基本概念
异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。

1.1 异常的类别
点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。
条件异常：又称上下文异常，指的是在1. 异常检测基本概念
异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。
1.1异常的类别
点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。
条件异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的。
群体异常：在群体集合中的个体实例出现异常的情况，而该个体]]></description><category></category></item><item><title><![CDATA[异常检测基本概念和方法]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/116678825</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/116678825</guid><author>williamjame</author><pubDate>Wed, 12 May 2021 01:04:23 +0800</pubDate><description><![CDATA[1. 异常检测基本概念
异常检测：识别与正常数据不同的数据，与预期行为差异大的数据。

1.1异常的类别
点异常：指的是少数个体实例是异常的，大多数个体实例是正常的。
条件异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的。
群体异常：在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，在入侵或欺诈检测等应用中，离群点对应于多个数据点的序列，而不是单个数据点。
1.2 异常检测任务分类
有监督：训练集的正例和反例均有标签
无监督：训练集无标签
半监督：在训练集中]]></description><category></category></item><item><title><![CDATA[在shell 中 presto 执行sql 语句]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/110886040</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/110886040</guid><author>williamjame</author><pubDate>Tue, 08 Dec 2020 21:19:20 +0800</pubDate><description><![CDATA[presto 执行sql 文件：

/opt/edw/clients_presto/presto-cli --server ${ip:port}   --source  ${bdp}  --user ${user} -f  ${sql文件}


presto 执行sql 语句：

/opt/edw/clients_presto/presto-cli --server ${ip:port}   --source  ${bdp}  --user ${user} --execute  ${sql语句}


...]]></description><category></category></item><item><title><![CDATA[hive sql行转列后 列转行]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/109656992</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/109656992</guid><author>williamjame</author><pubDate>Thu, 12 Nov 2020 21:10:34 +0800</pubDate><description><![CDATA[hive sql行转列后 列转行
场景：
对拼接的手机号拆分后解密，解密完再拼接

总结
使用函数：concat_ws(’,’,collect_set(column))
说明：collect_list 不去重，collect_set 去重。 column的数据类型要求是string

]]></description><category></category></item><item><title><![CDATA[吴恩达_深度学习概论]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/105393630</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/105393630</guid><author>williamjame</author><pubDate>Thu, 09 Apr 2020 18:32:50 +0800</pubDate><description><![CDATA[吴恩达深度学习笔记，不严谨之处还请斧正。
2. 什么是神经网络？
由一个或多个参数输入信息经过算法计算、计算后结果输出的过程可以看做一个计算单元，可以比作神经元。
一个或多个计算单元的输出可以是做另一个计算单元的输入，多个输入、输出相连接的计算单元可以看做计算图，可以比作网状的神经结构。
除了两端的输入层和输出层，中间计算单元可称作隐藏单元。

3. 用神经网络进行监督学习
神经网络算法威力的爆发...]]></description><category></category></item><item><title><![CDATA[Hql取上周、上月、上季度、去年第一天和最后一天]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/104422640</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/104422640</guid><author>williamjame</author><pubDate>Fri, 21 Feb 2020 15:57:33 +0800</pubDate><description><![CDATA[【代码】Hql取上周、上月、上季度、去年第一天和最后一天。]]></description><category></category></item><item><title><![CDATA[hive loading 时嵌套目录报错]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/102732914</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/102732914</guid><author>williamjame</author><pubDate>Thu, 24 Oct 2019 21:44:08 +0800</pubDate><description><![CDATA[hive loading 时嵌套目录报错
添加

set hive.mapred.supports.subdirectories=true;


]]></description><category></category></item><item><title><![CDATA[Scala语言基础]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/89880419</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/89880419</guid><author>williamjame</author><pubDate>Wed, 15 May 2019 15:36:25 +0800</pubDate><description><![CDATA[一、语言概述

编程范式



编程范式是指计算机编程的基本风格或典范模式。常见的编程范式主要包括命令式编程和函数式编程。面向对象编程就属于命令式编程，比如C++、Java等


命令式语言是植根于冯·诺依曼体系的，一个命令式程序就是一个冯·诺依曼机的指令序列，给机器提供一条又一条的命令序列让其原封不动地执行


函数式编程，又称泛函编程，它将计算机的计算视为数学上的函数计算


函数编程语言最重...]]></description><category></category></item><item><title><![CDATA[云数据库]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/87892962</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/87892962</guid><author>williamjame</author><pubDate>Sat, 23 Feb 2019 17:44:47 +0800</pubDate><description><![CDATA[1. 云数据库概述
1.1.  云计算是云数据库兴起的基础

1.2.   云数据库概念

云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易。云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。
1.3. 云数据库的特性
...]]></description><category></category></item><item><title><![CDATA[NoSQL数据库]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/86533727</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/86533727</guid><author>williamjame</author><pubDate>Sat, 19 Jan 2019 14:49:19 +0800</pubDate><description><![CDATA[1. NoSQL简介

通常NoSQL数据库具有以下几个特点：
(1)灵活的扩展性。
(2)灵活的数据模型。
(3)与云计算紧密结合。
2. NoSQL兴起的原因

关系型数据库已经无法满足web2.0的需求。主要表现在以下几个方面： 关系型数据库已经无法满足web2.0的需求。主要表现在以下几个方面：
(1)无法满足海量的数据管理需求。
(2)无法满足数据高并发的需求。
(3)无法满足高可扩展性...]]></description><category></category></item><item><title><![CDATA[使用java程序读写HDFS文件，判断文件是否存在]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/83306007</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/83306007</guid><author>williamjame</author><pubDate>Tue, 23 Oct 2018 14:07:56 +0800</pubDate><description><![CDATA[
判断文件是否存在

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Chapter3 {
                public static void main(Strin...]]></description><category></category></item><item><title><![CDATA[使用hadoop jar命令和linux命令运行jar包]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/83305198</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/83305198</guid><author>williamjame</author><pubDate>Tue, 23 Oct 2018 12:50:21 +0800</pubDate><description><![CDATA[
使用hadoop jar 命令运行jar包：

./bin/hadoop jar  ./myapp/HDFSExample.jar


使用linux命令运行jar包

java -jar /myapp/HDFSExample.jar


]]></description><category></category></item><item><title><![CDATA[Linux批量替换文件中多个字符]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/81910476</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/81910476</guid><author>williamjame</author><pubDate>Tue, 21 Aug 2018 16:50:09 +0800</pubDate><description><![CDATA[sed -i 's/原字符/目标字符/g' 



sed -i 's/原字符/目标字符/g'  `grep 原字符 -rl ./`

格式:



 sed -i 's/查找字段/替换字段/g' `grep 查找字段 -rl 路径` 文件名

-i 表示inplace edit，就地修改文件

-r 表示搜索子目录

-l 表示输出匹配的文件名

s表示替换，d表示删除

示例：sed -i ‘...]]></description><category></category></item><item><title><![CDATA[hivesql优化]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/80698056</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/80698056</guid><author>williamjame</author><pubDate>Thu, 14 Jun 2018 20:43:29 +0800</pubDate><description><![CDATA[ 1. 业务处理优化原则


Hive对复杂SQL没有关系形数据库表现好，业务过程可使用临时表使用过程更清晰简单；
关联条件尽可能避免使用函数、正则表达式。
使用MAPJOIN()会将较小的表 加载到内存中，使连结过程在Map阶段完成
分区避免数据倾斜问题。
jobs数比较多的作业运行效率相对比较低。
可选择tez方式加快小数据量的查询速度。
不要求全局有序时使用Distribute By + S...]]></description><category></category></item><item><title><![CDATA[linux 统计目录大小]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/80697794</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/80697794</guid><author>williamjame</author><pubDate>Thu, 14 Jun 2018 20:15:51 +0800</pubDate><description><![CDATA[du -ah --max-depth=1  

a表示显示目录下所有的文件和文件夹（不含子目录），
h表示以人类能看懂的方式，
max-depth表示目录的深度。


du -sh 


查看当前目录总共占的容量。而不单独列出各子项占用的容量




du -lh --max-depth=1 


查看当前目录下一级子文件和子目录占用的磁盘容量。
...]]></description><category></category></item><item><title><![CDATA[linux 文件转码iconv]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/80688456</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/80688456</guid><author>williamjame</author><pubDate>Thu, 14 Jun 2018 09:49:19 +0800</pubDate><description><![CDATA[iconv --list  ：列出iconv支持的编码列表




iconv -f 原编码 -t 新编码 filename -o newfile  

-f ： from 来源编码 
-t ： to 转换后新编码 
-c： 忽略无效字符 
-s： –silent，忽略警告 
-o file ： 可选，没有的话直接转换当前文件， 使用-o 保留源文件。

...]]></description><category></category></item><item><title><![CDATA[oracle 字符串操作]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/80679909</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/80679909</guid><author>williamjame</author><pubDate>Wed, 13 Jun 2018 15:35:53 +0800</pubDate><description><![CDATA[
TRIM()函数

去掉最后一个字符


select TRIM('市' from region_desc) from dual;]]></description><category></category></item><item><title><![CDATA[大数据处理架构Hadoop]]></title><link>https://blog.youkuaiyun.com/williamjame/article/details/80650712</link><guid>https://blog.youkuaiyun.com/williamjame/article/details/80650712</guid><author>williamjame</author><pubDate>Mon, 11 Jun 2018 13:09:41 +0800</pubDate><description><![CDATA[1.概述



 1. 概述























Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性： 
• 高可靠性 
• 高效性 
• 高可扩展性 
• 高容错性 
• 成本低 
• 运行在Linux平台上 
• 支持多种编程语言





 2. Hadoop不同版本









...]]></description><category></category></item></channel></rss>