<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CPLwin的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/CPLwin</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CPLwin]]></copyright><item><title><![CDATA[DataGrip 驱动下载失败，手动添加]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/131990684</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/131990684</guid><author>CPLwin</author><pubDate>Sat, 29 Jul 2023 08:49:20 +0800</pubDate><description><![CDATA[网上找了很多方法，也尝试了很多方法，都没有用。然后自己就尝试了手动添加。成功连接。]]></description><category></category></item><item><title><![CDATA[java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/SingleOutputStreamOperator]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/131353753</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/131353753</guid><author>CPLwin</author><pubDate>Fri, 23 Jun 2023 20:06:06 +0800</pubDate><description><![CDATA[provided]]></description><category></category></item><item><title><![CDATA[使用Python进行Unicode编码解析]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/120158526</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/120158526</guid><author>CPLwin</author><pubDate>Tue, 07 Sep 2021 15:18:07 +0800</pubDate><description><![CDATA[使用Python进行Unicode编码解析
原数据类型：txt文本，文本编码是UTF8，但是内容是Unicode编码（应该是这么理解）

import codecs
def utf82unicode(string):
    """
    函数功能：将utf-8保存的Unicode解码
    :param string:传入字符串，转为union
    """
    byte_list = bytes(string, encoding='utf-8')
    byte_transform = co]]></description><category></category></item><item><title><![CDATA[PySpark与开发环境的集成]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/110354954</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/110354954</guid><author>CPLwin</author><pubDate>Sun, 29 Nov 2020 21:50:33 +0800</pubDate><description><![CDATA[PySpark 本地环境（Mac）
自己在学习PySpark的时候遇到许多问题，下面来写一下自己所遇到的问题，配置过程中主要问题还是python2和python3直接的版本冲突比较多，spark2.3.2 自带的python环境是python2, 而本地环境是python3
1.	Pycharm集成PySpark
1.1   配置环境变量

SPARK_HOME=/usr/local/spark      # spark的环境变量
PYTHONPATH=/usr/local/spark/python   #]]></description><category></category></item><item><title><![CDATA[DBeaver 完美连接 Hive]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/104749253</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/104749253</guid><author>CPLwin</author><pubDate>Mon, 09 Mar 2020 11:58:55 +0800</pubDate><description><![CDATA[连接过程中遇到很多问题，下面把我的经历分享一下

1. 安装教程

这边我也是借鉴别人的教程先实现了，建议把教程先看完，并且不要开集群，配置改完再开。

下面这个教程很详细，但是不够完整。

建议使用hive下的jar包，其他jar包可能发生未知错误

https://dongkelun.com/2018/07/13/dbeaverConnectHive/

2. 改配置文件

在现在使用的最新的...]]></description><category></category></item><item><title><![CDATA[numpy ndarray数组的创建]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/103820846</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/103820846</guid><author>CPLwin</author><pubDate>Fri, 03 Jan 2020 15:12:54 +0800</pubDate><description><![CDATA[ndarray 数组的创建
​		numpy中最重要的数据类型：数组–numpy （列表–python）
数组被称为是n_d array数组 多维数组，跟列表一样的是：都是能够存储多个元素的容器。Numpy提供了很多方式（函数）来创建数组对象，常用的方式如下：
array (重要)
arange (重要)
ones / ones_like (重要)
zeros / zeros_like
empty...]]></description><category></category></item><item><title><![CDATA[Python  ndarray数组 与 list列表区别]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/103820627</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/103820627</guid><author>CPLwin</author><pubDate>Fri, 03 Jan 2020 15:04:28 +0800</pubDate><description><![CDATA[数组(ndarray)与列表(list)
数组（ndarray）与列表 ( list ) 类似，是具有相同类型的多个元素构成的整体。
数组局限：
数组元素要求是相同类型，而列表的元素可以是不同类型。
数组优势：


数组可以与标量进行运算，数组之间也可以进行矢量化运算。


数组在运算时，具有广播能力。


数组底层使用C程序编写，运算速度快。


数组底层使用C中数组的存储方式（紧凑存储），节省...]]></description><category></category></item><item><title><![CDATA[Hive千分位函数percentile()和percentile_approx()]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/102814373</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/102814373</guid><author>CPLwin</author><pubDate>Thu, 31 Oct 2019 18:10:53 +0800</pubDate><description><![CDATA[percentile函数和percentile_approx函数




percentile(col, p)  p∈(0,1) 

 传入两个参数，第一个参数类型必须是int，一般是某一列的数据， 返回的是col列的第p分位的值。


percentile_approx(col,p,B) p∈(0,1)

 传入三个参数，col列是数值类型都可以，B用来控制内存消耗的精度。实...]]></description><category></category></item><item><title><![CDATA[Python 模块说明]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/97810799</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/97810799</guid><author>CPLwin</author><pubDate>Tue, 30 Jul 2019 19:16:39 +0800</pubDate><description><![CDATA[模块介绍

    从物理的角度来说，一个模块就是一个.py文件。从逻辑的角度说，就是模块的命名空间。

产生的背景：在同一个.py文件中，一个名字，不能被定义两次。为了解决名字冲突问题，所有我们定义不同的模块

模块的好处：1.有利于项目的划分

           2.模块提供了独立的命名空间，解决了命名冲突

           3.模...]]></description><category></category></item><item><title><![CDATA[Linux 特殊变量使用]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/95221719</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/95221719</guid><author>CPLwin</author><pubDate>Tue, 09 Jul 2019 18:48:31 +0800</pubDate><description><![CDATA[变量简介

$? 表示上一个命令退出的状态码 

$$ 表示当前进程编号

$0 表示当前脚本名称

$n 表示n位置的输入参数（n代表数字，n&gt;=1）

$# 表示参数的个数，常用于循环

$*和$@ 都表示参数列表

变量展示：

 例一

  定义一个脚本


#!/bin/bash
echo '$$:查看进程号'
echo $$

echo '$?:返回上个进程执行...]]></description><category></category></item><item><title><![CDATA[. 与 sh执行脚本的区别]]></title><link>https://blog.youkuaiyun.com/CPLwin/article/details/95202760</link><guid>https://blog.youkuaiyun.com/CPLwin/article/details/95202760</guid><author>CPLwin</author><pubDate>Tue, 09 Jul 2019 16:05:07 +0800</pubDate><description><![CDATA[先看两个脚本

  a.sh


#!/bin/bash
echo $$
A="执行了A"
echo $A
echo $B
/home/cpl/b.sh

 b.sh


#!/bin/bash
echo $$
B="执行了B"
echo $A
echo $B

使用sh分别执行两个脚本（铺垫）

执行sh a.sh



可以看出执行sh a.sh启动了一个子进程，而a.sh并不能访问...]]></description><category></category></item></channel></rss>