<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CCESARE的博客]]></title><description><![CDATA[个站: hauntu.cn]]></description><link>https://blog.youkuaiyun.com/CCESARE</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CCESARE]]></copyright><item><title><![CDATA[python按字节长度截取字符串(按bytes长度截取str)]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/121105007</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/121105007</guid><author>CCESARE</author><pubDate>Tue, 02 Nov 2021 17:38:17 +0800</pubDate><description><![CDATA[需求： python将字符串按照字节数来截取，

找了很多文章都是有关联但又不能完全解决此需求，自己总结一下。



遇到的需求是：推送目标有字节数限制 最大4096字节，但我推送的是个字符串(包含中/英文、特殊符号)，且想要尽可能多的将文本内容推送出去，所以按照字符串截取时 不想取太少，取太多又偶尔会超出限制。

下面列出代码：


str_txt = '测试文本ceshi'
cut_bytes = str_txt.encode('utf-8')
cut_tmp = cut_bytes[:900] #..]]></description><category></category></item><item><title><![CDATA[记一次yum源报错解决:linux的yum命令报错Loaded plugins / Repository epel is listed more than once]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/113919036</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/113919036</guid><author>CCESARE</author><pubDate>Mon, 22 Feb 2021 10:40:15 +0800</pubDate><description><![CDATA[执行yum install命令时报错 Loaded plugins: fastestmirror, langpacks

Repository epel is listed more than once in the configuration

执行yum list命令时报错Existing lock /var/run/yum.pid: another copy is running as pid 10841.



报错出现的情况具体为：


[root@xx_0_15_centos /]#...]]></description><category></category></item><item><title><![CDATA[删除pandas中产生的Unnamed:xx列]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/109774098</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/109774098</guid><author>CCESARE</author><pubDate>Wed, 18 Nov 2020 15:06:01 +0800</pubDate><description><![CDATA[python在使用 pd.read_csv(xxx, sep='\t' ) 读文件时，

结果df中多出了一列Unnamed:38，本来38个字段又多了一个，变成39个字段。

看起来就很烦。

解决方案一：


pd.read_csv(path, index_col=0)

pd.to_csv(path, index=False)

解决方案二：

用pandas处理数据是，产生了 Unnamed:0 列，解决方案如下：


df.loc[ : , ~df.columns.str.contains("..]]></description><category></category></item><item><title><![CDATA[钉钉直播回放视频的下载方法( fd抓包配合m3u8 )]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/108321140</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/108321140</guid><author>CCESARE</author><pubDate>Mon, 31 Aug 2020 17:40:49 +0800</pubDate><description><![CDATA[钉钉直播回放视频的下载方法

用到的工具：

M3U8 介绍:https://huajiakeji.com/software/2018-12/1683.html

Fiddler 抓包工具，也可使用别的，本文采用fiddler 版本v5.0.20194.41348



首先，打开Fiddler ，









保持捕获数据 即可，

也可以点击“任意进程”拖动想要抓包的程序上边，仅对此程序抓包









设置完成后，点击钉钉直播回放列表中的播放，开始播放视频 进行抓包

...]]></description><category></category></item><item><title><![CDATA[hive表查询时使用中文别名]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/107823461</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/107823461</guid><author>CCESARE</author><pubDate>Wed, 05 Aug 2020 19:49:14 +0800</pubDate><description><![CDATA[当前需求场景：

    每月要提供一份数据给客户，以excel表的形式，每次都要去Hive中取数据，但Hive表字段都为英文所以每次取了数据出来后还要手动处理修改成指定格式。手动操作较多较为麻烦。



在hive查询时 使用英文别名是没有任何问题的，

SELECT st.source_task_order A, st.creation_date B FROM tr_source_task st;



但是有某些特殊需求，需要使用中文别名时

解决方法：

将中文别名用反单引号（tab键...]]></description><category></category></item><item><title><![CDATA[Windows Terminal powershell 内置SSH使用、SSH指定端口链接远程服务器]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/106693436</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/106693436</guid><author>CCESARE</author><pubDate>Thu, 11 Jun 2020 17:48:07 +0800</pubDate><description><![CDATA[首先吹一波Windows Terminal真滴好用，舒服简洁好看








]]></description><category></category></item><item><title><![CDATA[记一次通过跳板机链接远程数据库以及备份mysql和恢复]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/106426902</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/106426902</guid><author>CCESARE</author><pubDate>Fri, 29 May 2020 17:48:03 +0800</pubDate><description><![CDATA[场景：本机通过一台ECS服务器，再去连远程服务器上的mysql数据库。

有多种方式可操作：1. haproxy tcp代理 (https://www.cnblogs.com/qinshuipo/articles/10382079.html) (此方式可长久使用)

  2. Linux版 Navicat for MySQL

  3. mysql-client 通过mysql dump备库 (一次性)



此次使用第3种方式一次性备库down到本地。

先在跳板机（ECS）安装mysq...]]></description><category></category></item><item><title><![CDATA[hive on tez 执行任务报错]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/106209718</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/106209718</guid><author>CCESARE</author><pubDate>Tue, 19 May 2020 11:32:25 +0800</pubDate><description><![CDATA[hive on tez，在执行任务的时候报错，这种情况原因是container资源被抢占或者是资源不足。而task最大的失败次数默认是4，am自己失败的最大重试次数默认是2次。

分析：

task_1442391298043_123239_1_01_000000，失败了4次，失败的原因是container被高优先级的任务抢占了。而task最大的失败次数默认是4。当集群上的任务比较多时，比较容易出现这个问题。

解决方案：

命令行修改默认值


set tez.am.task.max.failed....]]></description><category></category></item><item><title><![CDATA[hive的巧用：查询两个表中不一样的数据]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/104805250</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/104805250</guid><author>CCESARE</author><pubDate>Wed, 11 Mar 2020 20:55:15 +0800</pubDate><description><![CDATA[一个有趣的SQL：


select a.* FROM A a left outer join B b on a.qq = b.qq
WHERE b.qq is null;


恩，很好。
WHERE b.qq is null;
.........
？？
这不是查空得吗，查空的是干毛用啊？

这是查A有B没有的数据。
什么意思呢？
首先，我们先来看一下 left join 后是什么样的结果。画了一...]]></description><category></category></item><item><title><![CDATA[hivesql常见的与不常见的日期格式转换 (持续更新)]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/104700357</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/104700357</guid><author>CCESARE</author><pubDate>Fri, 06 Mar 2020 17:54:37 +0800</pubDate><description><![CDATA[12/31/2015 00:00:00
12/31/2015 00:00:00
1/4/2016 00:00:00
1/4/2016 00:00:00


故事起源于某日接手了 ↑ 这种日期格式的数据 mm/dd/yyyy HH:mm:ss ，

需要将数据放进hive里，肯定得转成标准格式呀。baidu了很久没找到所需函数，只找到了类似的 ：

16/Mar/2017:12:25:01 +08...]]></description><category></category></item><item><title><![CDATA[数据自习室第三周·常见概率分布0728-0804]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/98477131</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/98477131</guid><author>CCESARE</author><pubDate>Mon, 05 Aug 2019 03:02:35 +0800</pubDate><description><![CDATA[基本概念

随机变量

1.连续性随机变量

如果随机变量X的所有可能取值不可以逐个列举出来，而是取数轴上某一区间内的任一点的随机变量

2.离散型随机变量

设X是一个随机变量，如果它全部可能的取值只有有限个或可数无穷个，则称X为一个离散型随机变量

古典概率

古典概率通常又叫事前概率，是指当随机事件中各种可能发生的结果及其出现的次数都可以由演绎或外推法得知，而无需经过任何统计试验...]]></description><category></category></item><item><title><![CDATA[数据自习室第二周·Python数据分析基础0722-0728]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/97624343</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/97624343</guid><author>CCESARE</author><pubDate>Mon, 29 Jul 2019 10:14:01 +0800</pubDate><description><![CDATA[文章目录

Numpy（Numerical Python)
	Pandas
	补充
Numpy（Numerical Python)

是一个功能强大的Python库，主要用于对多维数组执行计算，其提供了大量的库函数，可应用于矩阵的计算，图像的处理、各类数学任务计算（例如，微积分）等，是一种基于Python的MATLAB的快速替代。下面通过代码块展示Numpy部分可实现的功能：

# 使用NumPy...]]></description><category></category></item><item><title><![CDATA[数据自习室第一周·数据的描述性统计0715-0721]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/96780222</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/96780222</guid><author>CCESARE</author><pubDate>Mon, 22 Jul 2019 00:15:04 +0800</pubDate><description><![CDATA[学习笔记第一周

数据的描述性统计0715-0721



目录





一、数据的集中趋势

1.众数：

一组数据中，出现次数最多的那个数，用大写字母 M 表示。一组数据可以有多个众数，也可以没有众数。用众数代表一组数据，可靠性较差，不过众数不受极端数据的影响，并且求法简便。在一组数据中，如果个别数据有很大的变动，选择中位数表示这组数据的“集中趋势”就比较适合。众数的三种求解方法...]]></description><category></category></item><item><title><![CDATA[切换用户su hdfs出现This account is currently not available.]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/96438524</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/96438524</guid><author>CCESARE</author><pubDate>Thu, 18 Jul 2019 17:35:50 +0800</pubDate><description><![CDATA[切换用户su hdfs进入不了

出现This account is currently not available.



用vi看看 hdfs的帐号信息

# cat /etc/passwd|grep hdfs

hdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin

发现它的shell是“/sbin /nol...]]></description><category></category></item><item><title><![CDATA[虚拟机安装Centos7.6]]></title><link>https://blog.youkuaiyun.com/CCESARE/article/details/85702908</link><guid>https://blog.youkuaiyun.com/CCESARE/article/details/85702908</guid><author>CCESARE</author><pubDate>Thu, 03 Jan 2019 16:55:58 +0800</pubDate><description><![CDATA[写在前面

网上有非常多的各种安装文档，有详细有粗略，都不一样，所以写下自己的安装文档，总结一下自己遇到过的坑。

 

准备：VMware12 、 Centos7.6



这里使用：

VMware版本：VMware pro12

Centos版本：Centos7.6

 

创建虚拟机

 















这里由于本机为6核cpu 32G内存，所以设置比较大，具体情况请根据自...]]></description><category></category></item></channel></rss>