CCESARE的博客

需求： python将字符串按照字节数来截取，找了很多文章都是有关联但又不能完全解决此需求，自己总结一下。遇到的需求是：推送目标有字节数限制 最大4096字节，但我推送的是个字符串(包含中/英文、特殊符号)，且想要尽可能多的将文本内容推送出去，所以按照字符串截取时 不想取太少，取太多又偶尔会超出限制。下面列出代码：str_txt = '测试文本ceshi'cut_bytes = str_txt.encode('utf-8')cut_tmp = cut_bytes[:900] #..

执行yum install命令时报错 Loaded plugins: fastestmirror, langpacksRepository epel is listed more than once in the configuration执行yum list命令时报错Existing lock /var/run/yum.pid: another copy is running as pid 10841.报错出现的情况具体为：[root@xx_0_15_centos /]#...

python在使用 pd.read_csv(xxx, sep='\t' ) 读文件时，结果df中多出了一列Unnamed:38，本来38个字段又多了一个，变成39个字段。看起来就很烦。解决方案一：pd.read_csv(path, index_col=0)pd.to_csv(path, index=False)解决方案二：用pandas处理数据是，产生了 Unnamed:0 列，解决方案如下：df.loc[ : , ~df.columns.str.contains("..

当前需求场景： 每月要提供一份数据给客户，以excel表的形式，每次都要去Hive中取数据，但Hive表字段都为英文所以每次取了数据出来后还要手动处理修改成指定格式。手动操作较多较为麻烦。在hive查询时 使用英文别名是没有任何问题的，SELECT st.source_task_order A, st.creation_date B FROM tr_source_task st;但是有某些特殊需求，需要使用中文别名时解决方法：将中文别名用反单引号（tab键...

首先吹一波Windows Terminal真滴好用，舒服简洁好看

场景：本机通过一台ECS服务器，再去连远程服务器上的mysql数据库。有多种方式可操作：1. haproxy tcp代理 (https://www.cnblogs.com/qinshuipo/articles/10382079.html) (此方式可长久使用) 2. Linux版 Navicat for MySQL 3. mysql-client 通过mysql dump备库 (一次性)此次使用第3种方式一次性备库down到本地。先在跳板机（ECS）安装mysq...

hive on tez，在执行任务的时候报错，这种情况原因是container资源被抢占或者是资源不足。而task最大的失败次数默认是4，am自己失败的最大重试次数默认是2次。分析：task_1442391298043_123239_1_01_000000，失败了4次，失败的原因是container被高优先级的任务抢占了。而task最大的失败次数默认是4。当集群上的任务比较多时，比较容易出现这个问题。解决方案：命令行修改默认值set tez.am.task.max.failed....

一个有趣的SQL：select a.* FROM A a left outer join B b on a.qq = b.qqWHERE b.qq is null;恩，很好。WHERE b.qq is null;.........？？这不是查空得吗，查空的是干毛用啊？这是查A有B没有的数据。什么意思呢？首先，我们先来看一下 left join 后是什么样的结果。画了一...

（baidu搜索的文章写的都不全，于是自己总结好写一个）如果想要破解一个已经连接好的数据库密码，可以参考这个方法。一、查看navicat保存的密码1. 进入注册表win + R 输入 regedit 回车2.找到 navicat 中存储的密码HKEY_CURRENT_USER Software PremiumSoft Navicat Servers 点击...

12/31/2015 00:00:0012/31/2015 00:00:001/4/2016 00:00:001/4/2016 00:00:00故事起源于某日接手了 ↑ 这种日期格式的数据 mm/dd/yyyy HH:mm:ss ，需要将数据放进hive里，肯定得转成标准格式呀。baidu了很久没找到所需函数，只找到了类似的 ：16/Mar/2017:12:25:01 +08...

切换用户su hdfs进入不了出现This account is currently not available.用vi看看 hdfs的帐号信息# cat /etc/passwd|grep hdfshdfs:x:995:992:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin发现它的shell是“/sbin /nol...