
数据分析
文章平均质量分 59
键盘上的五花肉
自学python,请大神多多指教,不定期更新小工具。
本来写python的文章,可是关于数据库一些知识,觉得不常见的能分享的我也一并都分享出来了,对于sql优化和改写有好的方法也会及时分享,尤其sql改写,有很多是业务的,写一些变态的业务逻辑sql。
展开
-
利用hive中的行转列列转行处理字段中逗号分隔的重复数据
hive行转列与列转行原创 2022-11-18 22:52:47 · 1225 阅读 · 1 评论 -
sql中的模糊匹配 like ‘%狗%‘返回其他值
今日发现一个奇怪的问题,在select 模糊匹配 ‘狗’时,竟然返回了与此无关的内容。create table pdata.a3_20211123(name varchar(100));insert into pdata.a3_20211123 values('附加扩展非自身');insert into pdata.a3_20211123 values('附加扩展法');insert into pdata.a3_20211123 values('宠物狗保');insert into pdata.a原创 2021-11-23 21:57:06 · 261 阅读 · 0 评论 -
数据库中null值与空字符串的用法注意事项
以下文章主要对比oracle、teradata、gbase数据库中null值与空字符串的用法注意事项首先在oracle中建表并插入实例数据create table a1_20211123(name varchar(10),id varchar(10));create table a2_20211123(name varchar(10),id varchar(10));-- 插入a1表insert into a1_20211123 values('a','1');insert into a1_20原创 2021-11-23 21:48:37 · 2156 阅读 · 0 评论 -
python获取大文件行数
当需要用python获取一个文件行数时,如果文件小的话,直接存放在列表中len获取即可,可是当一个文件如果超过服务器内存值时,此时的进程就会被kill。#获取一般大小文件时候,如下获取:def get_file_count_1(file_path): cnt = 0 with open(file_path,mode='rb')as f: for line in ...原创 2020-05-04 16:18:22 · 1487 阅读 · 0 评论 -
数据库 not in 的坑(后续)
我之前写了一篇关于select 查询时,当not in 里子查询中有null值时候,那么不返回,这个是可以理解的。但是对于多字段我没测试。有一天开发时,发现跑出的结果和我预想的有出入,我就进行了测试,测试截图以oracle为例,实际我还在td上也跑了,下边每一步我都附带了td结果CREATE TABLE test111(a CHAR(5),b VARCHAR2(10) );INSERT INT...原创 2020-04-25 18:28:45 · 585 阅读 · 0 评论 -
python将照片转换成手绘图片
最近在b站学习数据分析时,看到了可以用numpy将照片转换成手绘效果。自己整上代码学习试了半天,调整了参数并看了效果。代码如下: # -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""from PIL import Imageimport numpy as npa = np.ar...原创 2020-03-17 20:09:32 · 1044 阅读 · 0 评论 -
numpy数组存取操作方法
自己在b站照着学习的,方便使用和复习#创建一个数组 import numpy as np a = np.arange(100).reshape((5,20))aOut[4]: array([[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19], ...原创 2020-03-13 21:34:16 · 293 阅读 · 0 评论 -
ndarray数据创建及操作方法
--最近自己在B站上 照着学操作的记录,保留下来,方便后期随时复习及使用--安装anaconda软件--在spyder上执行程序代码--pip install numpy 安装库--在spydedr生成ndarray数据#在Ipython中用的列表和元组生成ndarray数据--列表import numpy as npa = np.array([1,2,3])print...原创 2020-03-13 21:24:08 · 559 阅读 · 0 评论