genbibingren的博客

原创 excel批量生成ddl(笨方法)

excel批量生成建表语句，这个方法还有点笨，还需要手动再调整，如果大家有更好的方法，欢迎大家补充。

原创 sql 临时表使用

sql 临时表

原创 数据清洗--yyyy-MM-dd hh:mm:ss.0 格式转化为yyyy-MM-dd hh:mm:ss

yyyy-MM-dd hh:mm:ss.0 格式转化为yyyy-MM-dd hh:mm:ss总结：共有三种方法，但具体使用场景受限。1、regexp_replace函数trim(regexp_replace(列名，'\\.0', ' ')) as new_l列名.容易被转义，前面加两个\可以防止被转移。2、replace函数另外hive里没有replace函数，否则也可以使用此函数。trim(replace(列名，'.0', ' '))as new_列名 3、translate函数t

原创 JavaSE基础知识总结（个人学习笔记）

发展史1990年是sun公司的一个项目，1994年改名为java，现属于oracle公司。Java版本javaSE：standard edition,标准版，桌面软件，桌游。javaME：移动版，发展不怎么好，被Android用了然后带飞了。javaEE:企业版，一般用其做大型系统，大型网站。java优点一次编写，处处运行，在不同系统上安装java虚拟机（JVM）即可使用，且jvm不跨平台，各个系统都可以使用。所以java是跨平台语言。java相关工具认识JDK：java develo

原创 java继承中set/get方法说明

原创 2021-06-26

hive 中导入数据中含中文 出现乱码解决代码如下：use zyy;create table if not exists major(id string comment '学号',name string comment '姓名',origin string comment '籍贯',hobby string comment '爱好')row format delimited fields terminated by '\t';load data local inpath '/root/

转载 pip一直安装selenium失败

pip一直安装selenium失败解决办法：此处选择了清华的镜像pipinstallselenium-ihttps://pypi.tuna.tsinghua.edu.cn/simple参考：https://blog.youkuaiyun.com/tiantushuai8766/article/details/104451220?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPa...

原创 简单爬取图片

#基础版爬取一个图片import requestspath="D:/abc.jpg"url="http://img0.dili360.com/ga/M01/48/3C/wKgBy1kj49qAMVd7ADKmuZ9jug8377.tub.jpg@!rw9"r=requests.get(url)print(r.status_code)with open(path,'wb') as f: f.write(r.content) f.close() import os

原创 简单爬取网页实战1

#正常的爬取一个商品的网页import requestsurl="https://item.jd.com/100005929301.html"try: r=requests.get(url) #获取url链接 r.raise_for_status() #requests里的一个函数，可以捕捉错误 r.encoding=r.apparent_encoding #赋值状态码 print(r.text[:10000])except: print("爬取失败")

原创 爬取网页通用代码框架

爬取网页通用代码框架import requestsurl="https://item.jd.com/100005929301.html"try: r=requests.get(url) #获取url链接 r.raise_for_status() #requests里的一个函数，可以捕捉错误 r.encoding=r.apparent_encoding #赋值状态码 print(r.text[:10000])except: print("爬取失败") .

原创 数据结构结点问题

每个结点都应包括两个部分：一个是需要用的实际数据data；另一个就是存储下一个结点地址的指针，即数据域和指针域。数据结构中的每一个数据结点对应于一个存储单元，这种储存单元称为储存结点，也可简称结点。...