- 博客(20)
- 收藏
- 关注
RSS订阅原创 [ETL]使用python和mysql执行etl流程
步骤 1：Python连接到 MySQL 数据库。步骤 4：将处理后的数据加载回 MySQL 中。步骤 2：从 MySQL 中提取数据。步骤 3：对数据进行转换处理。
2024-11-26 12:36:44
154
原创 [mysql]mysql常用命令
关于库show database;drop database if exists db1;create database dbname charset=utf8;use dbname;关于表show tables;drop table if exists tablename;CREATE TABLE `table1` ( `id` bigint(20) NOT NULL auto_increment PRIMARY KEY, `dat` date NOT NULL DEFAULT
2022-06-12 14:39:31
139
转载 adb常用命令
adb 常用命令1、显示系统中全部设备：adb devicesList of devices attachedemulator-5554 device2、开启ADB服务：adb start-server3、关闭ADB服务：adb kill-server4、连接设备adb connect 192.168.1.615.断开设备：adb disconnect 192.168.1.616、、安装apkadb install xx.apk7、列出手机装的所有app的包名：adb she
2021-05-31 17:11:28
909
原创 [爬虫]requests发请求进行数据采集
import lxml.htmlimport requestsfrom fake_useragent import UserAgentheaders={}cookie={"Cookie":""}proxies={"http": http://username:password@host, "https": http://username:password@host}headers["user-agent"] = UserAgent().randomurl=""# 发get请求respo
2021-05-14 14:16:51
325
转载 [python]正则常用方法
参考链接：https://www.cnblogs.com/cookie1026/p/6129397.html这里写几个我认为一定要记住的：部分语法：\d 匹配数字，即0-9\D 匹配非数字，即不是数字\s 匹配空白，即空格，tab键\S 匹配非空白\w 匹配单词字符\W 匹配非单词字符(\n是换行、\t是tab键、\s是空格）匹配前一个字符出现0次或者无限次，即可有可无匹配前一个字符出现1次或者无限次，即至少有1次？ 匹配前一个字符出现1次或者0次，即要么有1次，要么没有(.
2021-05-13 11:50:20
118
原创 [python]python生成md5
方法一：import jsonfrom hashlib import md5item="name"uuid=md5(json.dumps(item).encode("utf-8")).hexdigest()# 注意与下句不一样：uuid=md5(item.encode("utf-8")).hexdigest()方法二：这里每执行完一次加密就要重新生成一次m2，因为加密器m2在加密完一个变量后加密器已被修改import hashlib import jsonm2 = hashli
2021-03-24 16:56:47
354
原创 [Tableau]知识点
特点：桌面端分析工具；拖放方式就可以快速地创建出交互、美观、智能的视图和仪表板Tableau产品：Tableau Server、Tableau Online、Tableau Reader、Tableau PubilcTableau public和Tableau reader可免费使用，但是Tableau serverTableau desktop只提供14天全功能免费试用数据类型：String、Number、Boolean、Datetime步骤：第一步：连接到数据源Tableau连接到所有常用的
2021-03-23 11:18:13
1351
转载 [Mysql]Mysql提示：Out of sort memory, consider increasing server sort buffer size
使用链接中的第二种方法，并且mysql需要重启才能修改成功。https://www.cnblogs.com/Coder-Photographer/p/12949062.html
2021-03-17 11:57:27
2830
原创 [python]编码总结
1. 类型区别1.1 Python2 Unicode字符串 ==> unicode 类型 非Unicode字符串 ==> str 类型1.2 Python3 Unicode字符串 ==> str 类型 非Unicode字符串 ==> bytes 类型2. 编码转换 任何语言、任何平台、任何编码的字符串，都可以和Unicode互相转换 utf8_str = unicode_str.encode("utf-8") gbk_str = unicod
2021-03-08 16:01:02
116
原创 [数据分析]dataframe常用语法
1、导入xlsx、csv文件：df = pd.read_excel(file_path)df=pd.read_csv()2、pycharm常常不显示完整的df，为使其显示完整#显示所有列pd.set_option('display.max_columns', None)#显示所有行pd.set_option('display.max_rows', None)#设置value的显示长度为100，默认为50pd.set_option('max_colwidth',100)3、筛选掉一些不
2021-03-02 16:31:51
3359
1
原创 [Python]Python 输出详细的异常信息(traceback)方式
import tracebacktry: a=10 print(b)except: traceback.print_exc()输出错误在哪一行,两种写法输出的内容一致import tracebacktry: a=10 print(b)except: print(traceback.format_exc())
2021-03-02 14:45:04
1401
1
原创 [python]python常用语法
一、日期/时间：import datetimedatetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")2021-02-02 14:00:00datetime.datetime.now().strftime("%Y.%m.%d")2021.02.02datetime.datetime.now().strftime("%Y-%m-%d")2021-02-02datetime.datetime.now().strftime("%Y%m%d")20
2021-02-02 15:14:42
209
1
原创 常用命令
一、scp命令：1、从本地复制到远程scp path romote_username@remote_hostip:~/scp E:\lianxi\test.py root@192.168.199.253:~/2、从远程复制到本地scp remote_username@remote_hostip:romote_file_path local_path如果远程服务器防火墙有为scp命令设置了指定的端口，则需要添加-P参数来设置命令的端口号scp -p 4588 remote_username@
2021-02-02 14:35:47
85
转载 [mysql]mysql的insert ignore、insert into与replace into的区别
1、INSERT IGNORE 与INSERT INTO的区别insert ignore 与insert into的区别就是insert ignore会忽略数据库中已经存在 的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。 insert ignore into table(name) select name from table22、replace into 跟 insert 功能类似，不同点在于：repla
2021-01-28 15:27:12
239
原创 windows安装selenium、scrapy、mysql等
一、配置selenium下载与chrome浏览器版本相对应的chromedrive将chrmoedrive放在python.exe根目录和chome.exe根目录二、windows64安装scrapy框架步骤及问题1.下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted这里需要注意的是根据自己python的版本下载对应的wheel（可以在conda环境中输入python，即可看到版本）2.可能你的pip需要更新，按照提
2021-01-28 15:13:21
222
原创 [python] 判断目录和文件、文件夹 是否存在，若不存在即创建
判断目录是否存在import osdirs = ‘C:\Users\Administrator\Desktop\work\python’if not os.path.exists(dirs):os.makedirs(dirs)判断文件夹是否存在import ospath =os.path.dirname(os.getcwd())+ ‘\Screenshots\’if not os.path.exists(path):os.makedirs(path)判断文件是否存在import os
2021-01-28 14:48:51
1657
转载 [git]git创建项目-添加代码-创建分支-提交代码-将代码同步到另外一个库
git从创建项目到添加代码https://blog.youkuaiyun.com/qq_40025337/article/details/86631089创建分支并提交代码https://www.cnblogs.com/huanglog/p/10642229.html
2021-01-28 11:31:24
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人