- 博客(33)
- 收藏
- 关注
原创 python时间日期处理
python time模块1. time.time 从1970.1.1 到当前时间的间隔2. python时间元组 (tm_year, tm_mon, tm_mday, tm_hour, tm_min, tm_sec, tm_wday(一周的第几日), tm_yday, tm_isdst) 四位 1-12 1-31 0-23 0-59 0-61 0-6 0-366 1/0/-13. time....
2021-12-28 17:19:51
261
原创 Hive文本文件数据编码中字段分隔符
Hive使用属于field表示替换默认分隔符的字符。分隔符 描述 \n 换行分隔符,可用于分割记录 ^A 用于分隔字段, ^B 用于分隔ARRAY或者STRUCT中的元素,或用于MAP中键值对之间的分隔 ^C 用于MAP中键值对之间的分隔 也可在表结构声明中定义分割字符:CREATE TABLE XX(name STRING,salary FLOAT,sub, ARRAY<STRING>)FIELD...
2021-07-15 10:39:35
1012
原创 Python virtualenv中pip崩溃问题解决
python虚拟环境中的包很久没更新了,今天装新的第三方包的时候,pip需要更新pip install --upgrade pip在卸载完旧版后,新的没装上,然后就崩了Attempting uninstall: pip Found existing installation: pip 20.0.2 Uninstalling pip-20.0.2: 'pip' is a package and cannot be directly executed搜了一堆资料之后终于
2020-12-20 08:21:09
421
1
原创 数据库索引基础知识
定义索引是对数据表中的一列或多列的值进行排序的一种结构,使用索引可以快速访问数据表中的特定信息。索引的主要目的是加快检索表中的数据,种类唯一索引:不允许任何两行具有相同索引值的索引主键索引:数据表中经常有一列或者多列组合,其值唯一标识表中的每一行聚集索引:表中行的物理顺序与键值的逻辑顺序相同。一个表中只能包含一个聚集索引。常见索引1. 主键、外键2. 出现在查询条件中的键3. 语句执行频率高缺点索引的创建与维护需要耗费时间,增加了数据库的存储空间,对数据表进行
2020-11-12 21:31:31
206
原创 vivo 2020春招编程题(绘图解锁+数字乘积+手机产量)python实现
1. 绘图解锁 ,手机解锁图案问题,至少链接[m,n]个键解锁图案中所有键不同若当前连线经过某一点,则该点必须选中求合理的连线方式的种类参考:https://blog.youkuaiyun.com/weixin_43647540/article/details/106385826class Solution: def __init__(self): self.count = 0 def search(self, a, i, j, c, m, n):
2020-07-01 18:37:42
586
原创 排序算法之快速排序
1. 快速排序基本思想:采用分治的方法,通过一次排序,将序列切分为两部分,前部分的记录均比后部分的记录小。然后再按此方法对这两部分数据分别进行快速排序,递归实现。def sort_quickly(data, left, right): if left >= right: return data key = data[left] low = left high = right while left < right:
2020-06-09 16:13:51
167
原创 排序算法之选择排序、插入排序、冒泡排序、归并排序
1. 选择排序基本原理:对于给定的一组记录,第一轮选择最小(大)值,与第一条记录进行交换。然后从剩余元素中,找出最小(大)值,与第二条记录进行交换,知道记录中未排序元素个数为0.该算法时间复杂度为O(n^2)def sort_quickly(data): n = len(data) for i in range(n): tmp = i for j in range(i+1, n): if data[tmp] > dat
2020-06-08 16:12:28
256
原创 python 判断两个列表是否存在交点
方法1:Hashset保存其中一个链表的所有地址,遍历另一个链表时查看地址是否与Hashset中一致方法2:将两个链表首尾相接,判断是否存在环方法3:判断两个链表尾节点是否一致,然后长链表比短链表先走n1-n2步,相遇时则为交点def is_meet(head1, head2): if head1 is None or head1.next is None or head2 is None or head2.next is None: return None tmp
2020-05-22 17:04:36
635
原创 python实现链表逆序
链表逆序原链表1->2->3->4逆序后 4->3->2->1# 定义一个链表的节点class LNode: def __init__(self): self.data = None # 数据域 self.next = None # 指针域"""方法一 主要思路:将链表的指针域指向前一个节点input: head 头节点"""def reverse(head): if head == .
2020-05-22 17:00:27
764
原创 python 实现链表重排 从0, 1,2,3...n变为1, n, 1, n-1...
实现链表的重新排序原链表:0,1,2, 3, 4, 5,...,n-2,n-1,n新链表:0,n,1,n-1,...,要求:class LNode: def __init__(self): self.data = None self.next = None"""功能:找出链表的中间节点,将其断为两个子段输入参数:head输出:中间节点"""def find_middle_node(head): if head is None o
2020-05-22 16:56:17
444
原创 SQL function SQL函数整理及示例
1. AVG()eg: select avg(column_name)from table_name ; # 返回数字列的平均值 select avg(Price) as Pricenum from Products ;2. count()eg:select count(column_name)from table_name ; # 返回指定列的记录数 select count(Price) as Pricenum from Products...
2020-05-09 12:57:10
825
原创 SQL 连接 详解 left join right join inner join等
join SQL中连接多个表的操作。inner join 内连接 选择左右表中满足匹配条件的记录 其效果等同于集合交集示例 select column_name from table1 inner join table2 on table1.column_name1=table2.column_name2;left join 左连接 连接结果为左表及右表中满足条件的记录左连接效果等同于示例 select column_name from table1 left jo...
2020-05-09 12:33:22
156
原创 常用SQL语句整理及示例
1.select 选择语句select * from table_name; #选择指定表的全部内容select column_name from table_name # 选择指定表的指定列select column_name from table_name where condition # 选择指定表中指定列满足条件的相关记录select column_name from table_name where condition1 and/or condition2 # 满足...
2020-05-09 12:10:40
3782
原创 MySQL Date Function 时间函数
1. NOW() 返回当前日期与时间2. CURDATE()返回当前日期3. CURTIME()返回当前日期4.DATE()提取日期或日期/时间表达式的日期部分5.EXTRACT()返回日期/时间的一部分eg:EXTRACT(MONTH FROM **)6.DATE_ADD()添加指定的时间间隔eg:DATE_ADD(**, INTERVAL 5 DAY)7.DATE_SUB()减去指定的时间间隔eg:DATE_SUB(**, INTERV..
2020-05-08 21:26:25
426
原创 MySQL数据类型大全
MySQL主要包含三种数据类型,即TEXT,NUMBER,DATE,各类型详细信息如下。textCHAR(size): 固定长度为size的字符串VARCHAR(size): 最大长度为size的可变长字符串TINYTEXT : 最大长度为255的字符串TEXT: 最大长度为65535的字符串BLOB Binary Large OBjects : ...
2020-05-02 22:33:06
305
原创 SQL之DDL、DML、DQL、DCL
SQL(Structured Query Language),结构查询语言,是用于访问数据的标准语言。其功能包括:数据查询、数据操纵、数据定义、数据控制。1.DQL Data Query Language 数据查询语言:数据查询是数据库最常见的操作,用于获取满足查询条件的信息。 SELECT eg: SELECT * FROM XX; # 查询XX表中的所有记录2.DM...
2020-05-02 21:34:07
246
原创 数据库事务机制
事务是数据库中一个独立的执行单元,事务机制可以保持数据库的平稳性。例如:淘宝购物至少包含:用户下单-用户付款-保存购买信息-更新货物及订单状态等操作,当某一环节出现故障时,事务机制可以回滚至交易之前的状态。 事务必须满足四个特性:1. 原子性:事务是一个不可分割的整体,具有原子性,要么全部执行完毕,要么都不执行。2.一致性: 一个事务执行前与执行后必须保持一致性,如购物完成...
2020-05-01 20:05:35
312
原创 操作系统之内存碎片
内存碎片是多次资源分配之后造成的,当空白段很小,不能满足用户使用时,会产生很多间隙,即内存碎片。 1.内碎片:分配给程序的存储空间没有用完,当前程序无法使用,其他程序也无法使用。只有当进程释放它时,系统才可对该空间进行重新分配。2. 外碎片: 由于空间太小,无法分配给任何程序的存储空间。...
2020-04-30 11:15:55
583
原创 操作系统之高速缓存区Cache替换算法
计算机中CPU处理速度快但容量少;内存容量大,但处理速度慢。Cache作为缓冲区,可将数据先从内存调入其中。CPU再从Cache中读取数据,提高处理速度。但当Cache容量已满时,从主存调入数据块的同时需要将Cache中的数据块替换出去,常见替换方法如下:1>Rand 随机算法:用随机数发生器产生一个块号,并对其进行替换。 优点:简单易实现 缺点:命中率较低,CPU从C...
2020-04-29 17:01:43
1949
原创 操作系统之物理地址、逻辑地址、虚拟地址
1.虚拟地址:虚拟地址是由段选择符和段内偏移地址组成的地址,该地址并没有直接访问物理内存。2.逻辑地址:逻辑地址是由程序产生的段内偏移地址,3.线性地址:线性地址是虚拟地址到物理地址变换的中间层。4.物理地址:物理内存上的地址信号。...
2020-04-29 16:42:03
2050
原创 操作系统进程管理之进程与线程
1.进程 进程是具有一定独立功能的程序在某个数据集合上的一次运行,是系统进行资源分配的调度的一个独立单位。示例参照windows任务管理中的进程管理。2.线程 线程是进程的一个实体,线程基本上不拥有系统资源,只拥有一点在运行中必不可少的资源。一个进程可包含多个线程。1> 用户级线程 在用户程序中实现的线程,不依赖于操作系统核心。但同一进程中同时只能有一个线...
2020-04-29 16:36:42
180
原创 GBDT与Xgboost
1. 集成学习Bagging + Decision Tree -> Random ForestAdaBoost + Decison Tree -> Boosting Decision Tree 提升树Gradient Boosting + Decison -> Gradient Boosting Decision Tree GBDT梯度提升树2. 提升树1...
2020-04-18 17:09:23
202
原创 集成学习 Boosting与Bagging
集成学习是通过将多个分类器组合在一起的方式,构建出一个强分类器。1.Boosting、Bagging Bagging方法是通过构造不同的训练样本集来构造不同的分类器,具体采用Bootstrap方法对样本进行有放回的采样,经过M次采得到M个分类器,采用投票机制组合多个分类器的结果。 Boosting方法是通过重赋权重的方法为训练样本赋予一个权重,在上一轮分类错误的样本会获得更高权重,...
2020-04-17 12:45:02
422
原创 决策树与随机森林Decision Tree Random Forest
决策树的实施过程主要包含特征选择、决策树的生成与树的修剪1. 特征选择(1)熵--离散变量x取值为i的概率 熵越大,数据的不确定越大。(2)条件熵(3)信息增益(4)信息增益率(5)基尼系数对于样本D,假设K个类别,第k个类别的数量为|Ck|,则样本D的基尼系数表达式:对于样本D,根据特征j的某个值s,把D分成|D1...
2020-04-16 18:25:20
628
原创 常用聚类算法K-means及其改进算法
1.聚类算法 聚类算法是将大量数据以相似度为基础形成若干类,使类内之间的数据最为相似,类间的数据相似度差别尽可能的大,属于无监督学习。2.K-means算法 2.1算法原理 K-means聚类算法以k为参数,把n个对象分为k个簇,以使簇内的具有较高的相似度,且簇间相似度低。 2.2 评价准则 E的计算为:,该式在一定程度上刻画了簇内样本相似度。...
2020-04-14 12:43:31
2104
原创 线性回归 Linear Regression 与逻辑回归 Logistic Regression
1 线性回归 Linear Regression 理论 线性回归模型研究多个变量x与y之间的关系,通过回归模型预测位置样本的数据。 假设函数 损失函数 损失函数寻优,最小二乘法 即: 注:最小二乘法需要计算,因此其计算量为,数据量过大时,求解较为费时。实现i...
2020-04-13 14:02:05
418
原创 深度学习过拟合、欠拟合与正则化
1.bias与variance 偏差与方差bias 偏差:描述模型拟合能力variance 方差:描述模型稳定性2.欠拟合模型不能再训练集上获得足够低的训练误差(high bias) 解决方式: 增加模型复杂度 加入新的特征3.过拟合模型的训练误差与测试误差间差异较大(high variance)解决方式: 1> 正则化 ...
2020-04-12 22:31:00
203
原创 特征工程简介
1.数据预处理 1.无量纲化处理 (1)若数据服从正态分布,则将输出处理为,服从标准正态分布。 (2)数据归一化 2.独热编码与哑编码 (1)独热编码 苹果{1, 0, 0, 0} 梨子{0, 1, 0, 0} 香蕉{0, 0, 1, 0} 芒果{0, 0, 0, 1} (2) 哑编码...
2020-04-12 18:26:34
173
原创 机器学习分类及算法度量方式
1.机器学习Machine Learning 分类 1>回归Regression:预测值无法枚举 分类Classfication 结构化学习模型:模型输出为其他类型 2>有监督学习Supervised Learning:训练样本为有标签数据 无监督学习Unsupervised Learning:训练样...
2020-04-12 17:49:53
370
原创 Object Detection in 20 years:A Survey 整理
内容来自 :Zou Z, Shi Z, Guo Y, et al. Object Detection in 20 Years: A Survey[J]. arXiv preprint arXiv:1905.05055 Add to Citavi project by ArXiv ID, 2019.1.The road Map of object detection2.Dataset...
2019-12-31 20:33:17
507
原创 ANSYS APDL
1. 定义材料参数ET,1,SOLID185 !定义1号材料 SOLID185ET,2,SOLID65MP,EX,1,3E10 !定义1号材料的弹性模量MP, DES,1,2500 !定义1号材料的属性密度MP,REXY,1, 0.16674 !定义1号材料泊松比2.定义关键点k,1,5,5,5 ! 定义关键点,v, 1,2,3,4 !四个关键...
2019-06-21 17:10:48
3799
1
原创 Django项目新增下载功能
已有系统需添加下载功能。1.template 对应页面添加下载栏。 <tr>中增加<th>,<td> 表格表头表头对应内容2.model 从数据中获取满足下载条件的数据。数据表对应关系 方法一: 从PaperPrintDetail中获取已送印试卷id--->根据对应pf_id获取espf中paper_id...
2018-12-20 16:12:24
609
1
原创 Django 运行问题 Errno 10013
使用python manage.py 时,报错: 原因: 酷狗音乐占用Django默认端口。 解决办法: 1.关闭酷狗音乐 2.运行时更改默认端口,如“python manage.py runserve 8080"。...
2018-12-20 14:07:28
223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人