
Python
tide1994
博客都是自己的学习笔记,所以有些乱糟糟的哈~
展开
-
赋值,浅拷贝,深拷贝的区别
"""赋值,浅拷贝,深拷贝的区别@author: tide"""import copyalist=[1,2,3,['a','b']]b=alist #赋值传递print (b)b_shallow=copy.copy(alist) #浅拷贝b_deep=copy.deepcopy(alist) #深拷贝alist.append(5)alist[3].appe...原创 2019-05-21 00:08:20 · 212 阅读 · 0 评论 -
文件读取
1.read()、.readline()和.readlines() 1.调用read()会一次性读取文件的全部内容,如果文件太大了,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。2.调用readline(n)可以每次读取一行内容,读取第n行内容3.调用readlines()一次读取所有内容并按行返回list。因此,要根据需要...转载 2019-06-09 00:02:26 · 118 阅读 · 0 评论 -
python 网络爬虫 与数据库
这是一个简单的爬取豆瓣电影TOP250的代码,爬去了每一条电影的18个维度的数据,并且将他们存储在本地的mysql数据库中.详细代码如下.requests :请求网页,获取网页数据lxml:使用xpath语法快速解析网页数据# -*- coding: utf-8 -*-"""Created on Tue Jan 22 20:55:02 2019@author: tide1...原创 2019-06-11 00:29:31 · 609 阅读 · 0 评论 -
Python 网络爬虫 多进程爬虫
多进程爬虫能节约时间,以爬取糗事百科中的内容和内容发布者两个维度的资料为例import requests #请求网页import re import timefrom multiprocessing import Pool#复制 user-agent,伪chrome装浏览器headers = { "User-Agent":"Mozilla/5.0 (Windows; U;...原创 2019-06-11 00:31:58 · 356 阅读 · 0 评论 -
随手笔记
1. loc 和 iloc的区别loc 标签索引iloc 位置索引tt.loc[1603,'f1'] #搜寻 index=1603, col='f1'的值tt.iloc[1,2] #搜寻 位于第2行,第3列的数据2. dataFrame 常见信息查询def dfInform(dataName): print("1. 输出前10行数据:") print(d...原创 2019-06-21 12:01:20 · 140 阅读 · 0 评论 -
csv 转 ffm
1. FFM介绍FFM最初的概念来自Yu-Chin Juan与其比赛队员,是他们借鉴了来自Michael Jahrer的论文中的field概念提出了FM的升级版模型。通过引入field的概念,FFM把相同性质的特征归于同一个field。FFM 模型不同于常见的DataFrame格式文件,需要将数据格式转换成如下所示的格式:y field_1:index_1:value_1 ...原创 2019-07-03 16:14:15 · 312 阅读 · 0 评论