- 博客(35)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
原创 pandas学习
import pandas as pdimport numpy as np#Series是一个一维的数据结构# s = pd.Series([1,2,3,'ss','213'])# print(s)#pandas会默认使用0-n来作为index,我们可以指定index# s = pd.Series([1,2,3,'ss','213'],index=['a','b','c','d',...
2018-08-29 14:16:44
506
原创 数据分析,numpy学习
import numpy as np## #初始化数组# arr = np.array([1,2,3])# print(type(arr))## arr1 = np.array([[1,2,3],[2,3,4]])# print(arr1.shape)#打印维度# print(arr1[0,0]) #访问二维第一个元素## #构建全是0的2*3维度的数组# a = np.ze...
2018-08-28 16:39:35
446
原创 linux登录远程服务器及scp命令传输文件(ssh(Connection refused lost connection) 错误),及centos7.3防火墙操作
登录远程服务器需要指定ssh开放的端口号,一般在购买远程服务器上会有显示:ssh -p端口号 登录账号名称(一般是root)@远程服务器ip,然后它会提示你输入密码scp命令传输文件时要指定开放的端口号,否则它默认的22端口是拒绝连接的。(错误示范) scp -r /home/lin/Desktop/adslproxy/ root@xx.xx.xx.xx:/home/download...
2018-08-27 15:53:49
10565
原创 python3 学习 Scrapy框架的使用
#1、架构介绍#Engine。引擎,处理整个系统的数据流、触发事务,是整个框架的核心#item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成Item对象#Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求时将请求提供给引擎#Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛#Spiders。蜘蛛,其内容定义了爬取的逻辑和网页的解析规...
2018-08-20 17:27:30
862
原创 python3,网络爬虫学习,Selenium自动化测试工具的使用
#有些网页不包含Ajax请求,有些网页Ajax接口含有很多加密参数,很难直接分析Ajax来抓取#解决方法是使用模拟浏览器运行的方式来爬取,本章主要学习Selenium和Splash的使用#1、基本使用from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdri...
2018-08-18 13:24:29
378
原创 python3网络爬虫学习第六章Ajax数据爬取(爬取今日头条街拍美图)
#有时候使用requerts抓取页面时,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到的额数据,使用requests获取不到。#这是因为requests获取到的都是原始的HTML文档,而浏览器中的页面则是经过JavaScript处理数据后生成的结果,这些数据的来源有多重,可能是#通过Ajax加载的,可能包含在HTML文档中,可能是经过javaScript和特定算法生成的#1、什...
2018-08-16 19:39:00
683
原创 python json文件及csv文件的读取和写入
#1、json文件存储# import json# str="""# [{# "rating": ["9.2", "45"],# "rank": "21",# "cover_url": "https://img1.doubanio.com\/view\/photo\/s_ratio_poster\/public\/p51114
2018-08-16 11:29:05
1712
原创 1031. 查验身份证(15)
# 题目描述# 一个合法的身份证号码由17位地区、日期编号和顺序编号加1位校验码组成。校验码的计算规则如下:# 首先对前17位数字加权求和,权重分配为:{7,9,10,5,8,4,2,1,6,3,7,9,10,5,8,4,2};然后将计算的和对11取模得# 到值Z;最后按照以下关系对应Z值与校验码M的值:# Z:0 1 2 3 4 5 6 7 8 9 10# M:1 0 X 9 8 7 ...
2018-08-16 08:35:23
185
原创 1019.人口普查
# 题目描述# 某城镇进行人口普查,得到了全体居民的生日。现请你写个程序,找出镇上最年长和最年轻的人。# 这里确保每个输入的日期都是合法的,但不一定是合理的——假设已知镇上没有超过200岁的老人,而今天是2014年9月6日,所以超过200# 岁的生日和未出生的生日都是不合理的,应该被过滤掉。# 输入描述:# 输入在第一行给出正整数N,取值在(0, 105];随后N行,每行给出1个人的姓名...
2018-08-15 21:38:48
172
原创 1019、旧键盘 (20)
# 题目描述# 旧键盘上坏了几个键,于是在敲一段文字的时候,对应的字符就不会出现。现在给出应该输入的一段文字、以及实际被输入的文字,请你列出# 肯定坏掉的那些键。# 输入描述:# 输入在2行中分别给出应该输入的文字、以及实际被输入的文字。每段文字是不超过80个字符的串,由字母A-Z(包括大、小写)、数字0-9、# 以及下划线“_”(代表空格)组成。题目保证2个字符串均非空。# 输出描述...
2018-08-15 21:37:44
169
原创 1017.打印沙漏
# 打印沙漏(20)# 题目描述# 本题要求你写个程序把给定的符号打印成沙漏的形状。例如给定17个“ * ”,要求按下列格式打印# *****# ***# *# ***# *****# 所谓“沙漏形状”,是指每行输出奇数个符号;各行符号中心对齐;相邻两行符号数差2;符号数先从大到小顺序递减到1,再从小到大顺序递# 增;首尾符号数相等。# 给定任意N个符号,不一定能正好组...
2018-08-15 21:37:00
141
原创 1016.程序运行时间
# 题目描述# 要获得一个C语言程序的运行时间,常用的方法是调用头文件time.h,其中提供了clock()函数,可以捕捉从程序开始运行到clock()被调用时所# 耗费的时间。这个时间单位是clock tick,即“时钟打点”。同时还有一个常数CLK_TCK,给出了机器时钟每秒所走的时钟打点数。于是为了获# 得一个函数f的运行时间,我们只要在调用f之前先调用clock(),获得一个时钟打点...
2018-08-15 21:36:28
238
原创 1013.组个最小数 (20)
# 题目描述# 给定数字0-9各若干个。你可以以任意顺序排列这些数字,但必须全部使用。目标是使得最后得到的数尽可能小(注意0不能做首位)。例如:# 给定两个0,两个1,三个5,一个8,我们得到的最小的数就是10015558。# 现给定数字,请编写程序输出能够组成的最小的数。# 输入描述:# 每个输入包含1个测试用例。每个测试用例在一行中给出10个非负整数,顺序表示我们拥有数字0、数字1、...
2018-08-15 21:35:57
167
原创 1012.D进制的A+B (20)
# 题目描述# 输入两个非负10进制整数A和B(<=230-1),输出A+B的D (1 < D <= 10)进制数。# 输入描述:# 输入在一行中依次给出3个整数A、B和D。# 输出描述:# 输出A+B的D进制数。# 输入例子:# 123 456 8# 输出例子:# 1103a = input().split()b = []b.append(str((in...
2018-08-15 21:35:10
234
原创 python3网络爬虫学习4.3pyquery的使用学习
#使用pyquery#1、初始化#他的初始化方式多种,比如直接传入字符串、URL,文件名等#(1)字符串初始化# text = """# <html><head><title>The Dormouse's story</title></head># <body id="abs">
2018-08-15 21:27:23
168
原创 python3网络爬虫学习 第四章解析库的使用4.1xpath解析库的使用
from lxml import etree# xpath("//*") 获取所有子孙节点# xpath("//body//") 获取body节点的所有子孙节点# xpath("/html/*") html节点下的子节点# xpath("//body/p[@class='title']") body节点下的p节点中属性中class = 'title'的节点#获取节点属性# x...
2018-08-15 15:03:33
253
原创 正则表达式匹配手机号、QQ号、邮箱
import re#匹配邮箱# def email_match(str1):# #12312313413@sdeqwe.com# res = re.findall(r"(\w{1,}@\w{1,}.(com|cn|com.cn)$)",(str1))# print(res)# # email_match("1@1123.cn")# #匹配QQ号# def ...
2018-08-15 14:47:25
5599
原创 1011 个位数统计 (15)
# 题目描述# 给定一个k位整数N = dk-1*10k-1 + ... + d1*101 + d0 (0&lt;=di&lt;=9, i=0,...,k-1, dk-1&gt;0),请编写程序统计每种不同的个位数字出现的次数。# 例如:给定N = 100311,则有2个0,3个1,和1个3。# 输入描述:# 每个输入包含1个测试用例,即一个不超过1000位的正整数N。# 输出描述:#...
2018-08-15 08:25:29
196
原创 python3 网络爬虫学习 3.4 抓取猫眼电影排行
import requestsimport reimport timeimport jsondef get_one_page(url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.83...
2018-08-14 19:33:21
399
原创 python正则表达式
1、概述"""python 在1.5以后增加了re模块,提供了正则表达式re模块使python语言拥有了全部的正则表达式""""""re模块简介"""import re#pip 包管理工具'''re.match函数原型:match(pattern,string,flags=0)参数:pattern:匹配的正则表达式 string:要匹配的字
2018-08-14 17:47:40
133
原创 第三章、3.2requests使用
#比urllib更方便#实现文件上传,使用Cookie登录,会话维持SSL证书验证,设置代理超时设置,身份认证# """# import requests# r =requests.get("https://www.baidu.com")# print(type(r))# print(r.status_code)# print(type(r.text))# print(r.coo...
2018-08-14 16:42:09
457
原创 python3 网络爬虫学习——第三章,3.1urllib的使用
主要写了一些urllib命令#request:基本的HTTP请求模块,用来模拟发送请求#error:异常处理模块,如果出现请求错误,我们可以捕获异常,然后重试或进行其他操作保证程序不会停止#parse:一个工具模块,提供了许多URL处理方法#robotparser:识别网站的robots.txt文件,判断哪些网站可以爬,很少用#3.1.1发送请求#1、urlopen模块提供了基本的...
2018-08-14 12:14:04
236
原创 python小程序吃饭系统
# 1.做一个模拟吃饭的小程序,吃5天,钱不够了或者5天到了就结束程序。# 2.用户录入商品的名称和价格,将商品的名称和价格存储到一个列表或者字典中。可以做一个死循环,当用户输入over的时候就结束循环,停止录入之后打印列表或者字典中的信息。# 3.随机出一道推荐菜,提示:今日特价菜为XXX打8折。# 4.到此商品列表和特价菜都有了。现在开始吃饭,总共吃5天,每天都有特价菜。推荐菜都是打8...
2018-08-14 11:26:13
2380
2
原创 python 银行系统
#银行类#属性 用户#方法#1、开户 2、查询 3、存款 4、取款 5、转账 6、销户 7、补卡 8、解冻 9、冻结 0、退出 + 登录界面 +管理员登录#用户#属性#1、姓名 2、 身份证号 3、 电话号 4、卡号 5、密码 6、错误次数import timeimport randomclass Preson(object): #人类...
2018-08-14 11:24:33
7438
3
原创 学习python3,网络爬虫的过程(第二章爬虫基础)
2.1、HTTP基本原理 1、URI:统一资源标志符,包括:URL(网址):统一资源定位符,URN:统一资源名称 2、超文本hypertext:网页源码 3、HTTP和HTTPS:http(超文本传输协议);https是以安全为目标的http通道,简单讲是http的安全版,即在http下加入ssl层 4、http请求过程: 5、请求: 由客户端向服务端发起,可以分为4个部分:请求方...
2018-08-14 08:32:26
284
原创 1019. 数字黑洞 (20)
# 题目描述# 给定任一个各位数字不完全相同的4位正整数,如果我们先把4个数字按非递增排序,再按非递减排序,# 然后用第1个数字减第2个数字,将得到# 一个新的数字。一直重复这样做,我们很快会停在有“数字黑洞”之称的6174,这个神奇的数字也叫Kaprekar常数。# 例如,我们从6767开始,将得到# 7766 - 6677 = 1089# 9810 - 0189 = 9621# ...
2018-08-13 18:08:42
136
原创 1008 锤子剪刀布 (20)
# 题目描述# 大家应该都会玩“锤子剪刀布”的游戏:# 现给出两人的交锋记录,请统计双方的胜、平、负次数,并且给出双方分别出什么手势的胜算最大。# 输入描述:# 输入第1行给出正整数N(<=105),即双方交锋的次数。随后N行,每行给出一次交锋的信息,# 即甲、乙双方同时给出的的手势。C代表“锤子”、J代表“剪刀”、B代# 表“布”,第1个字母代表甲方,第2个代表乙方,中间有1个...
2018-08-13 18:07:49
160
原创 1007 A除以B (20)
# 题目描述# 本题要求计算A/B,其中A是不超过1000位的正整数,B是1位正整数# 你需要输出商数Q和余数R,使得A = B * Q + R成立。# 输入描述:# 输入在1行中依次给出A和B,中间以1空格分隔。# 输出描述:# 在1行中依次输出Q和R,中间以1空格分隔。# 输入例子:# 123456789050987654321 7# 输出例子:# 176366841501...
2018-08-13 18:06:40
157
原创 1016. 部分A+B (15)
# 正整数A的“DA(为1位整数)部分”定义为由A中所有DA组成的新整数PA。例如:给定A = 3862767,DA = 6,# 则A的“6部分”PA是66,因为A中有2个6。# 现给定A、DA、B、DB,请编写程序计算PA + PB。# 输入描述:# 输入在一行中依次给出A、DA、B、DB,中间以空格分隔,其中0 < A, B < 1010。# 输出描述:# 在一行中输出...
2018-08-13 18:05:54
127
原创 1004 福尔摩斯的约会 (20)
# 大侦探福尔摩斯接到一张奇怪的字条:“我们约会吧!# 3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm”。大侦探很# 快就明白了,字条上奇怪的乱码实际上就是约会的时间“星期四 14:04”,# 因为前面两字符串中第1对相的同大写英文字母(大小写有区分)是# 第4个字母'D',代表星期四;符是'E'第2对相同的字...
2018-08-13 18:04:52
196
原创 1003 数素数 (20)
# 题目描述# 令Pi表示第i个素数。现任给两个正整数M <= N <= 10000,请输出PM到PN的所有素数。# 输入描述:# 输入在一行中给出M和N,其间以空格分隔。# 输出描述:# 输出从PM到PN的所有素数,每10个数字占1行,其间以空格分隔,但行末不得有多余空格。# 输入例子:# 5 27# 输出例子:# 11 13 17 19 23 29 31 37 4...
2018-08-13 18:03:53
247
原创 python pat 1002.数字分类
# 给定一系列正整数,请按要求对数字进行分类,并输出以下5个数字:# A1 = 能被5整除的数字中所有偶数的和;# A2 = 将被5除后余1的数字按给出顺序进行交错求和,即计算n1-n2+n3-n4...;# A3 = 被5除后余2的数字的个数;# A4 = 被5除后余3的数字的平均数,精确到小数点后1位;# A5 = 被5除后余4的数字中最大数字。a = input()b = a....
2018-08-13 18:02:34
176
原创 python pat 试题 1、1001.A+B和C (15)
# 题目描述# 给定区间[-2的31次方, 2的31次方]内的3个整数A、B和C,请判断A+B是否大于C。# 输入描述:# 输入第1行给出正整数T(<=10),是测试用例的个数。随后给出T组测试用例,每组占一行,顺序给出A、B和C。整数间以空格分隔。# 输出描述:# 对每组测试用例,在一行中输出“Case #X: true”如果A+B>C,否则输出“Case #X: fals...
2018-08-13 18:01:22
290
原创 python中装饰器的执行过程
先看一段简单的装饰器代码def outer(func): def inner(*args): print("****************") func(*args) return inner@outerdef sum(x,y): print(x+y)sum(1,2)这里@outer 表示给sum函数装饰,具体代码是sum...
2018-08-13 17:47:54
682
原创 解决Django框架下输出文字乱码,但是在Mysql中是中文的问题
1、第一步,安装python3,已有,跳过。 2、requests库安装 : 在cmd终端,输入pip3 install requests,已有,跳过。 3、安装Selenium自动化测试工具: 可以利用它驱动浏览器执行特定的操作,安装方法:在cmd终端,输入pip3 install selenium,已有,跳过。 4、chromDriver安装: 与Selenium自动化测试工具配...
2018-08-13 11:39:19
813
mysql数据库操作
2018-08-16
Scrapy爬虫问题
2018-09-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人