python
关注
分享
扫一扫
文章平均质量分 62
Alfredou
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
用python自制一款背单词程序
需求分析在使用电脑上网冲浪，打游戏，看电影时，经常会在各个地方夹杂着一些看不懂的英文单词，为了在日常玩电脑的时候，也能利用碎片时间积累英文单词，因此自制了一款简易的背单词程序。功能如下：1.平时见到的单词，利用CTRL+C，CTRL+V保存在文本文件words.csv中。2.每次打开程序的时候，随机抽取100个单词来进行翻译答题测验考试，对于每一个单词，翻译测验正确的，跳过；翻译测验错误的...原创 2018-10-04 00:52:19 · 14453 阅读 · 5 评论 -
selenium中Chrome设置代理（python）
from selenium import webdriverdef create_proxyauth_extension(proxy_host, proxy_port, proxy_username, proxy_password, scheme='http', plu...原创 2019-02-16 01:50:49 · 3769 阅读 · 0 评论 -
Django 文档阅读笔记（一）
https://docs.djangoproject.com/en/2.1/intro/tutorial01/创建项目>> django-admin startproject mysite>> cd mysite启动项目>> python manage.py runserver在浏览器中打开127.0.0.1:8000会看到如下图创建应用，应...原创 2019-02-24 02:38:14 · 208 阅读 · 0 评论 -
Django 文档阅读笔记（二）应用数据模型
在mysite/settings.py中设置自己所需的数据库# Database# https://docs.djangoproject.com/en/2.1/ref/settings/#databasesDATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': ...原创 2019-02-24 11:50:26 · 161 阅读 · 0 评论 -
Django 文档阅读笔记（三）网站管理员
https://docs.djangoproject.com/en/2.1/intro/tutorial02/创建Django网站管理员账号>> python manage.py createsuperuserUsername: alfredEmail address: alfred@example.compassword: 123456password (again):1...原创 2019-02-24 13:30:00 · 150 阅读 · 0 评论 -
Django 文档阅读笔记（四）编写视图函数
https://docs.djangoproject.com/en/2.1/intro/tutorial03/在polls/views.py中编写更多的视图函数def detail(request, question_id): return HttpResponse("You're looking at question %s." % question_id)def results(re...原创 2019-02-24 15:21:07 · 281 阅读 · 0 评论 -
Django 文档阅读笔记（五）编写模板文件
https://docs.djangoproject.com/en/2.1/intro/tutorial03/模板文件属于前端三剑客（html，css，js）模板文件应该创建在APP的templates目录下（自行创建目录），具体路径为（project/app/templates/app/index.html）编写一个模板文件（mysite/polls/templates/polls/ind...原创 2019-02-24 16:14:18 · 209 阅读 · 0 评论 -
数据采集：利用Scrapy采集前程无忧招聘信息
需求分析：1.采集目标网站：前程无忧 https://www.51job.com/2.可根据工作关键字采集不同的工作类别。如“工程师”，“教师”3.采集字段：工作名称（job_name）、公司名称（company）、城市（city）、工资水平（salary）、工作发布日期（date），工作详情链接（link）实现方案：首先创建qcwy项目：>> scrapy start...原创 2019-02-19 20:34:08 · 1374 阅读 · 1 评论 -
创建一个UA池（User-Agent）
import randomdef get_ua(): user_agents = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60', 'Opera/8.0 (Windows N...原创 2018-10-10 14:19:05 · 8526 阅读 · 2 评论 -
数据采集：采集Ajax动态网站，抓取娱乐热点新闻标题并作简要分析
八卦是人的天性，我作为一名众多吃瓜群众中的一员，当然也不会放过每一个娱乐圈的每一个热点。接下来我会抓取企鹅网的娱乐版块 https://new.qq.com/ch/ent/，看看各位娱乐小编是如何报道娱乐热点的。具体目标如下图：（红色方框内的标题）第一步就是“观察与分析”，不断下拉滚动条，右键点击查看源代码，右键点击检查，这些都是基本操作了，可以发现网站是Ajax加载，返回的数据都在Js...原创 2018-11-29 22:04:13 · 3314 阅读 · 0 评论 -
数据采集+简易分析：（欧洲五大联赛2010--2018）1万5千场球赛的欧盘分析
相信很多喜欢看足球比赛的朋友都有过买彩票的经历，而且很多老彩民都会拥有自成一套的分析方法，如盘口分析，球员首发分析，大小球分析等等。（但是好像都不太凑效。。。）那么接下我将会挖掘网易彩票网站里的数据，（其中包括欧洲五大联赛英超，意甲，西甲，德甲，法甲2010—2017）http://saishi.caipiao.163.com/尝试从另一个角度看看球赛的赛果和庄家开出来的欧盘（欧赔就是我们通...原创 2019-02-20 01:47:42 · 11099 阅读 · 0 评论 -
threading模块：多线程操作
相关概念：一个进程内，可以有多个线程。线程内分为主线程和多个子线程。多个子线程之间可以共享内存和数据。由于GIL（全局解释锁）的限制，threading只适合在I/O密集型程序上使用。threading中定义的方法threading.active_count()返回Thread当前活动的线程数量。threading.current_thread()返回当前的线程。thr...原创 2018-12-08 20:57:32 · 405 阅读 · 1 评论 -
数据采集：多线程+动态IP处理并发爬虫
爬取目标为豆瓣电影列表 https://movie.douban.com/tag/#/?sort=U&range=0,10&tags=电影对于每一部电影，分别爬取其中的①电影名称，②导演，③上映日期，④制片国家/地区，⑤片长，⑥评分，⑦类别，⑧评论人数对于电影的详情页面，豆瓣是使用了静态加载，所有直接使用requests请求库+正则表达式抓取原创 2019-01-09 23:15:15 · 1650 阅读 · 1 评论 -
协程：实现并发请求
关于Python协程的讨论，一般出现最多的几个关键字就是：阻塞非阻塞同步异步协程asyncioaiohttp概念知识的话，感觉以下两篇博文都讲得不错，这里就不转了，直接贴地址：http://python.jobbole.com/87310/http://python.jobbole.com/88291/https://aiohttp.readthedocs.io/en/s...原创 2019-01-21 21:05:14 · 1584 阅读 · 0 评论 -
手机抓包工具charles和mitmdump抓取手机APP数据（附抓取抖音小视频例子）
mitmdump可以对接Python脚本，在Python脚本中可以修改请求报文和响应报文。安装mitmdump在命令行模式pip install mitmproxy就可以了连接手机直接用手机连接电脑的WiFi就可以了第一步：手机连接WiFi第二步：点击手机WiFi里的代理设置，选择手动设置代理第三步：服务器ip填电脑的ip（不知道就在命令行模式下输入ipconfig查看），端口填8...原创 2019-02-01 01:03:31 · 12106 阅读 · 3 评论 -
Python迭代器与可迭代对象
当扫描内存中放不下的数据集时，我们需要找到一种惰性获取数据项的方式，每次“取出”1个。这就是迭代器相对于普通迭代对象的优势：节省内存探索可迭代对象l = ['apple', 'orange', 'pear'] #列表就是一个可迭代对象在python中，很多内建的数据类型都是可迭代对象，如列表，字符串，元组，字典，集合等如果要自己构建一个可迭代的数据类型，只需要实现一个__getitem...原创 2019-02-20 02:07:04 · 271 阅读 · 0 评论