- 博客(36)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 python爬取中文乱码
解决办法：在文件前加import sysimport iosys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')url = 'http://comment.bilibili.com/34568185.xml'r = requests.get(url)print(r....
2019-04-16 10:06:00
1313
原创 python-数据结构
https://facert.gitbooks.io/python-data-structure-cn/5.%E6%8E%92%E5%BA%8F%E5%92%8C%E6%90%9C%E7%B4%A2/5.10.%E5%B8%8C%E5%B0%94%E6%8E%92%E5%BA%8F/
2019-03-28 17:19:00
169
原创 python 实现树结构的七种遍历
https://blog.youkuaiyun.com/Bone_ACE/article/details/46718683
2019-03-28 17:18:00
1068
原创 切换jupyter botebook的python内核版本
本文使用anaconda管理python版本1、查看已有python版本conda info --env2、创建Python环境conda create --name python35 python=3.5 #代表创建一个python3.5的环境，我们把它命名为python353、管理和使用python环境进入python35环境：s...
2019-02-19 15:00:00
433
原创 读《黑客与画家》
很早之前便听说过这本书，上周偶然发现了就赶紧拿来看看。 以前一本书总是很难从头看完，为了表示我看完了这本书，我尽力看完了大部分章节，仔细看了部分章节。作者Paul Graham是有名的硅谷创业之父，可以自行百度。第一部分：1-4章主要介绍了黑客是怎样成长的以及它们看待世界的方式。首先是为黑客正名，黑客最初的意思是热爱技术的高手。用书呆子不受欢迎的现...
2018-11-29 20:21:00
163
原创 ubuntu14.04使用备份成ISO文件
使用systemback制作Ubuntu自定义系统镜像和系统备份:https://community.bwbot.org/topic/167/%E4%BD%BF%E7%94%A8systemback%E5%88%B6%E4%BD%9Cubuntu%E8%87%AA%E5%AE%9A%E4%B9%89%E7%B3%BB%E7%BB%9F%E9%95%9C%...
2018-11-21 21:37:00
787
原创 人类需要鸡汤，需要听故事
最近状态不是很好。因为计划太满，执行困难。结果便是慢慢的畏惧感和挫折感。难受。无意中翻出了师兄留下来的一本鸡汤书《你受的苦，总有一天会照亮你未来的路》，听听这个名字就知道满满的香气。身体不好需要食补，精神困顿也需要精神的鸡汤吧。看了两个故事：一个是不被人看好的小角色勤奋上进，抓住了一次机会发光闪亮，赢得了同事的尊重，领导的重任；一个是刚入职的小姑娘处处受同...
2018-11-13 16:57:00
171
原创 mpv
作为个人认为最好用的播放器之一的MPV播放器，其开源，体积小，支持的格式多样等等非常优秀的功能。常用到的快捷键:1对比度2对比度+3亮度 -4亮度+5伽马 -6伽马+7饱和度 -8饱和度+9音量减小0音量增加上方向键播放进度快进1分钟下方向键播放进度快退1分钟左方向键播放进度后退5秒右方向键播放进度前进5秒ctrl与 - 号组...
2018-09-18 19:32:00
1279
原创 爬取巴比特快讯遇到状态码“521”
最近在爬区块链相关的快讯，上周巴比特改版后重写了爬虫，跑了一天就挂了。原来是网站使用了加速乐的服务，爬虫每次都返回521的状态码。浏览器访问网站时：第一次请求：返回521状态码和一段js代码。js会生成一段cookie并重新请求访问。第二次请求：带着第一次得到的cookie去请求然后正确返回状态码200而爬虫不能像浏览器一样执行js所以一直报错...
2018-08-22 11:53:00
1113
1
原创 XPath获取当前节点文本的路径写法
今天爬这个网址https://www.8btc.com/article/251688抓时间和内容时麻烦了半天可以用ctrl+f先自己测试下能否用xpath正确定位到位置image.pngimage.png/node()表示匹配任何类型的节点。//div[not(@*)]表示所有不具有属性的div元素。如例子中的Sc...
2018-08-14 16:01:00
2139
原创 一个完整机器学习项目流程总结（转）
实际问题抽象成数学问题这里的抽象成数学问题，指的我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者是聚类的问题，如果都不是的话，如果划归为其中的某类问题。获取数据获取数据包括获取原始数据以及从原始数据中经过特征工程从原始数据中提取训练、测试数据。机器学习比赛中原始数据都是直接提供的，但是实际问题需要自己获得原始数据。“ 数据决定机器学习结...
2018-08-07 11:31:00
371
原创 Python2，python3相关
一、ubuntu没装anaconda。只有自带的2.7和自己装的3.5。要切换版本：切换到python3：echo alias python=python3 >> ~/.bashrcsource ~/.bashrc切换到python2echo alias python=python2 >> ~/.bashrcsourc...
2018-07-23 09:34:00
97
原创 python 时间模块
python常用时间模块有time datetime记录下一些常用的方法，方便下次查找#获得当前系统时间import datetimenow=datetime.datetime.now()print(now)#用参数构造一个datetimeimport datetimedt = datetime.datetime(2018,7,11...
2018-07-12 14:39:00
158
原创 python读取大文件
我们在处理小的文本文件时一般使用.read()、.readline() 和 .readlines()方法，但是当我们的文件有2个G，5个G甚至更大时，用这些方法内存就直接爆掉了。对一般文件，如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便。读取大文件...
2018-07-04 15:18:00
330
原创 python列表，字典排序
python对容器内数据的排序有两种，一种是容器自己的sort函数，一种是内建的sorted函数。sort函数和sorted函数唯一的不同是，sort是在容器内(in-place)排序，sorted生成一个新的排好序的容器。dic = {'a':31, 'bc':5, 'c':3, 'asd':4, 'aa':74, 'd':0} dict= so...
2018-07-04 15:01:00
187
原创 ubuntu安装包提示错误you might want to run 'apt-get -f install' to correct these
问题描述：ubuntu使用”apt-get install“安装程序时遇到错误提示 you might want to run 'apt-get -f install' to correct these解决方案：使用如下命令修复安装包（终于解决了，搞了大半天了）$ sudo apt-get --fix-broken install或者...
2018-07-04 11:34:00
4582
原创 Redis
Redis是一个开源，高级的键值存储数据库，也被称为数据结构服务器。Redis有三个主要特点，使它优越于其它键值数据存储系统 -Redis将其数据库完全保存在内存中，仅使用磁盘进行持久化。与其它键值数据存储相比，Redis有一组相对丰富的数据类型。Redis可以将数据复制到任意数量的从机中。支持的数据类型：string, hash, list...
2018-07-04 11:32:00
124
原创 python基础
randomhttp://www.runoob.com/python/func-number-random.html#!/usr/bin/python# -*- coding: UTF-8 -*-import randomprint( random.randint(1,10) ) # 产生 1 到 10 的一个整数型随机数 ...
2018-07-02 18:08:00
74
原创 python 多进程 多线程 协程
一、多进程1、子进程（subprocess包）在python中，通过subprocess包，fork一个子进程，并运行外部程序。import subprocesschild1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)child2 = subprocess.Popen(["wc"...
2018-07-02 18:06:00
189
原创 Django从入门到放弃
官方文档w3c教程一、安装pip install django二、基本使用MVC&MTVMVC百度百科：全名Model View Controller，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个...
2018-07-02 15:10:00
163
原创 python 闭包
一、定义定义：闭包是由函数及其相关的引用环境组合而成的实体(即：闭包=函数+引用环境)说人话：如果在一个内部函数里，对在外部作用域（但不是在全局作用域）的变量进行引用，那么内部函数就被认为是闭包(closure)>>>def addx(x): >>> def adder(y): return x + y ...
2018-06-27 18:27:00
122
原创 python函数
1. map()map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。def f(x): return x*xr=map(f,[1,2,3,4,5])print(list(r))#[1, 4, 9, 16, 25]map()作为高阶函数，...
2018-06-27 16:44:00
121
原创 python3 数据类型
标准数据类型Python3 中有六个标准的数据类型：Number（数字）: int、float、bool、complex（复数）String（字符串）List（列表）Tuple（元组）Sets（集合）Dictionary（字典）在Python中变量就是变量，它没有类型，我们所说的"类型"是变量所指的内存中对象的类型。等号（=）用来给变量...
2018-06-26 17:05:00
204
原创 python3总结-基础
一、这个可以了解下1.一般对象不用特别声明python会自动识别；一个对象也可以重新绑定到不同数据类型，因为python采用的是动态类型机制；但对已经声明过的对象则不能改变。2.输出print("a")在python控制台中也可以直接用这个对象名称，就会打印出来，用print打印多个字符串可用逗号连接,想将多个print打印在同一行，可以prin...
2018-06-26 15:57:00
182
原创 ubuntu16.04安装python3
今天用了下阿里云的云服务器，装个python3真是各种踩坑。记录下吧：ubuntu自带了2.7。想要装3.5并设置为默认python版本。安装python3.5sudo add-apt-repository ppa:fkrull/deadsnakessudo apt-get updatesudo apt-get install python3.5...
2018-06-25 16:11:00
724
原创 python装饰器
装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。概括的讲，装饰器的作用就是为已经存在的...
2018-06-21 18:26:00
74
原创 网址收藏，常用命令
linuxLinux：http://man.linuxde.net/菜鸟教程简书screen命令：http://man.linuxde.net/screenalias命令：http://man.linuxde.net/aliaspython框架scrapy： scrapy官网文档django: django官方文档其他查找...
2018-06-20 11:59:00
200
原创 scrapyd部署爬虫
官方文档：http://scrapyd.readthedocs.io/en/stable/scrapy爬虫写好后，一般需要用命令行运行。scrapyd部署能够在网页端查看正在执行的任务，也能新建爬虫任务，和终止爬虫任务。优点：在网页端管理爬虫，可以控制多个爬虫任务。1.安装pip install scrapydpip install scrapyd...
2018-06-19 15:36:00
241
原创 urllib的使用总结
Python3中将python2.7的urllib和urllib2两个包合并成了一个urllib库Python3中,urllib库包含有四个模块:urllib.request for opening and reading URLsurllib.error containing the exceptions raised by urllib.req...
2018-06-12 11:11:00
122
原创 python的定时任务框架APScheduler
1. apscheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，APScheduler基于Quartz的一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。提供了基于日期、固定时间间隔以及cr...
2018-06-12 10:01:00
193
原创 klein基本使用
klein文档klein是一个小型的web框架，在服务器运行爬虫脚本的时候，可能没办法监测爬虫状态，使用Klein可以使我们随时打开浏览器查看想要监控的东西。1.安装pip install klein2.使用2.1基本使用from klein import run, route@route('/')def home(request): ...
2018-06-11 18:29:00
1437
原创 git学习笔记
Git是目前世界上最先进的分布式版本控制系统git只能管理文本文件（txt，网页，代码等，word是二进制不行）且每次记录的是改动而不是整个文件。在Mac OS X上安装Git：brew install git安装完成后，还需要设置用户名和邮箱，在命令行输入：git config --global user.name "your_name"g...
2017-11-28 15:54:00
182
Linux合集.zip
2020-07-30
软件工程学第九版
2019-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人