
python
世纪殇
一个不断保持前进的程序员,目前潜心在数据分析和中等网站架构设计中
展开
-
网络小说下载python爬虫记录
# -*- coding:gbk -*- import requests from bs4 import BeautifulSoup import urllib.parse import codecs import time def write_txt(title, content): f = codecs.open('D:\\wushangshenwang.txt', 'a+') ...原创 2019-11-16 08:51:39 · 222 阅读 · 0 评论 -
K近邻算法之距离求解
# -*-coding:utf-8-*- import math point_1 = [1, 1] point_2 = [5, 1] point_3 = [4, 4] def get_distance_by_1(): #L1 是曼哈顿离,计算公式是 每个向量差绝对值的和 distance_1 = abs(point_2[0] - point_1[0]) + abs(point_2[...原创 2018-07-07 14:30:16 · 1972 阅读 · 0 评论 -
ID3决策树的生成
# coding=utf-8 import math ''' 决策树模型,假设有三个条件 年龄,有三个选项 1 表示老年人 2 表示中年 人 3 表示青年人 工作,有两个选项 1 表示有工作 2表示 没有工作 房子,有两个选项 2 表示有房子 2表示 没有房子 信贷情况 1表示一般 2表示号 3表示非常好 ...原创 2018-07-12 21:32:19 · 697 阅读 · 0 评论 -
学习NLP第一课
欲先攻其事必先利其器1、 安装nltk,使用[python] view plain copypip install nltk 2、 在命令行下执行 [python] view plain copyimport nltk nltk.download('punkt') 一段原始文本要可以处理必须经过几个阶段,一般而言主要有1、文本清理,清理掉一些不必要的字符,比如使用BeautifulSoup...原创 2018-04-26 11:07:21 · 324 阅读 · 0 评论 -
Python中的正则表达式教程
转自:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具,拥有自己独特的语法以及一个独立的处理引擎,效率上可能不如str自带的方法,但功能十分强大。得益于这一点,在提供了正则表达式的语言里,正则表达式的语法都是一样的,区...转载 2018-03-28 15:12:27 · 279 阅读 · 0 评论 -
scrapy-redis的安装部署
先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,1. 安装redisyum install -y redis2. 修改配置文件vi /etc/redis.conf将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis3. 重启redis systemctl restart redis4. 关闭防火墙 systemctl s...原创 2018-04-10 16:53:51 · 1496 阅读 · 0 评论 -
phper 学python第一课
phper学python第一课 python安装 第一课练习 python安装 下载安装程序 下载路径 注意勾选add python 3.6 to path,将python路径加入到环境变量,否则还要自己配置 第一课练习 这次主要就是使用几个命令运行python命令,增加熟悉度 进入和离开python环境 命令 描述 python 打开cmd窗口输入”python”进入pytho原创 2018-01-02 14:36:39 · 408 阅读 · 0 评论 -
openstack swift的副本存放位置解析
我们知道在swift中的副本一般是3个,但是对于这三个副本放在哪里?或者存储位置是怎么选择的呢?这段代码是在/common/ring/ring.py文件中的,现在我们来看看这段代码 def get_more_nodes(self, part): """ 根据虚节点生成虚节点对应的其他节点 Generator to get extra nodes原创 2015-01-16 10:40:51 · 1872 阅读 · 0 评论 -
Swift源码分析----swift-proxy实现请求req的转发
感谢朋友支持本博客,欢迎共同探讨交流,由于能力和时间有限,错误之处在所难免,欢迎指正! 如果转载,请保留作者信息。 博客地址:http://blog.youkuaiyun.com/gaoxingnengjisuan 邮箱地址:dong.liu@siat.ac.cn PS:最近没有登录博客,很多朋友的留言没有看见,这里道歉!还有就是本人较少上QQ,可以邮件交流。 概述:转载 2015-01-13 11:38:28 · 852 阅读 · 0 评论 -
swift源代码解读(三) proxy-server的启动
之前说过了,swift是怎样根据配置文件进行服务的启动的,现在来说一下proxy-server的启动过程,到现在为止,系统已经找到了swift-proxy-server文件,并进行执行,看下该文件的代码 import sys from swift.common.utils import parse_options from swift.common.wsgi import run_wsgi i原创 2015-01-13 11:18:15 · 3628 阅读 · 0 评论 -
python学习(文件遍历)
不说了,直接上代码 #文件的遍历 import os import os.path rootdir="D:\\论文" for parent,dirnames,filenames in os.walk(rootdir): for dirname in dirnames: print 'parent is ',parent print 'dirname is'原创 2015-01-10 12:41:08 · 1653 阅读 · 0 评论 -
由swift想到的-python反射机制
在swift中的命令设置并没有进行字符串的定义,而是使用了python的反射机制,也即,命令参数,是Manager类中的函数名称,先我们将用到的函数列举如下, 函数command函数,是管理服务,也是直接进行命令下发的类,Manager中的成员有的是命令执行函数,而有的则不是,那么就需要进行区分,这里我们使用的是@command进行区分的,使用@command声明的函数就是命令执行函数,同时其函原创 2015-01-09 16:42:24 · 842 阅读 · 0 评论 -
swift源代码解读(一)
首先获得swift的源代码,使用git clone https://github.opnestack/swift.git来获得源代码,然后看看其中的启动过程swift-init文件源代码如下 #!/usr/bin/env python # Copyright (c) 2010-2012 OpenStack Foundation # # Licensed under the Apache Lice原创 2015-01-09 16:13:48 · 2109 阅读 · 1 评论 -
python学习(swift 一致性hash算法分析)
对于普通的hash算法,计算增加一个节点对于数据迁移的比率以及计算时间 from hashlib import md5 from struct import unpack_from from time import time begin=time()#记录下当前时间,方便计算计算消耗的时间 NODE_COUNT=100 #原有节点数目 NEW_NODE_COUNT=101#新的节点数目 DAT转载 2015-01-08 15:47:59 · 1010 阅读 · 0 评论 -
python学习(命令行的解析)
在python中我们不需要进行字符串的解析,而是可以直接使用一个类OptionParse即可,直接进行调用,首先要将该类进行导入 from optparse import OptionParser 这样我们就可以直接使用;optParse=OptionParser() 然后是进行参数的添加 optParse.add_option("-f","--file",action="store",t原创 2015-01-08 11:04:00 · 1068 阅读 · 0 评论 -
python学习(类的使用)
因为已经有了其他编程语言的基础,也即直接熟悉代码即可 #!/usr/local/bin/python class MyClass: def myFun(): num=10 print 'myFun num='+str(num) def myFun2(): num=12 print 'myFun2 num='+str(原创 2015-01-07 15:55:16 · 537 阅读 · 0 评论