学渣的博客

利用xpath爬取糗事百科的数据，关键在于对xpath的使用，可以用浏览器插件对xpath做相应的对照。 我的处理方法是提取出来相对比较有“概括性”的父节点，然后通过父节点对爬取的页面进行解析得到子节点集，之后再利用for循环遍历节点集，从而再利用子节点提取出用户名、用户发表的段子、点赞数、评论数、帖子包含的图片。最后将其存储在字典里写入json文件。# -*- coding:utf-8 -

1.找零钱问题：假设只有 1 分、 2 分、五分、 1 角、二角、 五角、 1元的硬币。在超市结账 时，如果 需要找零钱， 收银员希望将最少的硬币数找给顾客。那么，给定 需要找的零钱数目，如何求得最少的硬币数呢？2.求最大子数组之和问题：给定一个整数数组（数组元素有负有正），求其连续子数组之和的最大值。3.汽车加油站问题

利用python连接sqlserver数据库，一开始总是出现错误。错误如下：Traceback (most recent call last): File "pymssql.pyx", line 635, in pymssql.connect (pymssql.c:10734) File "_mssql.pyx", line 1902, in _mssql.connect (_mssql.c

问题描述： 最小重量机器设计问题：设某一机器由n个部件组成，每一种部件都可以从m个不同的供应商处购得。设 w[i][j] 是从供应商j处购得的部件 i 的重量， c[i][j]是相应的价格。试设计一个算法，给出总价格不超过 p 的最小重量机器设计。 利用回溯法求解问题，首先可以为该题的二维数组w、c赋初值，不妨令n=3，m=2、p=60。构造回溯法中的解空间树，大概如下： 根据回溯法的要求

装饰器是程序开发中经常会⽤到的⼀个功能，⽤好了装饰器，开发效率如⻁ 添翼，所以这也是Python⾯试中必问的问题。     写代码要遵循 开放封闭 原则，虽然在这个原则是⽤的⾯向对象开发，但是也 适⽤于函数式编程，简单来说，它规定已经实现的功能代码不允许被修改， 但可以被扩展，即： 封闭：已实现的功能代码块 开放：对扩展开发现有如下代码块：# coding = 'utf-8'def f

利用python3写爬虫，因为python3已经没有了urllib2，仅有urllib，区别就在于urllib2相当于urllib.request，调用urllib2的方法时可以通过urllib.request调用。 爬取百度首页时，收集到消息之后要对信息进行解码，发现编码方式为gb2312，运用decode方法进行解码，得到首页源代码。 关于http请求头信息，推荐使用浏览器插件Switch

首先我们创建一个python文件, tieba.py，我们要完成的是，输入指定百度贴吧名字与指定页面范围之后爬取页面html代码，我们首先观察贴吧url的规律，比如：百度贴吧LOL吧第一页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0第二页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50第三页：

1、Python的 .. (点号 点号) 是什么语法？答案地址：https://stackoverflow.com/questions/43487811/what-is-python-dot-dot-notation-syntax2、为什么在Python3中 x**4.0 比 x**4运行的快？答案地址：https://stackoverflow.com/questions/42355

利用python3中的urllib模块对豆瓣电影的“喜剧片”进行爬取。因为是动态页面，我们关注点应在数据来源上，我们知道所有Ajax数据来源都是json，通过Fiddler抓包工具，我们可以获取相应json数据，提取出相应url，以及post请求的QueryString，之后便可以进行代码的编写。 代码如下：# -*- coding:utf-8 -*-from urllib impor

命令模式 (按键 Esc 开启)Enter : 转入编辑模式Shift-Enter : 运行本单元，选中下个单元Ctrl-Enter : 运行本单元Alt-Enter : 运行本单元，在其下插入新单元Y : 单元转入代码状态M :单元转入markdown状态R : 单元转入raw状态1 : 设定 1 级标题2 : 设定 2 级标题3 : 设定 3 级标题

对numpy基本函数操作进行了整理，掌握这些便可以算是入了个门，基本全部敲一遍就掌握差不多了！开发环境为jupyter notebook 基本是一个输入一个输出 需要源码的可以去我的github下载import numpy as np# 读文件的操作 分隔符为逗号 类型是strworld_alcohol = np.genfromtxt('world_alcohol.txt', de

人人网有一个登陆用的接口http://www.renren.com/PLogin.do，该接口仅需要提交一个包含用户名和密码post表单再利用cookie的相关处理方法便可以模拟登陆。（不知道为什么还有这种接口存在） 具体代码、实现流程如下：# -*- coding:utf-8 -*-from urllib import request as urllib2from urllib imp

似乎正则在爬虫中用的不是很广泛，但是也是基本功需要我们去掌握。 先将内涵段子网页爬取下来，之后利用正则进行匹配，匹配完成后将匹配的段子写入文本文档内。代码如下：# -*- coding:utf-8 -*-from urllib import request as urllib2import re# 利用正则表达式爬取内涵段子url = r'http://www.neihanpa.

Queue（队列对象）queue是python3中的标准库，可以直接import queue引用;队列是线程间最常用的交换数据的形式。python下多线程的思考对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而queue，是线程安全的，因此在满足使用条件下，建议使用队列1. 初始化： class Queue.Queue

今天帮女朋友从网络上收集一些信息，但是发现提取出的信息中有“\xa0”，并且无法去掉，查阅了相关资料，后发现该字符表示空格。\xa0 是不间断空白符   我们通常所用的空格是 \x20 ，是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 （ISO/IEC_8859-1）中的扩展字符集字符，代表空白符nbsp(non-breaking space

初学scrapy，利用xpath对网页结构进行匹配，写的parse函数如下： def parse(self, response): teacherList = response.xpath('//div[@class="li_txt"]') teacherItem = [] for node in teacherList:

经过scrapy的简单学习，我们实现这样一个爬虫：爬取腾讯社招的全部岗位信息，将粗略的大致信息保存在tencent.json文件中，将岗位的进一步具体信息（职责、要求）保存在positiondescribe.json文件中。 即，我们需要两个item进行页面信息的保存，同时要继承CrawlSpider对页面链接进行相应提取。 项目目录如下：(创建名为TencntSpider的项目)Tenc

　　在学习了matplotlib之后便紧跟着开始seaborn的学习，seaborn是对matplotlib的进一步封装，令我们的绘图操作进一步简化，使用seaborn我们便可以简单的绘制出风格迥异的图例，是我们数据展示的利器。　 　　我们从seaborn的风格转换开始入门学习，以绘制正弦函数为例。 　　首先在正常的matplotlib中我们绘制一组正弦函数的曲线，代码如下： 　　i...

学习了seaborn的基本风格操作设置之后我们便操作seaborn学习直方图、散点图的绘制方法，以及对数据进行回归分析的方法(本文使用jupyter notebook为开发环境)。直方图的绘制 首先我们导入必须的包以及matplotlib的魔法方法，使得我们绘制的图象能直接显示；并为随机数设置种子，使得每次执行相同方法产生相同的随机数。import numpy as npimp...

还是使用jupyter notebook作为开发环境，首先引入所必须的包以及对环境进行相应设置。import numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as pltimport seaborn as sns%matplotlib inline# 调用魔法方法 使得...

问题的提出现要实现一个简单的线性回归： 我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。即要求我们通过一些数据集...

*上一篇是理论知识、背景介绍以及大体的实现方向，这一篇是具体代码实现代码编写我们的功能模块：写出sigmoid函数，返回被录取的概率，即映射到概率g(z)=11+e−zg(z)=11+e−zg(z) = \frac{1}{1+e^{-z}} 写出model函数，返回预测结果值，即X（样本值）与theta的矩阵相乘结果(θ0θ1θ2)×⎛⎝⎜1x1x2...

线性回归的概念给定一个数据集D={（x1,y1）,（x2,y2）,（x3,y3）…}，所谓线性回归就是模拟出一个线性模型f(X)=k∗X+bf(X) = k * X + bf(X)=k∗X+b，使得对所有的x∈\in∈D得到 f(X) ≈\approx≈ y ∈\in∈ D，即尽可能准确的预测真实的y值。问题主要集中在我们该如何得到k、b的值呢？关键在于如何度量f(X)与真实的y之间的...

准备工作现实现一个具有三层的最简单的神经网络，激活函数采用sigmod函数。整体结构如下所示：x是输入的样本值。设定为5*3的矩阵，即代表5个样本值，每个样本有3个特征值。y是标签，为5*1的矩阵代表每一个样本的标签。且取值范围为0或1。即完成一个简单的分类问题。w0、w1为中间的权重参数。L0、L1、L2表示每一层的计算结果。L2即是最终与标签比对的结果首先是数据的初始化：x...

任务设计一个bp神经网络是实现对MNIST手写数字集的识别任务。网路结构包含一个输入层、一个隐层和一个输出层。 其实总共只有两个层级结构。包、数据集载入我们使用tensorflow来简化我们的操作。import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input...

将均方误差应用到线性回归问题中首先我们先回顾频率派的解决方法，即常规解法——利用最小二乘法解决问题。损失函数采用均方误差函数。关于模型容量问题：在《深度学习》中专门指出，模型的容量也是一个需要用户指定的超参数，即拟合的多项式次数。此处为了简化操作，暂定为一次多项式。解决代码如下：import numpy as npx = np.random.randn(10) + 5# 初始参数k...

任务设计一个卷积神经网络来实现对MNIST手写数字集的识别任务。为了增加模型复杂度并进一步练习tensorflow的使用方法，所以模型设计的稍微复杂一些。网路结构总共包括五个层级，包括四个隐藏单元、一个输出单元。 层级结构如下图所示包、数据集载入import tensorflow as tfimport numpy as npfrom tensorflow.examples.tuto...

笔者感觉numpy、tensorflow中的随机函数有些杂，用的时候总是不知道用哪一个，所以在本篇博客中对其进行一个简单的总结。numpy的随机函数我们可以利用numpy随机（random）模块生成我们想要的随机序列或进行一系列随机操作。常用api如下：np.random.randint(a, b)该函数用于生成一个指定范围 [a，b] 的整数。np.random.randn(d0,d...

引入随机梯度下降（SGD）算法是现如今使用较为广泛的优化算法（此处的SGD指的是小批量梯度下降）。具体执行方法是不断迭代直到满足停止准则，在每次的迭代中取小批量训练集，计算损失函数对于权重参数的梯度，并以一定学习率执行权重更新。《深度学习》一书中指出学习率（ε\varepsilonε）是SGD算法中的关键参数。并且在我之前所编写的深度学习程序中，学习率一直是一个固定的变量，但通过阅读才发现自己...

在学习了Python的网络编程以及计算机网络的相关知识之后，编写了Python版的服务器。有三种实现方式，分别是单进程、多进程、多线程。 实现原理：建立tcp套接字，为该套接字绑定本机信息，之后进入循环，令tcp套接字接收信息，并传递给客户端套接字以及收集客户端地址，然后再次进入循环，服务器套接字不断接收客户端传递进来的信息，判断信息（字符串）长度是否为零，若为0则表示客户端已经关闭。 单进程的

此程序不光可以运算平均值，可以应用于一切需要多个数据输入（在一行内完成）的程序中。利用字符串的分割实现了输入任意多个数据，并计算其平均值的小程序。思路是接收输入的字符串，以空格为分隔符，将分割的数据存入列表（lst1）中，将lst1中的数据转存入另一个空列表（lst）中，转存时将字符串转化为整型，从而利用函数求出lst中数的和、平均值，是Python基础（5）中结尾程序的升级版。

据说，Python 的对象天生拥有一些神奇的方法，它们总被双下划线所包围，他们是面向对象的 Python 的一切。他们是可以给你的类增加魔力的特殊方法，如果你的对象实现（重载）了这些方法中的某一个，那么这个方法就会在特殊的情况下被 Python 所调用，你可以定义自己想要的行为，而这一切都是自动发生的。Python 的魔术方法非常强大，然而随之而来的则是责任。了解正确的方法去使用非

利用暑假的时间留校进行一个短期的Python培训，几乎都是些简单的Python基础，但是也有很大的学习价值，毕竟这是个又一次从头开始学习一门新语言的机会，同时记录一些学习过程的感悟。一、利用Sublime进行Python的简单交互：在Sublime下可以很方便的进行python的编程，按下Ctrl+B即可进行代码运行（在此Python更偏向于解释型语言），但是无法进行交互，即当你写下

Python的循环结构： •while循环一般通过数值是否满足来确定循环的条件•for循环一般是对能保存多个数据的变量，进行便利•if、while、for等其他语句可以随意组合，这样往往就完成了复杂的功能郑老 2017/8/1 16:32:53◦continue的作用：用来结束本次循环，紧接着执行下一次的循环•break/continue只能用在循环中，除此以外不能

学习了Python后，感觉到对Python里的引用传值有些疑惑，搜集了一些资料，同时编了一些实例，在此对引用传值解惑一下，分享给大家。在Python里，一切事物皆为对象，并且规定参数的传递都是对象的引用。python参数传递都是“传对象引用”方式。实际上相当于c++中传值和传引用的结合。首先我们可以看一下c++里传值的方法：#include#includeusing nam

今天编程时遇到了一些Python中易犯的错误，总结如下：一、for和else的搭配使用：在Python中for循环可以和else搭配使用，但是有些细节地方容易出错，比如：for i in xrange(1,10): if i == 1: print("Yes")else: print("No")你可能打算希望程序最终输出Yes，但是在这个程序段中最终输出的是Yes和N

在Python函数的学习中，再次对函数的递归感到了迷惑，都说递归逻辑清晰，应用简单，但是在应用中却总有些不理解的地方，甚至感到很疑惑，在此进行总结，希望能理解。首先看一下阶乘的递归求法：def getNum(num): if num > 1: result = num * getNum(num-1) else: result = 1 return resulta = getNu

Python：字符串、列表、元祖、字典

Python基础练习，进行循环与条件判断的嵌套，有一道逻辑练习题如下：根据以下信息提示，请帮小明计算，他每月乘坐地铁支出的总费用提示信息:北京公交地铁新票价确定据北京市发改委网站消息称，北京市将从2015年12月28起实施公共交通新票价：地铁6公里(含)内3元，公交车10公里(含)内2元，使用市政交通一卡通刷卡乘公交车普通卡5折，学生卡2.5折。    具体实施方案如下

如果在开发程序时，需要某块代码多次，但是为了提高编写的效率以及代码的重用，所以把具有独立功能的代码块组织为一个小模块，这就是函数关键词：封装、独立功能、代码块、模块、调用 Python提供了许多内建函数，比如print()。但我们也可以自己创建函数，这被叫做用户自定义函数。在学习过程中老师提出一个问题input()函数是否有返回值，答案自然是肯定的，input()必然有返回值，在Pyt