python
关注
分享
扫一扫
RonnyChan
我们整个的生命，都催人泪下
展开
-
python爬虫实习生面试经验分享【卖座网】
十六号那天，我在宿舍睡到11:44分，收到HR电话商量面试时间，因为是被电话吵醒的，没考虑就说了当天下午15:00。说完挂了电话，我马上意识到犯了个很严重的错误，我应该说明天下午三点的，当天下午就去面准备时间太少了。。吃一堑长一智。时间紧迫，准备面试（搜了一些python题目，爬虫面试题，看了以前写的自我介绍），一边胡乱吃了午饭（超市乌冬面），穿好黑色长裤和一件短袖衬衫，时间来到两点半，还没打...原创 2018-08-27 20:11:45 · 4009 阅读 · 3 评论 -
手机号码的正则表达式【python描述】
# -*- coding:utf-8 -*-import redef ReTel(tn): reg = "1[3|4|5|7|8][0-9]{9}" return re.findall(reg, tn) print(ReTel("17722548365")) # 正确print(ReTel("xxddewl")) # 号码不合法print(ReTel("12...原创 2018-08-17 16:46:47 · 5139 阅读 · 0 评论 -
写一个函数，判断两个列表是否有交集（不要用for)
# Determine whether two lists have intersection.def isInter(a,b): result = list(set(a)&set(b)) if result: return True else: return False # test lst1 = [0,1,2,3,4,5,6,7,8,...原创 2018-08-30 18:00:54 · 3274 阅读 · 1 评论 -
实习工作学习记录 scrapy
从8月27日起到现在，已经实习工作一个月了，这个月学到了很多技术知识，特此记录。-----------------------------------------------------------------------------------1、添加日志监控程序在setting.py中添加如下代码段，意思是打开日志记录，文件命名以当前日期（如20180930.log）为格式，日志级...原创 2018-09-30 10:45:45 · 634 阅读 · 0 评论 -
实习工作学习记录 MySQL
从8月27日起到现在，已经实习工作一个月了，这个月学到了很多技术知识，特此记录。-----------------------------------------------------------------------------------1、连接语句在pipeline.py中初始化类时连接数据库，相关变量在setting中已设置好 def __init__(self...原创 2018-09-30 11:26:42 · 741 阅读 · 0 评论 -
多线程获取代理IP
工作需要，在爬虫的时候要获取代理，但是一个代理接口获取的速度不满足需求，故用两个代理多线程进行获取，提高速度（有多的接口会更快)原理是两个接口同时运行，把得到的代理IP放入集合中，然后加入队列中，先进先出。每次入队之前判断是否已存在于集合中（即已经使用过，如果使用过则舍弃），保证每次使用的代理都是不重复的。 1、首先我们设置好队列以及集合，如果队列是空的（已透支），则睡眠2秒等待插入。...原创 2018-10-25 11:18:28 · 819 阅读 · 0 评论 -
Tensorflow学习记录8 scope
"""命名方式What's name_scope?What's variable_scope?基本上都是把变量的名字动一下手脚"""import tensorflow as tf# # ############## name_scope ####################################################################...原创 2019-03-13 23:03:47 · 180 阅读 · 0 评论 -
Tensorflow学习记录9 一些函数
"""用tensorflow来实现或使用人工智能领域中的一些函数@author: ronny"""import tensorflow as tfimport numpy as npdef linear_function(): """ 用tensorflow来实现人工智能领域中著名的线性函数: Z=原创 2019-03-16 16:00:03 · 198 阅读 · 0 评论 -
Tensorflow学习记录3
"""Variable的使用"""import tensorflow as tfstate = tf.Variable(0, name='counter') # 一定要定义成是个变量才是个变量，初始值0，名字counter# print(state.name) # 输出：名字:第几个变量（name:index）one = tf.constant(1) # 定义一个常量 on...原创 2019-03-12 12:54:18 · 196 阅读 · 0 评论 -
Tensorflow学习记录4
"""What is placeholder?把变量先hold在类型中，到sess时再feed数据"""import tensorflow as tfinput1 = tf.placeholder(tf.float32) # 给定一个float32类型的placeholderinput2 = tf.placeholder(tf.float32)output = tf.mul...原创 2019-03-12 12:54:57 · 187 阅读 · 0 评论 -
Tensorflow学习记录6 Tensorboard-histogram
"""输出结果可视化2 histogram"""import tensorflow as tfimport numpy as npdef add_layer(inputs, in_size, out_size, n_layer, activation_function=None): # add one more layer and return the output of ...原创 2019-03-12 12:59:15 · 286 阅读 · 0 评论 -
Tensorflow学习记录5 Tensorboard-graph
"""def add_layer() 自定义层输出结果可视化1 graph"""import tensorflow as tfimport numpy as npdef add_layer(inputs, in_size, out_size, activation_function=None): # 画出大框架（加名） with tf.name_scope('la...原创 2019-03-12 13:05:04 · 399 阅读 · 1 评论 -
用tensorflow实现线性回归
""""use tensorflow to realize linear regressionTensorflow是一个通过计算图的形式来表述计算的编程系统"""# 导入包import numpy as npimport tensorflow as tfimport matplotlib.pyplot as plt# 使用numpy生成200个随机点（曲线：y=x*2）x...原创 2019-03-21 09:03:31 · 269 阅读 · 0 评论 -
Tensorflow学习记录7 RNN+LSTM 分类例子
"""Based on: Recurrent Neural Network & Long Short-Term MemoryTask: Consider all lines of the photo, and predict the number that it means."""import tensorflow as tffrom tensorflow.examples...原创 2019-03-13 11:48:09 · 530 阅读 · 0 评论 -
在scrapy源码中添加功能，对HTTP响应状态码493的url进行保存
在scrapy爬虫过程中，遇到了这样一个问题：[scrapy.spidermiddlewares.httperror] INFO: Ignoring response <493> HTTP status code is not handled or not allowed我们翻译一下（百度翻译）：忽略响应< 493 >不处理或不允许HTTP状态代码经测试...原创 2018-08-19 09:48:34 · 4791 阅读 · 0 评论 -
python快速排序算法
今天见到一个很棒的快排算法，只用三行语句就完成了：def qsort(L): if len(L) <= 1: return L return qsort([lt for lt in L[1:] if lt < L[0]]) + L[0:1]+ qsort([ge for ge in L[1:] if ge >= L[0]])接下来我们测试一下，写一些...原创 2018-08-16 13:10:42 · 245 阅读 · 0 评论 -
一些python常用内置函数及语句的理解#1
python内置函数众多，需知其源由，记起来事半功倍isinstance() 用法：确定某个量是不是某种类型。 解析： （翻译）把函数拆开：is instance == 》 是实例，即该量是不是某类型的实例，是则返回True，不是返回False。 __init__() 用法（展示其中一种）： 作为类中的初始化函数（构造函数），设置创建该类实例时必须传入的参数。 ...原创 2018-06-22 15:27:37 · 447 阅读 · 0 评论 -
python学习日志_错误解析#1——IndentationError: expected an indented block
首先是翻译这句错误提示： Indentation Error: expected an indented block （有道翻译）缩进错误: 预计一个缩进块然后我们看下源代码： 原来python很严格地要求缩进，在def定义函数中，冒号之后的下一行要缩进一个tab（或4个空格）更改后如下： 函数定义完成，成功调用！ ...原创 2018-06-18 12:02:53 · 1079 阅读 · 0 评论 -
python学习日志_错误解析#3——RuntimeError: maximum recursion depth exceeded
翻译：运行时间错误: 超过最大递归深度案例：在调用阶乘函数fact时，阶乘1000出现该错误。解析： 在计算机中，函数调用是通过栈（stack）这种数据结构实现的，每当进入一个函数调用，栈就会加一层栈帧，每当函数返回，栈就会减一层栈帧。由于栈的大小不是无限的，所以，递归调用的次数过多，会导致栈溢出。...原创 2018-06-18 21:54:14 · 1300 阅读 · 0 评论 -
python学习日志_错误解析#4——Syntax Error: EOL while scanning string literal
翻译：语法错误: EOL扫描字符串文字案例：在使用os.listdir输出当前目录下的文件及文件夹的名字时，参数中应传入一个路径，而该路径不能以“\”结尾，故有此报错。改正：将路径末尾“\”去除即可。解析：python中字符串的最后一个字符是斜杠会导致出错。...原创 2018-06-19 22:16:34 · 1585 阅读 · 0 评论 -
python学习日志_错误解析#2——SyntaxError: invalid syntax
翻译： 语法错误:无效语法案例： 解析： 在定义函数fact中，if后是要写如果n=1的话执行某些语句，而这个“如果n=1”在python语句中应该这样写：“n == 1”，而不是“n=1”，故报错。正解： ...原创 2018-06-18 21:21:37 · 453 阅读 · 0 评论 -
规范开始一个scrapy爬虫项目
【示例环境】系统 WIN10语言及版本 python3.6 安装好scrapy（装好python，在命令行中输入pip install scrapy）首先，我们要创建一个scrapy项目，打开命令提示符（win+R, 输入cmd回车），cd到你要创建项目的目录下，使用scrapy startproject <project_name>命令, 该参数表示你为项目起的名：(...原创 2018-08-12 22:34:34 · 668 阅读 · 0 评论 -
规范进行一个爬虫项目【经验分享：参考教学书籍，爬取books.toscrape.com上的书籍信息】
如何规范开始一个python爬虫？传送门：https://blog.youkuaiyun.com/GBA_Eagle/article/details/81611348教学书籍：《精通Scrapy网络爬虫》项目需求：爬取http://books.toscrape.com网站中的书籍信息。（1）信息包括：书名、价格、评价等级、产品编码、库存量、评价数量。（2）将爬取结果保存到csv文件中。...原创 2018-08-13 18:43:54 · 2944 阅读 · 0 评论 -
举例说明，tf.slice()的用法
转载自：https://www.jianshu.com/p/71e6ef6c121b最近看代码的时候需要弄明白tf.slice()的具体操作方法。去看了看官方的注释和例子还是一头雾水，就是看不明白这到底是怎么切的。于是搜了几个quora的帖子，终于搞懂了。下面举3个例子转载 2019-03-19 08:46:48 · 2262 阅读 · 1 评论