- 博客(32)
- 收藏
- 关注
RSS订阅原创 alpine linux更换国内源
alpine源文件地址alpine 源文件存在 /etc/apk/repositories目录下，直接修改这里面的文件地址即可vi /etc/apk/repositories替换源文件为http://mirrors.aliyun.com/alpine/v3.12/mainhttp://mirrors.aliyun.com/alpine/v3.12/community推荐使用如下的方式直接修改阿里镜像sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliy
2020-10-13 15:38:55
17428
原创 python selenium 对 webdirver 简要封装思路
为记录个人在使用webdriver的过程中，为了使代码进一步简洁，通过配置文件分离减少耦合的过程先上完整代码：# encoding:utf-8import configparserimport osfrom selenium import webdriverfrom datetime import datetime# 对webdriver进行简单封装class BaseWebdriver(object): def __init__(self): #所有driver.f
2020-06-11 17:06:47
464
原创 Django 自定义filter报错 django.template.exceptions.TemplateSyntaxError
解决方案：将自定义的filter的文件夹放入当前app所在的目录下
2020-05-12 15:21:57
1400
原创 python上传时，包含boundary时的处理方式
python上传时，包含boundary时的处理方式 img_url = [] upload_pic_url = "http://admin.mdt.oujingroup.cn/uploader/img" headers = { 'X-Requested-With': 'XMLHttpRequest', ...
2019-07-22 16:24:33
2833
2
原创 python 对excel进行合并与去重操作
前段时间爬取了京东超市的全部商品品牌；拉去下来以后发现有很多的重复的内容，打算对这些内容进行去重。。这是对excel的合并操作import pandas as pdimport osrootpath = os.getcwd()abspath = os.path.dirname(rootpath)# 桌面创建一个excel的文件夹，把要合并的文件放在excel里面# 这个py文件的...
2019-05-29 10:44:56
10674
原创 python小工具-批量压缩图片
通过PIL简单的批量压缩图片import osimport timefrom PIL import Imagefrom docx import Documentfrom docx.shared import Inchesrootpath = os.getcwd()abspath = os.path.dirname(rootpath)dir_picture = abspath+'\...
2019-05-17 12:58:54
534
原创 leecode刷题笔记 122. 买卖股票的最佳时机 II
给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。设计一个算法来计算你所能获取的最大利润。你可以尽可能地完成更多的交易（多次买卖一支股票）。注意：你不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）。示例 1:输入: [7,1,5,3,6,4]输出: 7解释: 在第 2 天（股票价格 = 1）的时候买入，在第 3 天（股票价格 = 5）的时候卖出, 这笔交易所能获...
2019-05-04 19:39:12
225
原创 leecode刷题笔记 21. 合并两个有序链表
将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例：输入：1->2->4, 1->3->4输出：1->1->2->3->4->4思路：直接使用递归即可# Definition for singly-linked list.# class ListNode:# def __...
2019-04-28 23:49:31
226
原创 leecode刷题笔记 9.回文数
判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。示例 1:输入: 121输出: true示例 2:输入: -121输出: false解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。示例 3:输入: 10输出: false解释: 从右向左读, 为 01 。因此它不是一个回文数。进阶:你...
2019-04-26 14:52:42
224
原创 leecode刷题笔记 235. 二叉搜索树的最近公共祖先
给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。百度百科中最近公共祖先的定义为：“对于有根树 T 的两个结点 p、q，最近公共祖先表示为一个结点 x，满足 x 是 p、q 的祖先且 x 的深度尽可能大（一个节点也可以是它自己的祖先）。”例如，给定如下二叉搜索树: root = [6,2,8,0,4,7,9,null,null,3,5]示例 1:输入: root = [6,2...
2019-04-24 20:03:34
186
原创 leecode刷题笔记 169. 求众数
给定一个大小为 n 的数组，找到其中的众数。众数是指在数组中出现次数大于 ⌊ n/2 ⌋ 的元素。你可以假设数组是非空的，并且给定的数组总是存在众数。示例 1:输入: [3,2,3]输出: 3示例 2:输入: [2,2,1,1,1,2,2]输出: 2思路先用字典记录列表中所有数字出现的次数，然后从字典中，依次迭代找出出现次数大于n/2的class Solution: ...
2019-04-23 15:05:10
228
原创 leecode刷题笔记 206. 反转链表
反转一个单链表。示例:输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL进阶:你可以迭代或递归地反转链表。你能否用两种方法解决这道题？递归思路：随意取一个中间结点K，要使K+1指向K结点，需要将K.next.next = K， K.next = Null依次递归，到第一个结...
2019-04-23 00:17:04
247
原创 入门级爬虫-17k小说站爬取指定小说
执行py文件前，需要先安装这2个包pip install beautifulsoup4pip install requests#!/usr/bin/env python3.7# -*- coding: utf-8 -*# author by slofrom bs4 import BeautifulSoupimport requestsclass DownLoader(obj...
2019-04-22 00:55:42
646
原创 python3.7+django2.2+mysql配置报错 Did you install mysqlclient?
在settings中设置了mysql。然后执行manage.py 报错解决方式：安装pymysqlpip install pymysql在__init__，下增加如下内容import pymysqlpymysql.install_as_MySQLdb()接下来有可能遇到的问题修改django/db/backends/mysql/目录下的 base.py文件...
2019-04-17 00:30:27
1163
原创 用最沙雕的方式爬取智联招聘全站职位信息
承接上文的奇思妙想这应该是目前我想到的最沙雕，最简单的遍历全站职位的方式先随便打开一个智联的职位，往下拉取可以看到一个相似推荐我在写scrapy爬取智联的时候，突然发现这个相似推荐竟然是js异步加载的…(难怪我爬半天没找到数据)![在这里插入图片描述](https://img-blog.csdnimg.cn/20190414153308284.png?x-oss-process=imag...
2019-04-14 15:54:20
1909
1
原创 leecode刷题笔记 136. 只出现一次的数字
给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。说明：你的算法应该具有线性时间复杂度。 你可以不使用额外空间来实现吗？示例 1:输入: [2,2,1]输出: 1示例 2:输入: [4,1,2,1,2]输出: 4思路：异或可以用于奇偶判断，或者交换两个整数的值而不必用第三个参数这道题很适用异或class Soluti...
2019-04-13 19:54:15
274
原创 leecode刷题笔记 557. 反转字符串中的单词 III
给定一个字符串，你需要反转字符串中每个单词的字符顺序，同时仍保留空格和单词的初始顺序。示例 1:输入: "Let's take LeetCode contest"输出: "s'teL ekat edoCteeL tsetnoc" 注意：在字符串中，每个单词由单个空格分隔，并且字符串中不会有任何额外的空格。思路：直接通过切片[::-1],实现全部字符串的逆序，然后使用在分割成数组，...
2019-04-13 19:13:07
226
原创 python scrapy爬取智联招聘全站的公司和职位信息（三）
items类说明items用法在scrapy中，items是保存结构数据的地方，scrapy将解析结果以字典形式返回下面是scrapy默认给我们创建的items.py文件class ZhaopinItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field()...
2019-04-13 15:42:59
676
3
原创 Warning: /usr/local/bin is not in your PATH 的解决方法
今天下载homebrew的时候弹出了这个错误Warning: /usr/local/bin is not in your PATH.解决方法：sudo vim .bash_profile最后面添加一句export PATH=/usr/local/bin:$PATH即可解决问题...
2019-04-11 18:58:26
3183
4
原创 leecode刷题笔记 104. 二叉树的最大深度
给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明: 叶子节点是指没有子节点的节点。示例：给定二叉树 [3,9,20,null,null,15,7]， 3 / \ 9 20 / \ 15 7返回它的最大深度 3 。思路：直接递归找到深度最大的，直接返回即可# Definition for a bi...
2019-04-11 16:11:48
169
原创 leecode刷题笔记 237. 删除链表中的节点
请编写一个函数，使其可以删除某个链表中给定的（非末尾）节点，你将只被给定要求被删除的节点。现有一个链表 – head = [4,5,1,9]，它可以表示为:示例 1:输入: head = [4,5,1,9], node = 5输出: [4,1,9]解释: 给定你链表中值为 5 的第二个节点，那么在调用了你的函数之后，该链表应变为 4 -> 1 -> 9.示例 2:输入...
2019-04-11 15:01:09
187
原创 leecode刷题笔记 78. 子集
给定一组不含重复元素的整数数组 nums，返回该数组所有可能的子集（幂集）。说明：解集不能包含重复的子集。示例:输入: nums = [1,2,3]输出:[ [3], [1], [2], [1,2,3], [1,3], [2,3], [1,2], []]思路：使用回朔法class Solution: def subsets(self, n...
2019-04-11 14:44:19
197
原创 python scrapy爬取智联招聘全站的公司和职位信息（二）
从网页中提取相关信息**公司页面**： 公司的url，公司名称，规模，行业，在招岗位数量，邀面试数1. 在scrapy shell中调试在terminal/CMD中输入scrapy shell2019-04-08 22:32:43 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023[s...
2019-04-09 00:29:25
1446
原创 python scrapy爬取智联招聘的公司和职位信息（一）
缘由: 最近在找工作发现智联和51上太多培训机构的虚假招聘信息，于是乎打算写个爬虫看看，培训机构到底发布了多少虚假岗位一、 创建scrapy项目安装scrapy在终端/cmd输入pip install scrapy创建项目**IDE推荐使用pycharm在cmd/终端输入 （zhaopin为项目的名称） scrapy startproject zhaopin （zha...
2019-04-08 21:58:33
1547
2
原创 python 爬取西刺ip代理池
1. requests设置ip代理 proxies = { 'http': ‘http://183.148.153.147:9999/’ }
2019-03-28 02:31:36
407
原创 python scrapy框架随机更换user-agent
1. 缘由由于python爬虫会在request请求头headers中携带python相关信息，很容易被网站识别。所以我们需要对headers进行伪装2. 常用请求头headers中字段说明Header解释User-AgentUser-Agent的内容包含发出请求的用户信息Host指定请求的服务器的域名和端口号CookieHTTP请求发送时，会把保存在该...
2019-03-24 00:23:59
1165
原创 mac下 使用 selenium + chrome 模拟知乎登陆
1. 先下载selenium```pip install selenium```2. 下载chrome浏览器对应的chromedriver- 先检查chrom的版本号 - - 比如我的版本 73.0.3683.86（正式版本） （64 位）![在这里...
2019-03-21 22:20:05
1771
1
原创 Python Scrapy shell 调试添加headers
在terminal中输入scrapy shel随后再>>> 输入headers= {‘host’:‘1’}req = scrapy.Request(url=‘https://www.guazi.com/cd/buy/’,headers=headers)fetch(req)terminal具体显示结果如下：[s] Available Scrapy object...
2019-03-19 14:19:56
1483
原创 简书Api分析
声明以下所有 API 均由 简书（JianShu） 提供，本人采取非正常手段获取。获取与共享之行为或有侵犯简书权益的嫌疑。若被告知需停止共享与使用，本人会及时删除此页面与整个项目。请您了解相关情况，并遵守简书协议。以下均返回json格式API 分析1. 简书首页文章URL :https://www.jianshu.com/asimov/trending/now用途：获取当前的...
2019-03-15 16:33:07
3168
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人