- 博客(20)
- 收藏
- 关注
RSS订阅原创 Linux-权限
权限说明rwx权限作用到文件r：代表可读，查看w：可写；可以修改，但是不代表可以删除文件，删除文件袋前提是对该文件所在地目录有写权限，才能删除文件x：可执行作用到目录r：可以读取，ls查看目录内容w：可写，可以修改，对目录内创建、删除、重命名目录x：可执行，可以cd进入改目录例子：drwxr-xr-x的1-3位为rwx代表可读可写可执行drwxr-xr-x的4-6位为r-x代表可读不可写可执行修改权限基本说明：通过chmod指令，可以修改
2021-05-03 17:30:13
337
原创 javaScript-call、apply、bind函数的使用
javaScript-call、apply、bind函数的使用在JavaScript中每个函数都包含两个非继承而来的函数apply()和call()，这两个函数的作用是一样的。都是为了改变函数运行时的上下文而存在的，实际就是改变函数体内this的指向。而bind()函数也是一样的。apply和call是立即执行函数，而bind没有立即执行call函数的基本使用call()函数调用一个函数时，会将该函数的执行对象上下文改变为另一个对象。function.call(thisArg, arg1,
2021-04-14 23:35:03
209
原创 Linux环境变量
linux环境变量export ：显示所有的环境变量echo $PATH：命令输出当前的PATH环境变量的值配置环境变量临时变量，当前终端有效，窗口关闭后无效在终端输入export PATH=软件位置/bin:PATH或exportPATH=PATH或export PATH=PATH或exportPATH=PATH:软件位置bin当前用户有效（终端bash）vim ~/.bashrc通过修改用户目录下的~/.bashrc文件进行配置：在最后一行加上export
2021-02-26 21:27:02
230
1
原创 一个爬取图片的app
image这是一个图片爬虫软件支持自定义规则，添加网站蓝奏云：https://wwa.lanzous.com/i0gQNjiykta首页图片列表切换规则规则管理查看图片自定义、编辑规则
2020-12-20 00:04:11
2141
2
转载 scrapy京东评论爬取
文章目录项目需求获取评论地址创建项目代码实现项目需求评论的爬取爬取地址：https://item.jd.com/12398725.html获取评论地址随便复制一个评论者的名字搜索。首先源代码中搜索，搜索不到。考虑在加载数据中，到开发者工具的网络中搜索。找到评论地址https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=12398725&sco
2020-06-05 12:01:56
1298
转载 第一个scrapy爬虫
项目需求爬取豆瓣图书编程类按评价排序的图书信息地址： https://book.douban.com/tag/%E7%BC%96%E7%A8%8B?type=S爬取数据：书名，作者，评分。创建scrapy项目在命令行中输入scrapy startproject douban_book在命令行中进入创建好的项目创建爬虫文件，当然可以自己创建。cd douban_bookscrapy genspider db douban.com在douban_book.spiders下面就创建了一
2020-06-04 21:06:07
173
原创 scrapy爬虫创建、开启
scrapy简介及安装Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～安装scrapypip install scrapy验证安装是否成功import scrapyscrapy.version_info # (1, 6, 0)导入scrapy,然后输出版本号,我的是1.6.0版本第一个scrapy爬虫创建scrapy项目scrapy st
2020-06-03 08:14:03
574
原创 京东评论爬取
评论获取爬取商品：https://item.jd.com/11943853.html一、评论查找源代码查找随便复制一个评论的评论人：名字。在源代码中搜索。那就在加载的数据中查找在这个里面有：https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=11943853&score=0&sortType=5&page=0&pa
2020-05-24 10:23:53
818
原创 python 视频断点续传
文章目录python 视频断点续传一、分割视频1、分割的每个小部分的大小：2、获取视频大小：3、分割视频：二、请求视频1、设置请求头2、保存视频三、断点续传1、获取保存视频的文件夹里面的文件的名称：2、请求一小段视频时，先判断当前文件夹里是否存在，不存在才下载四、合并视频五、完整代码：1、requests版本，多进程，没有进度条2、`asyncio`版本，异步，有进度条python 视频断点续传将下载或上传任务（一个文件或一个压缩包）人为的划分为几个部分，每一个部分采用一个线程进行上传或下载，如果碰到
2020-05-16 10:50:49
858
原创 m3u8视频下载
m3u8视频下载import aiohttpimport asynciofrom urllib import parseimport refrom Crypto.Cipher import AES# ts地址pattern = re.compile('.*?\.ts')# key地址pattern_key = re.compile('URI="(.*?)"')async ...
2020-05-13 22:28:13
1441
原创 多线程爬取小说
目标：爬取零点看书网一本小说1、爬取小说目录地址爬取小说地址：https://www.lingdiankanshu.co/258400/查看网页源代码小说楔子在一个id等于list的div下的dl下第二个dt的同级标签dd的a标签里面用xpath来获取 a_list = html.xpath('//div[@id="list"]/dl/dt[2]/following-sibling::dd/a')following-sibling :选取当前节点之后的所有同级节点获取章节地址和章节名
2020-05-13 10:16:45
1568
原创 requests分段下载文件
requests分段下载文件默认情况下，requests当你进行网络请求后，响应体会立即被下载，当数据过大时会导致内存不足。这时候可以通过 stream 参数来设置请求数据。当在请求上设置stream=True时，这避免了立即将内容读入内存以获得较大的响应。推迟下载响应体直到访问 Response.content 属性。如果stream=False(默认)，数据将作为单个块返回。url = 'https://www.baidu.com/'r = requests.get(url, str
2020-05-09 14:39:53
1666
原创 正则----python-re方法
python ------- re方法文章目录python ------- re方法match(*pattern*, *string*, *flags=0*)search(*pattern*, *string*, *flags=0*)group(n), groups()findall(*pattern*, *string*, *flags=0*)match(pattern, string, ...
2020-05-06 09:32:07
216
原创 酷我音乐爬取 -- python
kw爬取 – python文章目录kw爬取 -- python获取歌曲地址：即.mp3地址1、地址在哪？2、寻找规律3、获取rid4、获取地址代码目标：爬取酷我排行榜：http://www.kuwo.cn/rankList获取歌曲地址：即.mp3地址1、地址在哪？随便播放一首歌比如：http://www.kuwo.cn/play_detail/96596360发现歌曲地址在：http...
2020-05-05 12:04:03
5564
1
原创 python下载 m3u8 视频
m3u8 视频下载 ------python文件格式m3u8 文件作为媒体播放列表时，其内部信息记录的是一系列媒体片段资源，顺序播放该片段资源，即可完整展示多媒体资源。#EXTM3U // 这个是M3U8文件必须包含的标签，并且必须在文件的第一行，所有的M3U8文件中必须包含这个标签。#EXT-X-VERSION:3 // 版本号#EXT-X-TARGETDURATION:8...
2020-05-04 12:47:35
1899
1
原创 QSlider滑动条改变字体大小
import sysfrom PyQt5.QtCore import Qtfrom PyQt5.QtGui import QFontfrom PyQt5.QtWidgets import *class SliderDemo(QWidget): def __init__(self): super().__init__() self.setWind...
2020-04-25 12:16:40
806
原创 QComboBox下拉框
import sysfrom PyQt5.QtWidgets import QWidget, QVBoxLayout, QLabel, QComboBox, QApplicationclass ComBoxDemo(QWidget): def __init__(self): super().__init__() self.setWindowTitle...
2020-04-25 12:12:49
358
原创 进程池爬取今日头条图片
from multiprocessing.pool import Poolimport jsonimport osimport reimport requestsheaders = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Ge...
2020-04-16 14:33:01
189
原创 scrapy爬取kw
scrapy爬取kw# -*- coding: utf-8 -*-import scrapyimport jsonfrom kwmusic.getheaders import KwHeadersclass KuwoSpider(scrapy.Spider): name = 'kuwo' allowed_domains = ['kuwo.cn'] # pn代表页...
2020-04-15 10:42:24
264
原创 python进度条下载文件
python进度条下载文件异步进度条:asyncioimport asyncioimport aiohttpfrom tqdm import tqdmasync def down_video(url): async with aiohttp.ClientSession() as session: async with session.get(video_url...
2020-03-25 19:20:43
1045
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人