冷巷(✘_✘)的博客

10.11~10.12，被班主任拖去做苦力。其中有一固定的选项，一个人做全班的。恶心，直接用selenium来挂着！这班主任，中世纪的资本家看了他都流泪，这才是压榨！挂着一节自修都没到就做完了！

小问题，想到了for循环，在for那里设置数量，如果到了就跳出。小要求1是范围，小要求2是用random里的模块来随机生成数字。要求2和要求3是一样的，先写要求2，只要写出了要求2，那么这题就过了。但是写完第一题剩下的时间不多了，第二题都没写完，回到学校才写出来的。数分别为二进制数、十进制数或十六进制数，输出和为十进制数。其他的都不是问题，要求3其实就是要求2，把乘改成除就完事了。数分别为二进制数、十进制数或十六进制数，输出和为十进制数。这题其实没什么好想的，判断输入的进制，然后计算就好了。

不知不觉，老大已经走了1000天了，正好这个星期的数据分析的课就是科比投篮可视化，让我一起来分享一下吧。shot_zone_basic 投篮区域（更具体）combined_shot_type 进攻方式。game_event_id 比赛时间id。shot_zone_range 投篮范围。shot_made_flag 是否进球。shot_distance 投篮距离。shot_type 两分球或三分球。playoffs 是否是季后赛。game_id 比赛ID。period 表示第几节。team_id 球队ID。

打开train后主要是把上面的default是删开，下面这个改成500次，其他的一下设置主要看自己的电脑配置，配置不好设置太高跑冒烟！！像这样建2个文件夹和一个py文件。一个放视频，一个放图片视频是玩游戏的视频，可以用obs录一下，图片是把视频剪成一张一张的，后面训练要用 先用这个， 来到这网站给每张图片打标签。然后回到文件夹新建文件夹 然后改名为labels然后回到网站点这里 然后点start project 再点 create labels list 然后在点 start project然后就

兄弟们可以去github下载源代码 yolov5考虑到登github时没有v皮嗯的，可以来下载我上传的源代码（零积分的哇！！）可以点开我的主页，点资源，来下载源代码下载好源代码后，单击源代码的文件夹拖到pycharm来打开。 一般情况的话在detect文件会少cv2，无法导入 这时打开pycharm的终端（terminal）输入就完事了。在val文件的话会少一个这个直接pip就完事了！ 最后的环境部署，已经搞定，下面我们就可以开始后面的工程了。...

一时无聊“乱”点，点到了个图片网站，一看到mz图就行爬！( •̀ ω •́ )✧来分析一下网站di

yolo -> you only look once！ v5是版本。。首先就是部署环境Anacondaanaconda官网去官网下载anaconda下载好后找到安装包，双击后进行下载！然后点击 I Agree接着路径看个人这个东西是添加路径的，我是不添加的。然后一直next到finish就行了然后在开始打开anaconda prompt然后在打开的这个命令窗口输入conda env list 查看基本环境...

Python基本数据类型：布尔、整数、浮点、字符串。这个数据容器，会把前面的类型以更复杂的方式组织起来。阅读完这篇文章大约需要2~3分钟！目录list(列表)列表使用：列表切片列表判断及遍历列表的增删改增增删改合并列表排序查看列表元素的位置生成列表的生成式list(列表)定义：列表是一种可变的、有序的数据结构，可以随时添加和上传其中的元素。列表非常适合利用顺序和位置定位某一元素，尤其是当元素的顺序或内容进程发送...

数据类型列表整数类型 ->int -> 64 其实就是整数 浮点数类型->float -> 1.64654123 其实是小数 布尔类型->bool -> True， False 就是只有正确或者错误 字符串类型->str -> ‘大家好’ 就是单引号里面内容整数英文是integer，简写是int。 整数概念大家都是知道的，正数、负数、零都是整数...

1、创建爬虫项目:scrapy startproject Baidu2、cd到项目文件夹：cd Baidu3、创建爬虫文件：scrapy genspider baidu www.baidu.com （前面一个baidu和上面的是一样的，可以改的，但是后面这个到浏览器的）4、定义要爬取的数据结构 items.py import scrapyclass Baidultem(scrapy.Item): xxx = scrapy.field() xxx = scr...

安装创建项目1、找到自己python爬虫项目的路径。2、cmd创建scrapy项目。我这里的路径是C:\Users\Administrator\PycharmProjects\untitled1打开cmd，cd到这个路径创建scrapy项目因为项目名称一般都是大写开头，而且也习惯大写开头了 （之前弄一些东西的时候，总的和分的开头都是小写，弄到后面发现搞错，直接疯掉）然后cd到Baidu这个文件夹里面去然后创建爬虫文件我这里顺便带了个域名..

无界面模式from selenium import webdriveroptions = webdriver.ChromeOptions()options.add_argument('--headless')driver = webdriver.Chrome(options=options)driver.get('https://www.baidu.com/')执行js代码，把页面拉到底部driver.execute_script( 'window.scrollTo(0,

selenium最初是一个自动花测试工具，而爬虫中使用它主要是为了解决requests无法直接薅js加密的代码问题，也就是动态数据加载的网站selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器，我这里是用谷歌的下载浏览器中也要下载webdriver首先查看自己浏览器的版本接着到官网下载：CNPM Binaries Mirror然后解压，放在python安装路径的Script里面如...

多线程执行单一执行线程import threadingimport timedef saynb(): # 定义一个函数 print('new bee~') time.sleep(1)if __name__ == "__main__": for i in range(5): t = threading.Thread(target=saynb) # 创建一个对象 t.start() # 启动线程线程执行多个任

思路✅创建多个队列，每一个队列存放不同级别页面的url✅分别从不同的队列中获取url地址，并找到对应的解析函数解析提取数据✅二级队列及以上，队列中获取url地址时需要使用timeout参数...

受害者：热门表情_发表情，表情包大全fabiaoqing.com这里我们先分析一下url看得出来，翻一页，url的page后面也会跟着遍相对于页面的页数。现在再来分析一下内容可以看到内容在img下的src里面，而且每一张的图片都在那一位置，每一个div标签没有什么改边的，用xpath提取的语法为//div[@class="ui segment imghover"]/div//img/@src那么这个就好爬了导入模块import t...

适用前景CPU密集的程序适合使用多线程，可充分利用计算机的多核多线程应用场景1、IO操作多的程序适合使用多线程，包括网络IO、本地磁盘IO2、爬虫发请求等响应：网络IO3、爬虫处理所抓取数据：本地磁盘IO4、所有使用多线程编写爬虫能够极大提升数据抓取的效率queue（队列模块）安装from queue import Queue避免阻塞的3种方式1：q.get(block=False)2：q.get(block=True, timeout=3)3：w

动态加载的网站的特点1、右键，查看网页源代码中没有具体数据2、滚动鼠标滑轮或其他动作时数据才会加载3、页面局部刷新

搭建自己的代理池

定义代替原来的IP去对接网络的IP作用隐藏自身真实IP，避免被目标网站封掉分类高匿代理 web站点只能看到代理ip 普通代理 web站点知道这次请求是有人通过代理IP访问的，但不知道用户的真实ip 透明代理 web站点既能看到代理IP，又能看到用户的真实IP 获取代理IP的网站快代理、精灵IP、oxylabs、豌豆http语法proxies = {'协议':'协议'//IP:端口号'}示例proxies = { 'http':

安装使用作用把爬取的数据储存到本地的csv文件中流程1、打开csv文件2、初始化写入对象3、写入数据（列表）代码如下：import csvwith open('lengxiang.csv','w') as f: writer = csv.writer(f) writer.writerow([]) # []里要输入你要储存的数据例如上面的写入一条数据，下面来看一下，一次性写入多条数据import csvle...

BeautifulSoup，也就是bs4安装：bs4非常简单而且方便，简洁，适合新手使用。下面，我们开始bs4使用的教程和前面的re不一样，bs4要使用from...import...的方法来导入，如下：from bs4 import BeautifulSoup这里举个例子，说一下bs4的简单使用可以看到，原来是横着的内容，现在变成了竖着的了from bs4 import BeautifulSoupdoc = ['<html><h.

今天说一下re，也是正则表达式。安装语法语法 . (英文模式下的句号) 在默认模式，匹配除了换行的任意字符。如果指定了标签DOTALL，它将匹配包括换行符的任意字符。 ^ 匹配字符串的开头， 并且在MULTILINE模式也匹配换行后的首个符号。 $ 匹配字符串尾或者在字符串尾的换行符的前一个字符，在MULTILINE模式下也会匹配换行符之前的文本。foo匹配 'foo' 和 'foobar'，但正则表达式foo$...

爬虫第一步就是请求了，请求模块一般是requests和urllib，而urllib现在很少人用了，但是也有人，下面我们试试安装和使用吧。安装简单的用法import urllib.requestresponse = urllib.request.urlopen('http://www.baidu.com')print(response.read().decode('utf-8'))和requests的请求对比可以发现，网址头是http，如果换成https的话爬不出来内容

爬虫第一步就是请求了，请求模块一般是requests和urllib，而requests是现在最常用的，基本都是用这个了。安装requests：然后回车就行。基本用法举个例子，比如我们想爬百度import requests # 导入requests请求库response = requests.get('https://www.baidu.com/') # 因为百度的请求方式是get，所以我们这里用get方式获取print(response)回车后他会返回一个&lt.

Python的安装一、在浏览器上输入python.org，回车 选择自己想要下载的python版本。我这里选的是python3.10.2，以为我的电脑是64位的，所以我就点了DownloadWindows installer (64-bit)注意：下载时要看电脑的位数 右键 此电脑，点击属性，就能看到电脑的位数二、打开下载目录，找到下载的python安装包，双击这个安装包默认安装的话直接...