Starry__.-优快云博客

原创腾讯云对象存储功能的使用

首先我们登录腾讯云搜索对象存储或者cos都可以接下来新用户应该有免费额度，现在应该有活动一块钱50G/1年到达这个界面我们创建存储桶这里不需要设置，看个人需求然后，下一步创建即可创建好之后我们看它SDK文档或者API都可以（推荐SDK）这里都有我们以python为例（pip安装即可）设置一些配置# -*- coding=utf-8from qcloud_cos import CosConfigfrom...

2022-05-19 11:54:08 2211

原创 CentOS7云服务器防火墙的配置

进入阿里云服务器在安全组开启开放端口号我的版本为CentOS 7.91.查看防火墙状态systemctl status firewalld.service2.开启防火墙systemctl start firewall.service3.重启防火墙firewall-cmd --reload4.关闭防火墙systemctl stop firewalld.service5.开启端口(这里是80端口)firewall-cmd --zone=publi

2022-02-17 17:14:08 1479

原创 Python连接Mongodb数据库

很简单from pymongo import MongoClient#连接数据库client = MongoClient('localhost', 27017)#连接到数据库集合db = client['test']['persons']#所有数据result = list(db.find())#遍历for i in result: print(i)打印结果...

2022-01-14 22:11:58 823

原创一道实例让你学会Mysql基础查询(二)

1.接着我们上面那道案例我们继续对Mysql进行深入了解表中数据也没有变，唯一变的就是加了身高2.sql命令#计算男性和女性的人数SELECT COUNT(*) FROM first_biao GROUP BY genders;#显示性别对应的人数SELECT genders '性别',NAME,COUNT(*) FROM first_biao GROUP BY genders;#显示所有的姓名SELECT genders '性别',GROUP_CONCAT(NAME),COU.

2022-01-08 16:18:54 612

原创 python十几行代码带你爬取好看的图片

废话不说上代码import requestsimport reurl = 'https://www.duitang.com/search/?kw=%E7%BE%8E%E5%A5%B3&type=feed'resp = requests.get(url)re_resp = re.findall('src="(.*?)" height=',resp.text)n = 0for i in re_resp: print(i) urls = requests.get(url=

2022-01-07 22:10:35 325

原创一道实例让你学会Mysql基础查询（一）

今天我们进行Mysql的基本操作，Mysql相信很多人也会用到，一道题了解Mysql的魅力！1.连接命令mysql-uroot-p接密码或者回车敲密码：显示我们的链表使用表进入我们的表，列举表单要查看表单内容的话查看表单结构2.我们先创建一个表CREATE TABLE first_biao(`id` INT(11),`name` VARCHAR(4) DEFAULT NULL,`genders` ENUM('男', '女', '...

2022-01-05 12:04:12 644

原创爬取猫眼电影信息（电影名称，电影主演）

今天就用我们的xpath解析方式解析内容很简单代码如下：import requestsfrom lxml import etree'''url = 'https://www.maoyan.com/board/4''''for page in range(10): url = f'https://www.maoyan.com/board/4?offset={page*10}' headers = { 'User-Agent': 'Mozilla/5.0

2022-01-03 21:53:12 838

原创爬取拉勾网招聘信息（招聘岗位，公司名称，薪资等）

用爬虫框架进行爬取，框架还是feapder代码如下：import feapder#轻量级爬虫class LastAirSpider(feapder.AirSpider): def start_callback(self): print("爬虫开始") def end_callback(self): print("爬虫结束") #下发任务 def start_requests(self): #爬取五页数据

2022-01-01 22:11:48 1105 1

原创多线程爬虫爬取招聘信息

1.相比于普通爬虫，多线程爬虫效率快我们爬取腾讯招聘网站的信息下面我们先了解一下队列的简单操作from queue import Queueq = Queue(5)#存数据q.put(1)q.put('name')q.put([11, 22, 33])q.put((11, 22, 33, 44))q.put({'name':'xiaoming'})#取数据q.get()#判断队列是否满了print(q.full())#队列几个print(q.qsize())#判断队

2021-12-30 16:11:19 608

原创 python的web框架Flask的入门

安装Flask框架直接pip install Flask就可以，依赖环境会自动安装配置好1.一个最小的应用from flask import Flaskapp = Flask(__name__)@app.route("/")def hello_world(): return "Hello, World!"2.可以看一下中文官方文档，解释很全快速上手 — Flask 中文文档 (2.0.2)：每一个模块都很清楚3.代码from flask import Flas.

2021-12-29 22:21:13 305

原创 python爬虫爬取小说

今天我们用爬虫框架feapder进行小说的简单爬取话不多说下面是代码import feapderpath = r'D:\爬取文件'#轻量级爬虫class TaobaoSpider(feapder.AirSpider): def start_callback(self): print("爬虫开始") def end_callback(self): print("爬虫结束") #下发任务 def start_reque

2021-12-27 21:47:14 1150

原创 b站识别验证码模拟登录

1.首先：我们先去超级鹰超级鹰验证码识别-专业的验证码云端识别服务,让验证码识别更快速、更准确、更强大上去获取验证码识别，注册获得账号，点击生成一个软件ID,获取到我们的ID点击python安装包下载最后压缩后把文件放在我们的pycharm中点击chaojiying.py文件，拉在最下面超级鹰用户名是自己的用户名，密码也一样，ID是上面生成的.jpg是图片路径1902就是超级鹰识别的类型2.代码操作#导入模块from selenium.web...

2021-12-23 15:30:20 1010

原创 Python爬虫框架feapder--豆瓣数据抓取

1.安装feapder:2.创建我们第一个feapder爬虫3.写代码import feapderclass FirstSpader(feapder.AirSpider): #给爬虫下发任务 def start_requests(self): for i in range(1, 15): yield feapder.Request('https://movie.douban.com/top250?start={}&amp..

2021-12-17 22:11:31 1139

原创 Python用selenium实现自动登录账号，密码

1.今天的网站是学习通来测试登录2.内容如下（1）.登录网站（2）.找标签我们可以根据id标签找到账号登录入口我们可以根据id标签找到账号密码入口登录标签也可以通过id找到代码如下from selenium import webdriverimport timefrom selenium.webdriver.common.by import Bydriver = webdriver.Chrome()driver.get('') #这个地址输..

2021-12-16 23:14:02 7413

原创 Python爬取链家二手房数据写入csv文件

1.我们常常找到一个网站不知道从何处下手，下面我们分析一下1.先确定这个网站url，有时候你要的数据未必就在网页源代码里，需要抓包等等操作，也有可能js加密，不过先慢慢来2.确定url，接下来就是发送请求，得到数据3.就是解析数据（哪种解析方式方便就用哪种）4.保存数据2.接下来就是代码操作导入要用的模块#链家from lxml import etreeimport csvimport requestsfrom tqdm import tqdm #(这个模块只.

2021-12-15 10:13:42 2877 2

原创 Python+selenium爬取京东数据

今天我们进行selenium对浏览器操作步骤：1.今天的对象京东(JD.COM)-正品低价、品质保障、配送及时、轻松购物！ 2.就是撸代码 3.就没了！！！from selenium import webdriverimport timefrom selenium.webdriver.common.keys import Keys #模拟键盘操作def spider(url,name): driver = webdrive...

2021-12-13 18:10:53 517

原创 Python爬取豆瓣Top250的电影名称，评分，介绍，链接

数据获取地址：豆瓣电影 Top 250 (douban.com)豆瓣界面1.先分析每一页的url地址.2.导入要用的模块3.开始撸代码 (1)doubanUrl ：因为我们要进行多页爬取,先在定义的函数WordParse传入一个url（2）解析数据接下来获取内容4.保存得到的数据(保存的数据也放在一个函数中)5.多页获取(我们这里获取的是十页数据)!!!内容大概就是这样，csv文件中也可以看O...

2021-12-12 11:13:16 2096

原创 Python调用百度API实现动物识别

2.对键盘，图片进行处理3.接下来就是调用百度里面的#上面填写的是下面自己创建的应用https://ai.baidu.com/3.最后，遍历，打印出来的效果以下图片为例OK! 到此结束！...

2021-12-11 11:09:17 1801

原创 Python爬取二手房信息

先确定需求:名称,位置,房源信息,价格(单价,总价),url = 'https://cs.lianjia.com/ershoufang/'1.先导入要用的模块2. 找到网站地址3.解析数据3.保存数据

2021-12-10 17:32:24 1152

weixin_63890705的博客