- 博客(28)
- 收藏
- 关注
RSS订阅原创 python-numpy模块学习-常用语法(一)
import numpy as npimport matplotlib.pyplot as pltimg_arr = plt.imread('./1.jpeg')# 显示图片plt.imshow(img_arr)# 图片调整颜色-100arr = arr - 100plt.imshow(arr)# 显示图片角度 像素 像素 颜色 (700, 700, 3)arr.shape# 数组角度反转 [行,列,颜色]plt.imshow(arr[::-1,::-1,:])# 图片裁
2021-07-18 15:58:50
280
原创 python爬虫入门学习12-scrapy-东莞阳光热线问政-2021-07
# 爬虫类from scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom sunPro.items import SunproItem, SunDetailItemfrom selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.chrome.
2021-07-04 22:42:10
777
原创 python爬虫入门学习11-scrapy-网易新闻-2021-07
import scrapyfrom selenium import webdriverfrom new163Pro.items import New163ProItemimport timeclass New163Spider(scrapy.Spider): name = 'new163' # allowed_domains = ['news.163.com'] start_urls = ['https://news.163.com/'] models_url_lis
2021-07-04 22:32:57
245
原创 python爬虫入门学习10-scrapy-站长之家图片爬取
class ImgSpider(scrapy.Spider): name = 'img' start_urls = ['https://sc.chinaz.com/tupian/'] # 爬虫处理方法 def parse(self, response): div_list = response.xpath('//*[@id="container"]/div') for div in div_list: # 图片懒加载
2021-07-04 22:26:21
258
原创 python爬虫入门学习9-selenium+超级鹰12306模拟登录过验证码
from util import chaojiying_util as cuimport timefrom selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver import ChromeOptionsfrom PIL import Imagedef calx
2021-07-02 22:38:53
200
原创 python爬虫入门学习8-xpath-pearvideo-视频批量下载-线程池
import requestsfrom util import headers_utils as hd, download_util as dufrom lxml import htmlimport randomimport jsonfrom multiprocessing.dummy import Pool# 下载方法 配合线程池def batch_download(dict): file_path = dict['file_path'] file_name = dict[
2021-06-27 20:27:19
582
原创 python爬虫入门学习7-xpath-chinaz-简历爬取下载-retry
import requestsfrom util import headers_utils as hd, download_util as dlfrom lxml import htmlimport osif __name__ == '__main__': page_num = 744 # 总页数 懒得也逻辑查了 这里自己下载前到网站上确认下 dir_path = './resume' # 文件夹不存在则自动创建 if not os.path.exists(dir_
2021-06-26 22:18:29
292
2
原创 python爬虫入门学习6-xpath-netbian-图片爬取
import requestsfrom lxml import htmlimport osif __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36', } url = .
2021-06-26 18:12:16
173
原创 python爬虫入门学习5-xpath-52ershoufang
from lxml import htmlimport requestsif __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36', } # 获取网页 url = 'h
2021-06-26 17:19:05
176
原创 python爬虫入门学习4-诗词名句网-BeautifulSoup
from bs4 import BeautifulSoupimport requestsif __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36', } url = 'http
2021-06-26 17:14:43
208
原创 python3 操作es简单学习
ES和Mysql对应关系关# 连接eses = Elasticsearch(["127.0.0.1"], http_auth=('es_service', ''), port=9200)# 插入数据,index，doc_type名称可以自定义，id可以根据需求赋值,body为内容 如果不指定 id，会自动生成一个 iddef index(database, table, id, doc): # return es.index(index=database, doc_type=table,
2021-06-26 17:09:27
1109
原创 python3 flask上传excel xls文件到后台并解析
前端代码<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><div> <form method="post" enctype="multipart/form-data" action="http://127.0.0.1:50
2021-04-25 11:04:44
2811
3
原创 python爬虫入门学习3 批量爬取小说并生成文件
#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:Evolve Hsu@file:thread_book.py@time:2021/03/26"""import reimport urllibimport threadingfrom urllib import request, error # 制定URL 获取网页数据from bs4 import BeautifulSoup # 网页解析 获取数据import sqlite3
2021-03-28 17:53:07
1186
3
原创 python爬虫入门学习2 -使用urllib,BeautifulSoup及sqlite3 练习小学爬取某新笔X阁
闲来没事 刚学了爬虫 尝试用某笔X阁练手 初学者水平#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:Evolve Hsu@file:thread_book.py@time:2021/03/26"""import urllibimport threadingfrom urllib import request, error # 制定URL 获取网页数据from bs4 import BeautifulSoup # 网页解析 获取数
2021-03-27 18:00:26
319
原创 python爬虫入门学习笔记
python爬虫入门学习笔记在B站学习python爬某瓣top250的入门笔记最终代码在B站学习python爬某瓣top250的入门笔记2021-03-21 从B站学习了爬虫的基础知识 并记录.本次学习爬虫用到3个包 分别是:urllib, bs4和sqlite3urllib 用来执行对网页的请求并获取响应信息# GET 请求html = urllib.request.urlopen("http://www.baidu.com")print(html.read().decode("utf-8
2021-03-21 23:35:12
423
2
原创 web前端基础笔记6Bootstrap
网页布局的两种容器布局的两种容器的类样式名说明container表示固定宽度，在不同的设备上有不同的固定宽度container-fluid在所有的设备上都是以100%占全屏说明： container固定宽度随着浏览器变化而改变，到一定程度就变为100%宽度。 container-fluid，100%宽度 ，无论浏览器页面什么样，始终100%宽度。基本写法 栅格系统描述 &nb...
2018-10-19 21:38:29
518
原创 web前端基础笔记5JQuery(下)
属性的操作：val、text、html方法名描述val()获得表单元素value属性的值。val("设置的值")给表单元素的value属性设置值。html()获得元素的html代码，如果有标签，一并获得。html("设置的值")设置元素的html代码，如果有标签，将进行解析。text()获得元素的文本，如果有标签，忽略。text("设置的值")设置文本，如果含有标签，不进行解析。原样输出。&nbs...
2018-10-19 21:35:59
264
原创 web前端基础笔记4JQuery(上)
引入jQuery库语法：<script src="js/jquery-1.11.0.js" type="text/javascript" ></script>基本语法：jQuery（“选择器”） $（“选择器”） //获得input文本框对象var oT= $("#username");//id选择器使用格式#id
2018-10-19 21:34:55
217
原创 web前端基础笔记3Javascript(下)
DOM对象中的属性、方法 标签属性的操作：属性名 &
2018-10-19 21:31:57
268
原创 web前端基础笔记2Javascript(上)
ECMAScript： JS的核心，规定了JS的语法 和 词法。DOM：Document Object Model 文档对象模型 主要用来跟网页打交道的。可以把整个网页看作为DOM的对象。提供访问和操作网页内容的方法。BOM：Browser Object Model 浏览器对象模型 主要用来跟浏览器打交道的。提供与浏览器交互的方法。JavaScript的作用1....
2018-10-19 21:30:32
278
原创 web前端基础笔记1HTML
&lt;!--整个页面的根标签，一个页面只需要一个，由头和体组成。--&gt;&lt;html&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;!--头标签，用于引入脚本、导入样式等。一般情况下头标签的内容在浏览器端都不显示。--&
2018-10-19 21:26:42
249
原创 JDBC笔记整理3(数据库连接池与DRUID).md
1.)连接池原理说明：以前使用的jdbc的缺点： 1、操作数据库都需要创建连接，操作完成还需要关闭连接 2、创建连接和关闭连接需要可能比执行sql需要的时间都长 3、一个网站需要高频繁的访问数据库，如果短时间频繁的访问数据库服务器， 就容易造成服务器的宕机，即死机。数据库连接池结构: 首先创建一定数量的连接，然后放到指定的地方。当我们需要获取连接的时候，直接从指定的...
2018-10-04 14:08:05
567
原创 JDBC笔记整理2(JDBC高级开发事务).md
1)事务管理1.1事务概述 事务指的是逻辑上的一组操作,组成这组操作的各个单元要么全都成功,要么全都失败. 事务作用：保证在一个事务中多次操作数据库表中数据时,要么全都成功,要么全都失败.1.2 mysql事务操作sql语句描述start transaction;开启事务commit;提交事务rollback;回滚事务操作：– MYSQL...
2018-09-28 15:21:42
276
原创 JDBC笔记整理1(JDBC的常用类和接口).md
JDBC的常用类和接口DriverManager :数据库驱动管理类。这个类的作用： 1）注册驱动; 2)创建java代码和数据库之间的连接，即获取Connection接口;Connection: 是一个接口, 建立数据库连接的一个接口。 作用：建立数据库和java代码之间的连接。Statement(接口)、PreparedStatement(接口) 作用:(...
2018-09-27 20:29:14
428
原创 mysql笔记整理3(多表查询).md
多表查询primary key; --主键auto_increment int; --类型自增笛卡尔积select * from a,b; --直接查询会造成笛卡尔积–例如 id name id1 price– 1 苹果 1 2.3– 2 橘子 1 2.3– 3 香蕉 1 2.3– 1 苹果 2 3.5– 2 橘子 2 3.5– 3 香蕉 2 3.5–...
2018-09-25 18:03:13
356
原创 mysql笔记整理2(聚合函数).md
SQL 中的聚合函数 (统计次数)语法：select sum(列名) ,sum(列名) ,…from 表名;select count() from 表名 统计表中的行数。select count(列名) from 表名 按具体列来进行统计行数。select count() from 表名 where 条件判断 按具体符合条件的列来进行统计行数。sum 函数 (求和)语法...
2018-09-25 17:57:11
314
原创 MYSQL笔记整理1(增删改查).md
数据库简单入门代码学习(增删改查)查======================================show databases 查看所有的库(先看看有什么好删的库)show tables 查看数据库中所有的表(先进库 后查表)select * from 表名 查看表里所有的列select database() 查看正在哪个库里desc 表...
2018-09-24 14:24:43
684
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人