一、MySQL
1.MySQL字段全部类型:
数值类型 | 整型 |
tinyint,smallint,mediumint int,bigint |
浮点型 | float | |
定点型 | decimal | |
字符串类型 | 常用 | char,varchar |
text类 |
tinytext,text,mediumtext ,longtext | |
blob类 |
tinyblob,blob,mediumblob ,longblob | |
日期时间类型 | 常用 |
year,time,data,datetime, timestamp |
2.数据库概念的混淆:
🔺Oracle数据库:是由甲骨文公司开发的,Oracle数据库在集群技术、高可用性、安全性、系统管理等方面 都有较好性能表现,支持跨平台运行,是目前大型高性能商务数据库的首选。
🔺MySQL是一款开源关系型数据库管理系统,具备体积小、速度快、部署成本低等优点,备受中小型企业 欢迎。
3.再次理清SQL四个分类概念:
1) DDL(Data Definition Language)数据定义语言 用来定义数据库对象:数据库,表,列等。关键字:create, drop,alter 等 (定义)
2) DML(Data Manipulation Language)数据操作语言 用来对数据库中表的数据进行增删改。关键字:insert, delete, update 等 (操作)
3) DQL(Data Query Language)数据查询语言 用来查询数据库中表的记录(数据)。关键字:select, where 等 (查询)
4) DCL(Data Control Language)数据控制语言(了解);用来定义数据库的访问权限和安全级别,及创建 用户。关键字:GRANT, REVOKE 等(控制)
二、Selenium
🔺浏览器对象的方法 :
1.driver = webdriver.Chrome()
2.driver.get(url) # 发送get请求
3.driver.page_source # HTML结构源码
4.driver.page_source.find('字符串') #从html源码中搜索指定字符串,没有找到返回-1
5.driver.quit() # 关闭浏览器
6. js='window.scrollTo(0,{});' driver.execute_script(js) #执行js
7.driver. save_screenshot('baidu.png') #获取快照
8.driver.get_screenshot_as_file('baidu.png') #截图
9.driver.switch_to.frame() #切入表单
10.driver.switch_to.default_content() #切出表单
a=r.find_element_by_id('xxxx') 👇
11.Select(a).select_by_value("xxx")
Select(a).select_by_index(0) #选择下拉框
Select(a).select_by_visible_text("xxx")
🔺节点对象操作
1. a.text 获取文本内容,包含子节点和后代节点的文本内容
2. a.get_attribute('src') 获取属性值
三、Scrapy 框架配置文件
1.settings.py配置文件
1)定义User-Agent USER_AGENT = 'Mozilla/5.0'
2)是否遵循robots协议,一般设置为False ROBOTSTXT_OBEY = False
3)最大并发量,默认为16 CONCURRENT_REQUESTS = 32
4)下载延迟时间 DOWNLOAD_DELAY = 1
5)请求头,此处也可以添加User-Agent DEFAULT_REQUEST_HEADERS={}
6)项目管道,300为优先级,1-1000,数字越小,优先级越高 ITEM_PIPELINES={'项目目录名.pipelines.类名':300}
7)是否启用Cookies,设置为Fasle表示启用 COOKIES_ENABLED = False