littlespider889的博客

大家好，我是天空之城，今天给大家带来小福利，带你使用scrapy框架爬取电影数据存储到mysql数据库中。话不多说，直接上代码。下图是整个scrapy项目的目录结构图首先在中控台建立scrapy工程项目，scrapy startproject douban再创立爬虫 scrapy genspider db douban.com下面是spiders爬虫db.py目录下代码import scrapyimport scrapy, bs4#在Scrapy中，每个爬虫的代码结构基本都如下所示：

mysql数据库锁快速入门数据库锁• 表锁• 行锁• 间隙锁锁是计算机协调多个进程或线程并发访问某一资源的机制表锁(偏读)偏向MyISAM存储引擎,开销小,加锁快;无死锁,锁定粒度大,发送锁冲突的概率最高,并发度低表锁案例建表create table mylock( id int not null primary key auto_increment, name varchar(20))engine myisam;插入数据insert into mylock(nam

存储过程存储过程( Stored Procedure )是为了完成特定功能的SQL语句集,经编译创建并保存在数据库中，用户可通过指定存储过程的名字并给定参数(需要时)来调用执行，类似于编程语言中的方法或函数。存储过程的优点:1.存储过程是对SQL语句的封装,增强可复用性2.存储过程可以隐藏复杂的业务逻辑、商业逻辑3.存储过程支持接收参数,并返回运算结果存储过程的缺点:1.存储过程的可移植性较差,如果更换数据库,要重写存储过程2.存储过程难以调试和扩展3.无法使用Explain对存储过程进行

内容getattr__与__getattribute属性描述符创建元类metaclass属性迭代器与生成器__getattr__和__getattribute__魔法函数• __getattr__是当类调用一个不存在的属性时才会调用getattr魔法函数，他传入的值item就是你这个调用的不存在的值。• getattribute__则是无条件的优先执行，所以如果不是特殊情况最好不要用__getattribute。class User(object): def __init__(se

大家好，我是天空之城。视图是一个虚拟表（可理解为报表）,其内容由select查询语句定义。和真实的表一样,视图也包含行和列,对视图的操作与对表的操作基本一致。视图中的数据是在使用视图时动态生成,视图中的数据都存储在基表中。将sql封装成视图，简化了复杂的查询，更容易理解。可读性重用性安全性视图是一个虚拟表,其内容由select查询语句定义。和真实的表一样,视图也包含行和列,对视图的操作与对表的操作基本一致。 视图中的数据是在使用视图时动态生成，视图中的数据都存储在基表中。视图表的数据变化会影响

大家好，我是天空之城，给大家带来，mysql学习笔记—索引的基本使用1.了解索引及其作用2.熟悉常见的索引|种类3.掌握索引的基本使用4.掌握索引的实战经验索引是一种特殊的数据结构,类似于图书的目录,它能够极大地提升数据库的查询效率。如果没有索引,在查询数据时必须扫描表中的所有记录才能找出符合条件的记录，这种全表扫描的查询效率非常低。```show index from employee\G;查看索引create index idx_name on employee(name);建立索引

感谢博友「Samaritan·J」import smtplib# smtplib 用于邮件的发信动作from email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.header import Headerfrom email.mime.application import MIMEApplication# 处理任意二进制文件if __name__ == '__main_

大家好，我是天空之城，今天给大家带来，mysql学习笔记–索引的使用explain命令可以查看SQL语句的执行计划。当explain与SQL语句- 起使用时，MySQL将显示来自优化器的有关语句执行计划的信息。也就是说, MySQL解释了它将如何处理语句,包括有关如何联接表以及以何种顺序联接表的信息。explain能做什K ?1.分析出表的读取顺序2.数据读取操作的操作类型3.哪些索引可以使用4.哪些索引被实际使用5.表之间的引用6.每张表有多少行被优化器查询explain的使用很简单，

大家好，我是天空之城，今天给大家带来，mysql数据控制语言DCL。sql语言按功能分为四类，DDL DML DQL DCL，DCL用于管理用户和权限。一、用户管理DCL主要能做什么创建用户删除用户修改密码给用户赋予权限撤销用户权限#创建用户CREATE USER '用户名' [@'主机名'] [IDENTIFIED BY '密码'];注意: MySQL的用户账号由两部分组成:用户名和主机名，即用户名@主机名,主机名可以是IP或机器名称，主机名为%表示允许任何地址的主机远程登录

大家好，我是天空之城，今天给大家带来，子查询exists和in的运用。之前的课程中，我们已经学习过运算符IN，它允许我们在WHERE子句中过滤某个字段的多个值。#where子句使用in语法SELECT column name FROM table_ name WHERE column_ name IN(value1, value2, ..如果运算符in后面的值是来源于某个查询结果,并非是指定的几个值,这时就需要用到子查询。子查询又称为内部查询或嵌套查询,即在SQL查询的WHERE子句中嵌入查询语句。

大家好，我是天空之城，今天给大家带来，多线程的创建与查看，这是为后面利用多线程做爬虫做准备的。1.多线程的创建import threadingimport timedef singe(): for i in range(3): print('正在唱歌....') time.sleep(1)def dance(): for i in range(3): print('正在跳舞....') time.sleep(

大家好，我是天空之城，今天给大家带来，表的自连接的运用自连接是一一种特殊的表连接，它是指相互连接的表在物理上同为一张表，但是逻辑上是多张表。自连接通常用于表中的数据有层次结构,如区域表、菜单表、商品分类表等。#自连接语法SELECT A.column, B.columnFROM table A, table BWHERE A.column = B.column;先建表drop table if exists area;drop table if exists area;create t

大家好，我是天空之城，今天给大家带来，巧用python解决汉诺塔问题，只要八行代码解决递归问题。相传在古印度圣庙中，有一种被称为汉诺塔(Hanoi)的游戏。该游戏是在一块铜板装置上，有三根杆(编号A、B、C)，在A杆自下而上、由大到小按顺序放置64个金盘(如下图)。游戏的目标：把A杆上的金盘全部移到C杆上，并仍保持原有顺序叠好。操作规则：每次只能移动一个盘子，并且在移动过程中三根杆上都始终保持大盘在下，小盘在上，操作过程中盘子可以置于A、B、C任一杆上。def hannuotower(num,a,b,c

大家好，我是天空之城，今天给大家带来，python的GUI编程初探，这部分内容真的非常有意思#感谢博友离愁无语说，海天一树Ximport tkinter as tkfrom tkinter import * #导入tkinter库# top=tkinter.Tk()#创建窗口#使窗口停下来，不一闪而去# top.mainloop()#--------------------------------------'''root = tkinter.Tk() #创建窗口compu

大家好，我是天空之城，今天给大家带来，用distinct去除重复数据,支持单列或多列语法SELECT DISTINCT column name, column name(会作用于两个字段，组合去重)FROM table_ name;还是用上次employee表格练习mysql> select distinct sex from employee;+------+| sex |+------+| 男 || 女 |+------+mysql> select di

大家好，我是天空之城，今天给大家带来group_concat的应用场景，当我们用group by进行数据分组之后，我们想知道分组内的具体数据，就需要用到group_concat了。建表链接https://blog.youkuaiyun.com/littlespider889/article/details/106560626group_concat需要和group by联合使用，用于将某一列的值按指定的分隔符进行拼接，mysql默认的分隔符是逗号。语法：group_ concat([distinct] colu

大家好，我是天空之城，今天给大家带来mysql数据库group by和having的使用。group by表示按一定规则对数据进行分组，比如公司想知道每个部门男女员工的人数，班主任想统计各科第一名的成绩。必须配合聚合函数进行使用，如count，sum，avg，max，min，对一列或多列进行分组。建表链接https://blog.youkuaiyun.com/littlespider889/article/details/106560626#group by语法SELECT column_ name, aggr

大家好，我是天空之城，今天给大家带来，mysql数据库查询结果的排序和分页#order by 排序语法SELECT column name1, column name2FROM table name1, table name2ORDER BY column name, column name [ASCIDESC]ASC表示升序排列，DESC表示降序排列默认情况下是升序排列#limit分页语法SEL .ECT column name1, column name2FROM table na

大家好，我是天空之城，今天给大家带来，MySQL常用函数讲解，有兴趣的加群1098016198，纯学习。now()函数，用于返回当前的日期和时间语法select now();示例insert into user((id,name,create_time) values (1,'zhangsan',now());函数date_format()用于指定的格式显示日期和时间。语法select date_format(now(),'%Y/%m/%d %H:%i:%s');示例select nam

大家好，我是天空之城，今天给大家带来MySQL数据库的常用操作命令，where和like子句的用法。大家首先在自己电脑上安装好mysql客户端（不管学习任何东西，一定要亲自动手实践）。win+r输入cmd打开dos命令窗口，输入mysql -h localhost -u root -p回车，再输入密码，进行登陆数据库第一步创建自己的数据库，create database mydb；第二步，show databases;显示所有数据库第三步，use mydb;选择mydb数据第四步，建表empl

大家好，我是天空之城，今天给大家带来，用executemany方法一次性插入MySQL多条数据（2），用字典格式保存数据并存入数据库，注意executemany方法后面的%s写法，与上一篇不同。第一步建立表格。import pymysqlconn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='qwer123456', db='mydb', charset='utf8')cursor = conn.curso

大家好，我是天空之城，今天给大家带来，用executemany()方法一次性插入MySQL多条数据，带你体验飞一般的感觉，注意括号里必须数据格式必须是元组的格式，字典格式好像也可以。第一步，建立表格。这两步可以合二为一。import pymysqlconn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='你的数据库密码', db='mydb', charset='utf8')cursor = conn.cur

大家好，我是天空之城，今天给大家带来用python爬取时光网top100电视剧存入mysql数据库，注意这里有个if条件判断语句，因为有的简介是空值，所以这里加了一个判断。自己先建立表格。import pymysqlconn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='你的数据库密码', db='你的数据库名称', charset='utf8')cursor = conn.cursor()sql

大家好，我是天空之城，今天给大家带来，爬取歌曲信息分别保存为excel文件和MySQL数据库，此处周董可以替换为任意一位歌手，还可以将歌曲信息全部发送到你的邮箱中第一部分，爬取周董歌曲信息分别保存为excel文件import requests, openpyxlwb = openpyxl.Workbook()sheet = wb.activesheet.title = 'geci'sheet['A1'] = '歌曲名' # 加表头，给A1单元格赋值sheet['B1'] = '所属专

大家好，我是天空之城，今天给大家带来用python爬取电影数据并保存进MySQL数据库第一步，先进入MySQL建立数据库和建立存数据的表（在pychram中完成）import pymysqlconn=pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='你的数据库密码',db='你的数据名称',charset='utf8')cursor=conn.cursor()#建立存放电影数据的表doubanfilm6,名字自取s

大家好，我是天空之城。今天给大家带来小福利，用python爬取新闻并发送到邮箱，每天都可以发哦import requests,lxmlfrom bs4 import BeautifulSoupimport smtplibfrom email.mime.text import MIMETextfrom email.header import Headerurl='https://news.sina.com.cn/china/'headers = { 'Referer': 'h

数据管理是数据处理的中心问题，是数据库的核心任务，主要包括对数据进行分类、组织、编码、存储、检索和维护。数据库是按照数据结构来组织、存储和管理数据的仓库。数据库是长期储存在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。根据数据模型的不同，数据库通常被分为层次数据库、网状数据库和关系数据库mysql。说明：对数据库的划分常见的还有另外一种，即关系型数据库和非关系型数据库。像我们