python全栈开发基础知识学习——Django框架（五、ORM操作）

一、数据库的配置

1 django默认支持sqlite，mysql, oracle,postgresql数据库。
<1> sqlite

        django默认使用sqlite的数据库，默认自带sqlite的数据库驱动 , 引擎名称：django.db.backends.sqlite3

<2> mysql

        引擎名称：django.db.backends.mysql

2 mysql驱动程序

• MySQLdb(mysql python)
• mysqlclient
• MySQL
• PyMySQL(纯python的mysql驱动程序)

3 在django的项目中会默认使用sqlite数据库，在settings里有如下设置：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
    }
}

如果我们想要更改数据库，需要修改如下：

DATABASES = {
    'default':{
        'ENGINE': 'django.db.backends.mysql',
        'NAME':'django_com',
        'USER':'root',
        'PASSWORD':'root'
    }
}

二、Django ORM语法

1.模型之间的三种关系：一对一，一对多，多对多。

         一对一：实质就是在主外键（author_id就是foreign key）的关系基础上，给外键加了一个UNIQUE＝True的属性；

         一对多：就是主外键关系；（foreign key）

         多对多：(ManyToManyField) 自动创建第三张表(当然我们也可以自己创建第三张表：两个foreign key)

2.模型常用的字段类型参数

参数	描述
CharField	字符串字段, 用于较短的字符串.，要求必须有一个参数 maxlength, 用于从数据库层和Django校验层限制该字段所允许的最大字符数.
IntegerField	用于保存一个整数.
FloatField	一个浮点数. 必须 提供两个参数:max_digits（总位数(不包括小数点和符号)）和decimal_places（小数位数）
AutoField	添加记录时它会自动增长
TextField	一个容量很大的文本字段.
BooleanField	用于保存布尔值
EmailField	一个带有检查Email合法性的 CharField
DateField	一个日期字段
DateTimeField	一个日期时间字段
ImageField	校验上传对象是否是一个合法图片
URLField	用于保存 URL

---

具体描述:

<1> CharField
        #字符串字段, 用于较短的字符串.
        #CharField 要求必须有一个参数 maxlength, 用于从数据库层和Django校验层限制该字段所允许的最大字符数.

<2> IntegerField
       #用于保存一个整数.

<3> FloatField
        # 一个浮点数. 必须 提供两个参数:
        #
        # 参数    描述
        # max_digits    总位数(不包括小数点和符号)
        # decimal_places    小数位数
                # 举例来说, 要保存最大值为 999 (小数点后保存2位),你要这样定义字段:
                #
                # models.FloatField(..., max_digits=5, decimal_places=2)
                # 要保存最大值一百万(小数点后保存10位)的话,你要这样定义:
                #
                # models.FloatField(..., max_digits=19, decimal_places=10)
                # admin 用一个文本框(<input type="text">)表示该字段保存的数据.

<4> AutoField
        # 一个 IntegerField, 添加记录时它会自动增长. 你通常不需要直接使用这个字段; 
        # 自定义一个主键：my_id=models.AutoField(primary_key=True)
        # 如果你不指定主键的话,系统会自动添加一个主键字段到你的 model.

<5> BooleanField
        # A true/false field. admin 用 checkbox 来表示此类字段.

<6> TextField
        # 一个容量很大的文本字段.
        # admin 用一个 <textarea> (文本区域)表示该字段数据.(一个多行编辑框).

<7> EmailField
        # 一个带有检查Email合法性的 CharField,不接受 maxlength 参数.

<8> DateField
        # 一个日期字段. 共有下列额外的可选参数:
        # Argument    描述
        # auto_now    当对象被保存时,自动将该字段的值设置为当前时间.通常用于表示 "last-modified" 时间戳.
        # auto_now_add    当对象首次被创建时,自动将该字段的值设置为当前时间.通常用于表示对象创建时间.
        #（仅仅在admin中有意义...)

<9> DateTimeField
        #  一个日期时间字段. 类似 DateField 支持同样的附加选项.

<10> ImageField
        # 类似 FileField, 不过要校验上传对象是否是一个合法图片.#它有两个可选参数:height_field和width_field,
        # 如果提供这两个参数,则图片将按提供的高度和宽度规格保存.     
<11> FileField
     # 一个文件上传字段.
     #要求一个必须有的参数: upload_to, 一个用于保存上载文件的本地文件系统路径. 这个路径必须包含 strftime #formatting, 
     #该格式将被上载文件的 date/time 
     #替换(so that uploaded files don't fill up the given directory).
     # admin 用一个<input type="file">部件表示该字段保存的数据(一个文件上传部件) .

     #注意：在一个 model 中使用 FileField 或 ImageField 需要以下步骤:
            #（1）在你的 settings 文件中, 定义一个完整路径给 MEDIA_ROOT 以便让 Django在此处保存上传文件. 
            # (出于性能考虑,这些文件并不保存到数据库.) 定义MEDIA_URL 作为该目录的公共 URL. 要确保该目录对 
            #  WEB服务器用户帐号是可写的.
            #（2） 在你的 model 中添加 FileField 或 ImageField, 并确保定义了 upload_to 选项,以告诉 Django
            # 使用 MEDIA_ROOT 的哪个子目录保存上传文件.你的数据库中要保存的只是文件的路径(相对于 MEDIA_ROOT). 
            # 出于习惯你一定很想使用 Django 提供的 get_<#fieldname>_url 函数.举例来说,如果你的 ImageField 
            # 叫作 mug_shot, 你就可以在模板中以 {{ object.#get_mug_shot_url }} 这样的方式得到图像的绝对路径.

<12> URLField
      # 用于保存 URL. 若 verify_exists 参数为 True (默认), 给定的 URL 会预先检查是否存在( 即URL是否被有效装入且
      # 没有返回404响应).
      # admin 用一个 <input type="text"> 文本框表示该字段保存的数据(一个单行编辑框)

<13> NullBooleanField
       # 类似 BooleanField, 不过允许 NULL 作为其中一个选项. 推荐使用这个字段而不要用 BooleanField 加 null=True 选项
       # admin 用一个选择框 <select> (三个可选择的值: "Unknown", "Yes" 和 "No" ) 来表示这种字段数据.

<14> SlugField
       # "Slug" 是一个报纸术语. slug 是某个东西的小小标记(短签), 只包含字母,数字,下划线和连字符.#它们通常用于URLs
       # 若你使用 Django 开发版本,你可以指定 maxlength. 若 maxlength 未指定, Django 会使用默认长度: 50.  #在
       # 以前的 Django 版本,没有任何办法改变50 这个长度.
       # 这暗示了 db_index=True.
       # 它接受一个额外的参数: prepopulate_from, which is a list of fields from which to auto-#populate 
       # the slug, via JavaScript,in the object's admin form: models.SlugField
       # (prepopulate_from=("pre_name", "name"))prepopulate_from 不接受 DateTimeFields.

<13> XMLField
        #一个校验值是否为合法XML的 TextField,必须提供参数: schema_path, 它是一个用来校验文本的 RelaxNG schema #的文件系统路径.

<14> FilePathField
        # 可选项目为某个特定目录下的文件名. 支持三个特殊的参数, 其中第一个是必须提供的.
        # 参数    描述
        # path    必需参数. 一个目录的绝对文件系统路径. FilePathField 据此得到可选项目. 
        # Example: "/home/images".
        # match    可选参数. 一个正则表达式, 作为一个字符串, FilePathField 将使用它过滤文件名.  
        # 注意这个正则表达式只会应用到 base filename 而不是
        # 路径全名. Example: "foo.*\.txt^", 将匹配文件 foo23.txt 却不匹配 bar.txt 或 foo23.gif.
        # recursive可选参数.要么 True 要么 False. 默认值是 False. 是否包括 path 下面的全部子目录.
        # 这三个参数可以同时使用.
        # match 仅应用于 base filename, 而不是路径全名. 那么,这个例子:
        # FilePathField(path="/home/images", match="foo.*", recursive=True)
        # ...会匹配 /home/images/foo.gif 而不匹配 /home/images/foo/bar.gif

<15> IPAddressField
        # 一个字符串形式的 IP 地址, (i.e. "24.124.1.30").
<16># CommaSeparatedIntegerField
        # 用于存放逗号分隔的整数值. 类似 CharField, 必须要有maxlength参数.

3.Field重要参数

参数	描述
null	数据库中字段是否可以为空
blank	django的 Admin 中添加数据时是否可允许空值
default	设定缺省值
editable	如果为假，admin模式下将不能改写。缺省为真
primary_key：设置主键，如果没有设置django创建表时会自动加上： id = meta.A
unique	数据唯一
verbose_name	Admin中字段的显示名称
validator_list	有效性检查
db_column，db_index	如果为真将为此字段创建索引
choices	一个用来选择值的2维元组。第一个值是实际存储的值，第二个用来方便进行选择。

---

具体描述:

    <1> null ： 数据库中字段是否可以为空

    <2> blank： django的 Admin 中添加数据时是否可允许空值

    <3> default：设定缺省值

    <4> editable：如果为假，admin模式下将不能改写。缺省为真

    <5> primary_key：设置主键，如果没有设置django创建表时会自动加上：
        id = meta.AutoField('ID', primary_key=True)
        primary_key=True implies blank=False, null=False and unique=True. Only one
        primary key is allowed on an object.

    <6> unique：数据唯一

    <7> verbose_name　　Admin中字段的显示名称

    <8> validator_list：有效性检查。非有效产生 django.core.validators.ValidationError 错误


    <9> db_column，db_index 如果为真将为此字段创建索引

    <10>choices：一个用来选择值的2维元组。第一个值是实际存储的值，第二个用来方便进行选择。
                如SEX_CHOICES= (( ‘F’,'Female’),(‘M’,'Male’),)
                gender = models.CharField(max_length=2,choices = SEX_CHOICES)

4.表(模型)的创建

下面要开始学习Django ORM语法了，为了更好的理解，我们来做一个基本的 书籍/作者/出版商 数据库结构。

表(模型)的创建：
实例：我们来假定下面这些概念，字段和关系

作者模型：一个作者有姓名。

作者详细模型：把作者的详情放到详情表，包含性别，email地址和出生日期，作者详情模型和作者模型之间是一对一的关系（one－to－one）（类似于每个人和他的身份证之间的关系），在大多数情况下我们没有必要将他们拆分成两张表，这里只是引出一对一的概念。

出版商模型：出版商有名称，地址，所在城市，省，国家和网站。

书籍模型：书籍有书名和出版日期，一本书可能会有多个作者，一个作者也可以写多本书，所以作者和书籍的关系就是多对多的关联关系（many－to－many），一本书只应该由一个出版商出版，所以出版商和书籍是一对多关联关系（one－to－many），也被称作外键。

---

创建一个基础HTML框架

----------------------------------------------------base.html-------------------------------------------------------

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
    <style>
        *{
            padding: 0;
            margin: 0;
        }
        .head{
            background-color: cadetblue;
            height: 50px;
            width: 100%;
            line-height: 50px;
            text-align: center;
            letter-spacing: 2px;
        }
        .left{
            float: left;
            background-color: #c5d7dd;
            width: 20%;
            height: 1000px;
            overflow: auto;
            display:block;
        }
        .manage{
            text-align: center;
            padding: 20px 0px;
            margin: 20px 0;
            font-size: 18px;

        }
        a{
            text-decoration: none;
        }
        .content{
            float: left;
        }

    </style>
</head>
<body>
<div class="outer">
    <div class="head">
        <p>欢迎进入图书管理系统</p>
    </div>

    <div class="left">
        <div class="add_book manage">
        <a href="">添加书本</a>
        </div>

        <div class="del_book manage">
            <a href="">删除书本</a>
        </div>

        <div class="mod_book manage">
            <a href="">修改书本</a>
        </div>

        <div class="query_book manage">
            <a href="">查询书本</a>
        </div>
    </div>

    <div class="content">

        {% block  content%}
             <h1>WELCOME TO LOGIN</h1>
        {% endblock %}

    </div>
</div>


</body>
</html>

------------------------------------Book模型-------------------------------------
class Book(models.Model):
    name = models.CharField(max_length=20)
    price = models.IntegerField()
    put_data = models.DateField()
    author = models.CharField(max_length=32,null=False)

5.单表操作

1.创建记录

方式一： 通过模型Book实例化一个对象
def add_book(request):
    b= Book(name = "python基础", price=49, author="Jerry",put_data="2019-08-25")
    b.save()
    return HttpResponse("添加成功")


方式二：    
def add_book(request):
	Book.objects.create(name = "linux基础", price=69, author="Tom",put_data="2019-08-26")

实际上第二种方式在之后的实际应用中会经常使用到，因为我们从用户获取的数据都是通过 form表单或者Ajex的等等，
而这些都是将数据存储成一个个键值对，那么我们通过**dic就可以创建一条数据，使用起来将会更加便捷
		Book.objects.create(**dic)。
这种用法需要保证用户传过来的键值对应该和表单字段一致，否则会报错。

2.修改记录

• django的get方法是从数据库的取得一个匹配的结果，返回一个对象，如果记录不存在的话，它会报错。

• django的filter方法是从数据库的取得匹配的结果，返回一个对象列表，如果记录不存在的话，它会返回[]。

• get得到的是一个model对象；filter得到的是一组model对象，类型是queryset，是一个django定义的，可迭代的，可以当作是一个list操作，每个索引都是一个model对象。 get如果满足的条件大于一个的时候，会报错 #有点类似于如下： get相当与fetchon.

objects.filter()方法

	方式一：
	def update_book(request):
	    Book.objects.filter(author = "Jerry").update(price = 69)
	    print(b)    # <QuerySet [<Book: Book object (2)>, <Book: Book object (3)>]>
	    print(type(b))    # <class 'django.db.models.query.QuerySet'>
	    return HttpResponse("修改成功")
	    
	方式二：
	def update_book(request):
	    b = Book.objects.filter(author = "Tom")
	    b.update(price = 120)
	    return HttpResponse("修改成功")


objects.get()方法
	
	    b = Book.objects.get(author = "Jerry")
	    b.price = 90
	    b.save()
	    print(b)    # Book object (1)
  	    print(type(b))     # <class 'app.models.Book'>

注意点：

• update是QuerySet对象的方法，get返回的是一个model对象，它没有update方法，而filter返回的是一个QuerySet对象(filter里面的条件可能有多个条件符合）

• update方法直接设定对应属性的效率会比较高些，它只会单独修改我们给出的内容，不会修改将其他重新设定。

• save方法会将所有属性重新设定一遍,效率低。所以在以后的使用中，推荐使用update

• 更改某一指定的列，我们可以调用结果集（QuerySet）对象的update()方法,与之等同的SQL语句变得更高效，并且不会引起竞态条件。此外，update()方法对于任何结果集（QuerySet）均有效，这意味着你可以同时更新多条记录update()方法会返回一个整型数值，表示受影响的记录条数。

注意，这里因为update返回的是一个整形，所以没法用query属性；对于每次创建一个对象，想显示对应的raw sql，需要在settings加上日志记录部分

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console':{
            'level':'DEBUG',
            'class':'logging.StreamHandler',
        },
    },
    'loggers': {
        'django.db.backends': {
            'handlers': ['console'],
            'propagate': True,
            'level':'DEBUG',
        },
    }
}

3.删除记录

def del_book(request):
    b = Book.objects.filter(id = 3)
    b.delete()
    return HttpResponse("删除成功")

这种删除方式就是django默认的级联删除。

4.查询记录

任务需求： 查找北京大学出版社所出版的所有书籍

方式一（正向查询）：
        pub_obj = Publish.objects.filter(name = "北京大学出版社")[0]
        res = Book.objects.filter(publish=pub_obj).values("name")
        print(res)

 方式二（反向查询）：
    ---->反向查询就是通过 _set 找到外键关键的主表
        publish_obj = Publish.objects.filter(name = "北京大学出版社")[0]
        res = publish_obj.book_set.all().values("name")    #book_set的原因是publish有可能被多张表进行关联，所以要book_set
        print(res)

    方式三（__双下划线）
        查找北京大学出版社出过的所有书籍
        res = Book.objects.filter(publish__name="北京大学出版社").values("name")
        print(res)

6.多表操作（多对多关系）

多表操作：
    创建多对多的关系：
        author = models.ManyToManyField("Author")
        
    书籍对象它的关联作者： 
        obj = book_obj.authors.all()
    绑定多对多的关系：
        obj.add(*QuerySet)
        obj.remove(author_obj)
    如果需要向第三张表插入值的方式绑定关系，只能手动创建第三张表，但不推荐改方式。

多对多关系表单创建：

class Book(models.Model):
    name = models.CharField(max_length=20)
    price = models.IntegerField()
    put_data = models.DateField()
    author = models.ManyToManyField("Author")
    publish  =  models.ForeignKey("Publish",on_delete=models.CASCADE)
    
    def __str__(self):
        return self.name

class Author(models.Model):
    name = models.CharField(max_length=20)
    age = models.IntegerField(default=18)
    
    def __str__(self):
        return self.name

添加和删除多对多关系：

    author1=Author.objects.get(id=1)
    author2=Author.objects.filter(name='alvin')[0]
    book=Book.objects.get(id=1)
    
    book.authors.add(author1,author2)
    #等同于:
    book.authors.add(*[author1,author2])

	同理有添加方法add()，那么对应的就有删除方法remove()：
    book_obj.author.remove(*author_obj)
    book_obj.author.remove(2)    #该语句的意思是删除author_id为2的作者

多对多关系查询：

需求：查询作者Jerry出的所有书籍。
    res = Book.objects.filter(author__name="Jerry").all().values("name","price")
    print(res)


注意：条件查询即与对象查询对应，是指在filter，values等方法中的通过__来明确查询条件。

7.聚合查询和分组查询

聚合函数的使用

聚合函数的使用： aggregate
在使用聚合函数之前，需要在文件头导入聚合方法：
    from django.db.models import Avg, Min, Max, Count
        
        
# 查询所有书籍的平均价格
ret = Book.objects.all().aggregate(Avg("price"))
print(ret)   #{'price__avg': 80.0}，默认的命名

ret = Book.objects.all().aggregate(book_price = Avg("price"))
print(ret)   #{'book_price': 80.0}

分组查询：

 分组：annotate
  ret = Book.objects.values("author__name")
  print(ret)
  ret = Book.objects.values("author__name").annotate(Sum("price"))
  ret = Book.objects.values("author__name").annotate()
  print(ret)

8.F查询和Q查询

# F 使用查询条件的值,专门取对象中某列值的操作

    # from django.db.models import F
    # models.Tb1.objects.update(num=F('num')+1)


# Q 构建搜索条件
    from django.db.models import Q

    #1 Q对象(django.db.models.Q)可以对关键字参数进行封装，从而更好地应用多个查询
    q1=models.Book.objects.filter(Q(title__startswith='P')).all()
    print(q1)#[<Book: Python>, <Book: Perl>]

    # 2、可以组合使用&,|操作符，当一个操作符是用于两个Q的对象,它产生一个新的Q对象。
    Q(title__startswith='P') | Q(title__startswith='J')

    # 3、Q对象可以用~操作符放在前面表示否定，也可允许否定与不否定形式的组合
    Q(title__startswith='P') | ~Q(pub_date__year=2005)

    # 4、应用范围：

    # Each lookup function that takes keyword-arguments (e.g. filter(),
    #  exclude(), get()) can also be passed one or more Q objects as
    # positional (not-named) arguments. If you provide multiple Q object
    # arguments to a lookup function, the arguments will be “AND”ed
    # together. For example:

    Book.objects.get(
        Q(title__startswith='P'),
        Q(pub_date=date(2005, 5, 2)) | Q(pub_date=date(2005, 5, 6))
    )

    #sql:
    # SELECT * from polls WHERE question LIKE 'P%'
    #     AND (pub_date = '2005-05-02' OR pub_date = '2005-05-06')

    # import datetime
    # e=datetime.date(2005,5,6)  #2005-05-06

    # 5、Q对象可以与关键字参数查询一起使用，不过一定要把Q对象放在关键字参数查询的前面。
    # 正确：
    Book.objects.get(
        Q(pub_date=date(2005, 5, 2)) | Q(pub_date=date(2005, 5, 6)),
        title__startswith='P')
    # 错误：
    Book.objects.get(
        question__startswith='P',
        Q(pub_date=date(2005, 5, 2)) | Q(pub_date=date(2005, 5, 6)))

9.QuerySet的惰性机制

所谓惰性机制：Publisher.objects.all()或者.filter()等都只是返回了一个QuerySet（查询结果集对象），它并不会马上执行sql，而是当调用QuerySet的时候才执行。

QuerySet的使用：
<1>Django的queryset是惰性的

     Django的queryset对应于数据库的若干记录（row），通过可选的查询来过滤。例如，下面的代码会得
     到数据库中名字为‘Dave’的所有的人:person_set = Person.objects.filter(first_name="Dave")
     上面的代码并没有运行任何的数据库查询。你可以使用person_set，给它加上一些过滤条件，或者将它传给某个函数，
     这些操作都不会发送给数据库。这是对的，因为数据库查询是显著影响web应用性能的因素之一。

<2>要真正从数据库获得数据，你可以遍历queryset或者使用if queryset,总之你用到数据时就会执行sql.
   为了验证这些,需要在settings里加入 LOGGING(验证方式)
        obj=models.Book.objects.filter(id=3)
        # for i in obj:
        #     print(i)

        # if obj:
        #     print("ok")

<3>queryset是具有cache的
     当你遍历queryset时，所有匹配的记录会从数据库获取，然后转换成Django的model。这被称为执行
    （evaluation）.这些model会保存在queryset内置的cache中，这样如果你再次遍历这个queryset，
     你不需要重复运行通用的查询。
        obj=models.Book.objects.filter(id=3)

        # for i in obj:
        #     print(i)
                          ## models.Book.objects.filter(id=3).update(title="GO")
                          ## obj_new=models.Book.objects.filter(id=3)
        # for i in obj:
        #     print(i)   #LOGGING只会打印一次

<4>
     简单的使用if语句进行判断也会完全执行整个queryset并且把数据放入cache，虽然你并不需要这些
     数据！为了避免这个，可以用exists()方法来检查是否有数据：

            obj = Book.objects.filter(id=4)
            #  exists()的检查可以避免数据放入queryset的cache。
            if obj.exists():
                print("hello world!")

<5>当queryset非常巨大时，cache会成为问题

     处理成千上万的记录时，将它们一次装入内存是很浪费的。更糟糕的是，巨大的queryset可能会锁住系统
     进程，让你的程序濒临崩溃。要避免在遍历数据的同时产生queryset cache，可以使用iterator()方法
     来获取数据，处理完数据就将其丢弃。
        objs = Book.objects.all().iterator()
        # iterator()可以一次只从数据库获取少量数据，这样可以节省内存
        for obj in objs:
            print(obj.name)
        #BUT,再次遍历没有打印,因为迭代器已经在上一次遍历(next)到最后一次了,没得遍历了
        for obj in objs:
            print(obj.name)

     #当然，使用iterator()方法来防止生成cache，意味着遍历同一个queryset时会重复执行查询。所以使
     #用iterator()的时候要当心，确保你的代码在操作一个大的queryset时没有重复执行查询

总结:
    queryset的cache是用于减少程序对数据库的查询，在通常的使用下会保证只有在需要的时候才会查询数据库。
使用exists()和iterator()方法可以优化程序对内存的使用。不过，由于它们并不会生成queryset cache，可能
会造成额外的数据库查询。