- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark 复习汇总
spark context构建DAG，并根据回溯算法划分stage，把stage发送给TaskScheduler，然后executor向spark context 申请task，TaskScheduler将task发送给executor运行，同时spark context 将应用程序发送给executor，task在executor上执行，运行完释放所有资源。这样划分的stage过程，在同一个stage中，会有多个算子，多个分区能并行执行，形成pipeline，出现错误也只需执行相应分区；
2024-12-19 15:25:02
1103
2
原创 Hive 必知必会
Hive是一个基于Hadoop的数据仓库工具，可以将sql转为MR或Spark任务进行运算，又可以说是MapReduce或Spark sql的客户端；由于直接使用MR进行开发的难度大，学习成本高，所以采用了类sql语法的hive。支持的计算引擎：MR、Tez、Spark，暂不展开。
2024-11-04 16:52:41
1077
原创 Django框架学习--9--final chapter
本篇文章要点：内建用户系统文件上传django-发送邮件项目部署-uwsgi项目部署-nginx1. 内建用户系统django自带一个用户认证系统，他可以处理用户账号、组、权限以及基于cookie的用户会话自建模型类from django.contrib.auth.models import User模型操作-创建用户user = User.objects.create_user(username='',password=''等等)#会自动.
2022-02-04 19:30:00
2346
原创 Django框架学习--8--缓存&中间件
缓存中间件分页生成csv文件缓存是一类可以更快的读取数据的介质或加快数据读取的存储方式，一般用于存储临时数据，常用介质的是读取速度很快的内存。门槛：网速不是问题，主要在后端的数据库中，表多，查询方式不当，from django.shortcuts import renderdef index(request): # 时间复杂度极高的渲染 book_list = Book.objects.all() return render(reques.
2022-01-31 20:00:00
1301
原创 Django框架学习--6--admin&关系映射&保持会话状态
本篇文章要点：1.django提供的admin管理后台2.django中的关系映射3.如何保持会话状态?(cookie和session)
2022-01-27 11:54:03
2119
原创 Django框架学习--5--深入ORM&与数据库的更多交互方式
本篇文章重点概要：1.如何使用ORM框架对数据库进行更、删、改的操作？2.如何使用path转换器和ORM在网页实现对数据库的更改？3.F对象和Q对象4.聚合查询和原生数据库查询1.ORM-查询方法常见查询方法数据库的查询需要使用管理器对象进行，通过MyModel.objects管理器方法调用查询方法，以下提供几种常见的查询的方法:all()方法使用方法：MyModel.object.all() 对应的sql语句：select * from tab...
2022-01-20 21:30:00
1364
原创 Django框架学习--4--分布式路由&ORM基础
django应用及分布式路由模型层及ORM介绍ORM-基础字段及选项1应用在django项目中是一个独立的业务模块，可以包含自己的路由、视图、模版和模型。创建应用1.创建应用文件夹：python3 manage.py startapp 应用名2.注册：settings.py中INSTALLED_APPS配置项添加应用名migration同步迁移文件，__init__.py初始化文件，admin管理后台，models模型层入口，tests测试模块，views视图模块分布式路.
2022-01-18 21:30:00
1340
原创 Django框架学习--3--设计模式&模版层
Django设计模式及模版层模版层-变量和标签 （搭建动态html）模版层-过滤器和继承传统mvc 模型-视图-控制器 （作用： 降低模块间耦合m - 对数据库的封装v - 用于向用户展示结果 （什么样数据需要显示？怎样去显示 ）c - 用于处理请求、回去数据、返回结果（important）django的MTVM-模型层-负责与数据库交互T-模版层-负责呈现内容到浏览器（how to display data）V-视图层- 负责接收请求、获取数据、返回结果（wha.
2022-01-17 15:10:33
2045
原创 Django框架学习--2--路由配置&请求
本篇文章核心内容：1.两种不同的路由配置方法2.post和get请求的相关概念及与浏览器中的交互体现1.一般路由配置的方法settings.py中的"ROOT_URLCONF"指定主路由文件中的urlpatterns配置列表找到文件位置例如在 path('page/2022/', views.page_2022_view) 中会找到后面的视图函数。path()函数 导入方式 from django.urls import path 语法 ...
2022-01-16 18:00:00
781
原创 Django框架学习--1--初步入门
希望通过此博客记录自己学习django的过程，如果文章中存在错误，希望大家不吝赐教。1. 概述 Django框架是一个成熟且功能强大的web开发框架，由模型层、模版层和视图层三大部分构成，当浏览网页的用户发出请求时，会自动调用效应的模块处理请求并返回相应的响应；django框架可以开发大部分与http相关的服务，如网站，微信公众号，小程序等。linux开发环境中与创建项目相关的主要命令打开终端 ctrl+alt+t 创建django项目 djan...
2022-01-13 18:00:00
487
原创 python面向对象学习--2（test）
调用常用的模板来试一下，能促进自己和读者更加清晰的看出本文的重点目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言在学习python时，涉及到异常处理，与当初自己学习java时类似。一、异常处理是什么？在程序运行中，不可避免的会发生一些异常情况，可能来自程序内部，也可能来自外部。为了保证程序正常执行，所以要进行异常处理。二、异常处理方法1.主动解决代码如下：try: 正常的操作excep
2021-11-18 16:58:04
655
原创 python面向对象学习--2
引文：在学习python面向对象的一些基本知识后，一直在思考如何去真正实现的基于Django框架构建一个网站，于是在本次记录中，将从不不同的途径去学习python这门语言的一些其它特性。所以刚开始学习内容可能会有些杂乱，需要自己去慢慢去整理。1.函数nonlocal（局部变量修饰符）修饰的变量必须事先存在，先声明，声明后再换语句赋值；其用于嵌套函数内部使用，表示其中变量不应只属于内部函数。def outter_func(): l_a = 'outside_l_a'...
2021-11-18 13:33:22
714
原创 python面向对象学习--1
面向对象编程的三大特性：封装性，继承性，多态性python创建类的标准格式：class Animal: num=0 #类变量 def __init__(self,aname,acolor): #构造方法 self.name=aname #成员变量 self.color=acolor def show(self): print("名字：{},颜色：{},数量：{}".format(self.name,self.colo
2021-11-06 16:03:05
774
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人