- 博客(37)
- 收藏
- 关注
RSS订阅原创 华润集团大数据培训笔记（2）——Hadoop伪分布式部署
Hadoop的分布式部署是将每一个NameNode和DataNode都部署在独立的服务器上，然后做集群。伪分布式部署是将所有NameNode和DataNode部署在同一台机器上。由于有些公司的业务并不是很大（大概一两百万行），或者没有充足的预算配置集群，可以采用伪分布式部署。安装Hadoop系统：Linux系统环境：安装JDK...
2022-03-29 20:22:56
495
原创 华润集团大数据培训笔记（1）——大数据基础
一、大数据是什么？大数据是通过传统数据库技术和数据处理工具不能处理的庞大而复杂的数据集合。大数据不等于数据大一般人认为的数据量大，并不是大数据中的数据量大，例如100万行以内的数据，用EXCEL处理就很好。**注意：EXCEL的处理能力大约为100万行。**最近英国就曾出现用EXCEL处理远大于100万的新冠病例而造成数据丢失的情况。大数据的特征——4V：（1）规模大（VOLUME）。（2）速度快(VELOCITY)——能快速处理的能力，例如：微博每秒3万条、淘宝每分钟5万订单。（3）类型多（
2022-03-20 10:25:35
809
原创 Oracle数据库管理（17）——索引
索引是与表相关的一个可选结构。可以提高SQL语句执行的性能、减少磁盘I/O。索引对于表的作用相当于目录对于书的作用。索引在逻辑和物理上都独立于表的数据。Oracle自动维护索引。索引的分类索引分为：B树索引（平衡树索引）、位图索引。B树索引分为：唯一索引、组合索引、反向键索引、基于函数的索引。创建索引...
2022-01-05 22:37:05
861
原创 Oracle数据库管理（16）——视图
视图以经过定制的方式显示来自一个或多个表的数据。视图可视为“虚拟表”或“存储的查询”。创建视图所依据的表，称为“基表”。视图中是不存放数据的，它只是一个定义，查询视图实际上是从基表中查询数据。视图的优点：A、提供了另外一种级别的表安全性B、隐藏的数据的复杂性C、简化的用户SQL命令D、隔离基表结构的改变E、通过重命名列，从另一个角度提供数据创建视图语法：create [or replace] [force] view 视图名[(列1,列2,......)] as 查询 [with c
2021-12-12 21:41:07
927
原创 Oracle数据库管理（15）——序列
序列是用于生产唯一、连续序号的对象。序列可以是升序的，也可以是降序的。创建序列的语法：create sequence 序列名start with 起始值increment by 增量maxvalue 最大值 //是否有最大值，用于升序序列minvalue 最小值 //是否有最小值，用于降序序列nocycle //是否循环。若循环，在达到最大（小）值时下一个值从起始值开始；若不循环，在达到最大（小）值时停止产生下一个值，若取下一个值则会报错。cache 数值 //内存中预先分配的序
2021-11-30 23:02:02
312
原创 Oracle数据库管理（14）——同义词
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-11-25 21:54:09
584
原创 Oracle数据库管理（13）——表分区
用户可以一张表分成多个分区，在查询时，可以只访问特定的分区。可将不同的分区存储在不同的磁盘，这样可以提高访问性能和安全性。可以独立的备份和恢复每一个分区。一、分区的类型1、9i和10g的分区方法：A、范围分区以表中的一列或一组列的组合的值的范围进行分区语法：partition by range(列名)(partition 分区1 values less than(值1), partition 分区2 values less than(值2), ......);//创建一个学生表，按
2021-11-22 23:20:02
1044
原创 Oracle数据库管理（12）——表
一、表的类型1、普通表表创建时不做任何设置，就是创建的普通表。2、分区表将表分成若干区。分区表可以增大表的存储量。也可以加快查询速度，查询时可以只从某一个分区中查询，而不进行全表扫描。3、索引组织表（IOT）索引组织表与普通表在组织结构上有很大区别。4、簇表经常将2个表做联合查询时，可以将这2个表设置成簇表，这样可以加快查询速度。5、临时表放在临时表空间中的那些表，在用户断开连接时，临时表会全部消失。6、嵌套表表中某一行某一列是另一张表。7、对象表将对象数据类型插入到表中。二、
2021-10-28 22:48:27
448
原创 Oracle数据库管理（11）——Oracle的启动和关闭
一、Oracle11g读取参数文件的顺序Oracle9i之前的版本，只有静态参数文件pfile文件。9i之后的版本，引入了动态参数文件spfile文件。Windows下默认查找参数文件的路径：%ORACLE_HOME%\databaseLinux下默认查找参数文件的路径：$ORACLE_HOME\dbs11g中，启动数据库，按照spfileSID.ora、spfile.ora、initSID.ora、Init.ora的顺序查找。其中SID是服务名，也叫Oracle的系统表示符。二、Oracle的四
2021-10-12 22:52:24
1160
原创 Oracle数据库管理（10）——体系结构
数据库的体系结构是值数据库的组成、工作过程与原理，以及数据在数据库中的组织和管理机制。Oracle服务器提供开放、全面和综合的信息管理，它由Oracle数据可和Oracle实例组成。Oracle数据库是一个数据的集合，该集合被视为一个逻辑单元。Oracle实例是管理数据库的后台进程和内存结构的集合。...
2021-10-10 23:28:50
325
原创 Oracle数据库管理（9）——锁
一、锁锁是数据库用来控制共享资源并发访问的机制。锁用于保护正在被修改的数据，只到提交或回滚了事务之后，其他用户才可以更新数据。1、锁的优点一致性：一次只允许一个用户修改数据完整性：为所有用户提供正确的数据。如果一个用户进行了修改并保存，所有的修改将反映给所有用户。并行性：允许多个用户访问同一数据。一个用户修改表，其他用户可以查看，但不能修改2、锁的类型(1)行级锁对正在修改的行进行锁定。其他用户可以访问其他未被修改的行。行级锁是一中排他锁，防止其他用户修改此行。使用“INSERT”、“
2021-10-07 21:45:18
798
原创 Oracle数据库管理（7）——网络配置
一、服务器需要启动的服务如果通过网络访问服务器，服务器必须启动“OracleOraDb11g_home1TNSListener”和“OracleServiceORCL”服务。如果本地访问服务器，服务器至少需启动“OracleServiceORCL”服务（因为我们安装的数据库名字叫ORCL，故服务这里时ORCL，如果数据库叫别的名字，这里则为相应的数据库名）。...
2021-09-15 22:47:00
1056
原创 Oracle数据库管理（6）——用户和权限管理
一、oracle的默认账户1、sys——主要用来维护系统信息和管理实例数据库中所有数据字典表和视图都存在sys模式中。数据字典表简单的说就是一个数据库中有多少张表、没张表有多少列、每列的属性等。动态视图就是oracle运行时每时每刻的情况。sys用户时数据库中权限最大的用户，类似于root用户在Linux系统中的地位。对数据库的调优主要就是利用sys用户来完成的。2、system——默认的系统管理员system用户拥有oracle管理工具使用的内部表和视图。通常利用system用户管理数据库用户
2021-09-06 22:56:49
1015
原创 Oracle数据库管理（5）——复杂查询语句
1、group by和having语句group by语句用于安装某一列的数据进行分组，通常配合avg()、sum()、count()等分组函数having语句用于group by语句的条件查询select sid,sum(score) from studentscore group by sid; //按照某一列的数据进行分组。例如这里求每个学生的总成绩select sid,avg(score) from studentscore group by sid having(avg(score)&g
2021-09-06 21:34:19
726
原创 Oracle数据库管理（4）——简单函数
一、单行函数单行函数对于表中查询的每一行只返回一个值，可出现在select子语句和where子语句中。1、字符函数函数解释输入例子输出结果initcap(字符串)首字母大写initcap(‘hello’)Hellolower(字符串)所有字母转换成小写字母lower(‘ABC’)abcupper(字符串)所有字母转换成大写字母lower(‘abc’)ABClength(字符串)求字符串长度length(‘abc’)3substr(
2021-07-29 21:59:26
198
原创 Oracle数据库管理（3）——SQL语言
一、SQL语言1、SQL命令分为4种：（A）数据定义语言（DDL）：创建表、删除表、修改表结构（B）数据操纵语言（DML）：增、删、改数据。查数据是否属于DML，不同的人有不同的看法（C）事务控制语言（TCL）（D）数据控制语言（DCL）：授予权限和收回权限2、数据类型（1）字符型常用的有CHAR、VARACHAR2 、LONG。CHAR用于存固定长度的字符串，存储的值为字母数字，可存储的长度为1~2000字节。VARCHAR2用于存不定长度的字符串，存储的值为字母数字，可存储的长度为1
2021-02-03 22:34:12
186
原创 Oracle数据库管理（2）——访问Oracle的工具和sqlpus常用命令
一、常用工具简介1、sqlplus启动sqlplus方式一：从“开始”按如下路径找到“sqlplus”方式二：直接在cmd里输入“sqlplus”2、通过浏览器访问（EM）需要在“服务”中开启“OracleDBConsoleorcl”服务。在浏览器中输入“https://127.0.0.1:1158/em"，点击“高级”，点击“继续访问127.0.0.1（不安全）”输入账号、密码，点击“登陆”3、oracle自带的SQL Developer和第三方数据库管理工具（例如PL SQL
2021-01-14 22:40:04
406
原创 Oracle数据库管理（1）——Oracle11g的安装
从官方网站上下载安装包并解压（步骤省略）一、Windows系统典型安装1、双击setup.exe2、输入电子邮箱地址后点击“下一步”3、选择“创建和配置数据库”后点击“下一步”4、选择“服务器类”点击“下一步”5、选择“单实例数据库安装”点击“下一步”6、选择“典型安装”，点击“下一步”7、输入管理口令后，点击“下一步”8、安装前先决条件检查，如果未通过，可以直接点击确认或者查询百度解决。点击“完成”，开始安装9、安装完成后的界面，最好记住这里的信息。可以点击“口令管理”
2021-01-13 22:38:59
187
原创 微信小程序云开发（2）——在页面显示云数据库的数据
微信小程序创建云函数前的准备工作参考“微信小程序云开发（1）”1、创建云函数右键刚新建的“cloud”文件夹，选择“新建Node.js云函数”我们创建一个计算2个数的和的云函数，取名叫“plus”，等右上角出现云函数上传成功的提示，到后台可以看到刚创建的云函数。在“cloud/plus/index.js”文件里，// 云函数入口文件const cloud = require('wx-server-sdk')cloud.init() //这2行代码是初始化，不要改动// 云函数入口函数
2020-10-14 22:28:22
9927
6
原创 微信小程序云开发（1）——初始化、云数据库基础、云函数基础
微信小程序的注册、微信小程序开发工具的下载等网上有很多资料，我就省略了，直接从云开发初始化开始。在“project.config.json”文件第2行添加"cloudfunctionRoot":"cloud",//云函数的目录在“资源管理器”新建一个同名的目录在“app.js”文件里将onLaunch: function () {}中的内容删除，改为如下内容：onLaunch: function () { wx.cloud.init({ env:"tiaxxxxxxxxxx
2020-10-03 16:52:45
4770
原创 HCNP-路由交换：AAA
AAA提供对用户认证、授权、计费三种功能认证——验证用户是否具备网络访问的权限AAA支持的认证方式有：不认证、本地认证和远端认证授权——授权用户可以访问或使用网络上的哪些服务AAA支持的授权方式有：不授权、本地授权和远端授权计费——记录用户使用网络资源的情况AAA支持的计费方式有：不计费、远端计费AAA可以通过域来对用户进行管理，不同的域可以管理不同的认证、授权和计费方案AAA本地...
2019-10-12 21:18:50
607
原创 HCNP-路由交换：GRE(通用路由封装协议)
IPSec VPN用于在两个端点间提供安全的IP通信，但只能加密并传播单播数据，无法加密并传输语音、视频、动态路由协议信息等组播数据流量。GRE(通用路由封装协议)是一种隧道封装技术，提供了将一种协议的报文封装在另一种协议报文中的机制。GRE可以封装组播数据，并可以和IPSec结合使用，从而保证语音、视频等组播数据的安全。GRE的优点GRE实现简单，对隧道两端设备的负担小；GRE隧道可...
2019-10-10 22:22:45
3695
原创 HCNP-路由交换：PPPoE
DSL(数字用户线路)是以电话线为传输介质的传输技术。人们通常把所有的DSL技术统称为xDSL，x代表不同种类的DSL。目前比较流行的宽带接入方式为ADSL，ADSL是非对称DSL，使用PPPoE(PPP over Ethernet)协议。...
2019-10-09 21:55:21
913
原创 HCNP-路由交换：串口链路、HDLC和PPP
广域网中经常使用串行链路进行远距离传输。串行链路的数据传输方式串行链路没有MAC地址异步传输：异步传输以字节为单位传输数据，并且需要额外的起始位和停止位来标记每个字节的开始和结束。起始位为二进制0，停止位为二进制1。这种传输方式每个字节都需要额外的开销。同步传输：同步传输以帧为单位传输数据，在通信时需要时钟同步本端和对端设备的通信。DCE——数据通信设备，它提供了一个DCE设备和DTE...
2019-10-06 20:24:46
1389
原创 HCNP-路由交换：STP(生成树协议)
为了网络稳定，通常会有冗余链路。但冗余链路会导致环路、广播风暴和MAC表震荡。STP则可以在提高网络稳定性的同时解决这些问题。
2019-09-24 22:43:45
1916
原创 HCNP-路由交换：单臂路由、VLAN路由、VLANIF
不同VLAN间的互通同一VLAN的终端可以互相通信，但不同VLAN间的终端不能二层互通，要想让不同VLAN间的终端互通，需要借助三层路由，目前有以下两种方式实现：在三层交换机上通过VLANIF接口实现；在三层交换机上通过三层以太网接口实现。传统的三层以太网接口不支持VLAN报文，当收到VLAN报文时会当作非法报文而丢弃。为实现不同VLAN间互通，可以在三层交换机上创建三层以太网子接...
2019-09-22 22:36:15
6057
原创 HCNP-路由交换：交换机基础
1. 查看MAC表<Huawei>dis mac-addressMAC address table of slot 0:-------------------------------------------------------------------------------MAC Address VLAN/ PEVLAN CEVLAN Port ...
2019-09-21 16:41:58
1511
原创 HCNP-路由交换：静态路由
1. 最基本的配置拓扑图如下路由器AR1的配置<Huawei>sysEnter system view, return user view with Ctrl+Z.[Huawei]sysname r1[r1]int g0/0/0[r1-GigabitEthernet0/0/0]ip add 10.1.1.254 24Aug 26 2019 22:09:20-08:00...
2019-09-11 15:29:00
1058
原创 HCNP-路由交换：RIP
1. RIP1的基本配置拓扑图如下：AR1的配置：<Huawei>sysEnter system view, return user view with Ctrl+Z.[Huawei]int g0/0/0[Huawei-GigabitEthernet0/0/0]ip add 10.1.1.254 24Aug 31 2019 21:28:13-08:00 Huawei %%...
2019-09-10 22:37:27
628
原创 Linux seq命令详解
seq命令用于产生从起始值到结束值之间、固定增量的所有浮点数。当起始值与结束值相等，则不管增量为任意非零数，都输出起始值。若起始值与结束值不相等，且中间不包含至少一个增量，则输出为空。当增量为负数时，若起始值小于结束值，则输出为空；当增量为正数时，若起始值大于结束值，则输出为空。一、命令基本用法1、只指定结束值seq [选项]... 结束值结束值为小于1的负数、零、正小数，不会报错，但输...
2019-04-04 12:43:43
13206
原创 Django处理404、500页面
1、在templates中添加404.html<h1>404</h1>2、配置setting.py需要把“DEBUG =True” 改为“DEBUG =False”，否则配置的404页面不会生效，这个参数更改后，django会默认当前为生产环境，很多配置会失效，例如会加载静态文件失败，需要添加添加“STATIC_ROOT = os.path.join(BASE_DI...
2019-03-15 12:30:32
2179
原创 Django的ModelForm用法
首先创建Model在models.py文件里from __future__ import unicode_literalsimport datetimefrom django.db import modelsclass Teacher(models.Model): name = models.CharField(max_length=30, ...
2019-03-13 11:42:05
497
原创 django1.11将上传文件/图片的路径变为可访问的URL
首先是Django自带的models下的ImageField和FileField上传文件在setting.py文件MEDIA_URL = '/media/'MEDIA_ROOT = os.path.join(BASE_DIR, 'media')这里介绍两种方式在HTML文件中引用上传的文件，若用后一种方式，则下面的这一步可省略。在settint.py文件的“TEMPLATES”下添...
2019-03-12 17:21:34
1188
原创 Django发送邮件
准备一个发送邮件的邮箱这里以新浪邮箱为例。先申请一个新浪邮箱，登陆之后设置点击右上角的“设置”，选择“客户端pop/imap/smtp”，服务状态默认为“关闭”，这里要选择“开启”。图中画圈的“SMTP服务器”里地址就是django里setting.py要配置的“EMAIL_HOST”这个参数的值。django的setting.py里的参数配置如下：'''SMTP服务器的地址'''EM...
2019-03-11 21:26:28
143
原创 Python3.6+Django1.11用pip安装xadmin时报'gbk' codec can't decode byte 0xa4 in position 3444错的解决方法
直接用pip安装xadmin会报以下错误：pip install xadminComplete output from command python setup.py egg_info: Traceback (most recent call last): File "&lt;string&gt;", line 1, in &lt;module&gt; Fil
2019-03-08 23:02:47
347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人