- 博客(57)
- 收藏
- 关注
RSS订阅原创 python如何使用exifread获取图片的经纬度信息
python如何使用exifread获取图片的经纬度信息废话不多说，直接进主题。先下载exifread包：pip install exifread先看下我们的图片属性直接上代码import exifreadif __name__ == '__main__': f = open("D:\\IdeaPorject\\datasets\\Ir\\DJI_20210927093017_0001_T.JPG", 'rb') contents = exifread.process_file
2022-03-15 11:32:03
2371
原创 R-运算符
运算符是每一门编程语言必不可少的一块重要知识点。R语言中运算符有以下几种：1、算数运算符；2、逻辑运算符；3、赋值运算符；4、关系运算符；5、其他运算符。...
2019-08-07 16:45:01
801
原创 R-变量与类型
变量R语言的变量非常神奇，比较java、python来说A容器没有标签，可以装任何类型的值------------------RB容器一开始就有标签，只能装定义类型的值---------javaC容器用了一次就有了标签，只能装一种类型的值—python这里的标签指的就是变量中’值的类型’有时候R语言可以做到一个变量通吃一整段的代码，当然，我们并不推荐这么做；如果你突然回过头想找之前用过...
2019-08-06 15:23:14
1648
原创 R-认识与安装
在统计分析的路上，R语言越走越远。在这一章，我将为大家初步介绍一下“什么是R？”R 是一种统计分析软件，具有统计分析与制图的功能。支持 Unix，Linux，Windows 和 MacOS 等操作系统相比较其他的统计分析软件（例如SPSS、SAS等），R具有以下特点：1、免费与 开源：可以从其网站和镜像下载任何相关的安装程序、源代码、包和 文档。标准安装文件包含很多模块和内置的统计功...
2019-07-24 17:11:41
484
原创 FLUME-KAFKA-SPARK STREAMING -实时计算框架搭建
首先，我们需要一个模拟实时数据，用来生成日志文件File ctoFile = new File(args[0]); File dest=new File(args[1]); InputStreamReader rdCto = new InputStreamReader(new FileInputStream(ctoFile)); OutputStreamWriter writer=new...
2019-02-17 19:25:38
341
1
原创 HIVE-Hive搭建
文章目录Hive安装mysql安装hiveserver2搭建与可视化客户端安装Hive安装先决条件java1.7及以上hadoop 2.X以上下载地址http://archive.apache.org/dist/hive/下载版本：1.2.1 上传到linux系统并解压tar -zxvf apache-hive-xxxxx创建软连接ln -s apache-hive-1.2...
2019-02-17 10:54:20
620
原创 HIVE-Hive的简单概述
什么是Hive？Hive是一种构建数据仓库的工具。里面有表的概念。在Mysql里从表中插入的数据，会放在磁盘上。再打开这个表的时候，会把磁盘上的数据规整到一个表格里显示。但是计算机不会自己规整成表格，所以在Hive中需要一份元数据这份元数据包括：元数据（行的分隔符（这样在映射成表的时候知道能映射成几行）字段分隔符（这样在映射成表的时候知道能映射成几列）字段的类型字段的名称）...
2019-02-17 10:19:11
324
原创 HBASE-HBase概述
什么是HBase？HBase是一种非关系型数据库(NoSQL)。 “NoSQL"是一个通用词表示数据库不是RDBMS（关系型数据库管理系统），后者支持 SQL 作为主要访问手段。有许多种 NoSQL 数据库: BerkeleyDB 是本地 NoSQL 数据库例子, 而 HBase 是大型分布式数据库。 从技术上来说, HBase 更像是"数据存储(Data Store)” 多于 “数据库(Dat...
2019-02-12 16:22:28
397
原创 HDFS-HA搭建（基于完全分布式）
hadoop HA(高可用)Quorum Journal Manager:以共享活动和备用NameNode之间的编辑日志影响了HDFS集群（导致namenode发生故障）对于计划外事件（例如计算机崩溃），在操作员重新启动NameNode之前，群集将不可用。计划维护事件（如NameNode计算机上的软件或硬件升级）将导致群集停机时间窗口。注意：必须至少有3个JournalNode守护进程...
2019-02-12 14:32:07
502
1
原创 MAP/REDUCE-shuffle流程简单概述
我简单地将shuffle流程分成以下两部分：map task程序会根据InputFormat将输入文件分割成splits，每个split会作为一个map task的输入，每个map task会有一个内存缓冲区，输入数据经过map阶段处理后的中间结果会写入内存缓冲区（环形缓冲区，这个暂时就不深入了），并且决定数据写入到哪个partitioner，当写入的数据到达内存缓冲区的的阀值(默认是0.8...
2019-02-11 11:12:26
498
原创 MAP/REDUCE-map-reduce详解
MapReduce是什么？Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词:一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。MapReduce做什么？MapReduce擅...
2019-02-11 10:34:55
1313
原创 HDFS-剖析文件写入（写流程）
写流程解析public static void main(String[] args) throws Exception { //加载本地指定目录下的文件 InputStream is = new BufferedInputStream(new FileInputStream("D:/123/word.txt")); //获取配置文件 Configuration ...
2019-02-10 15:39:20
621
原创 HDFS-HDFS体系架构
一、体系架构HDFS 采用的是master/slaves主从结构模型来管理数据，这种结构模型主要由四个部分组成：Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNamenode(第二名称节点，辅助Namenode)。一个真正的HDFS集群包括一个Namenode和若干数目的Datanode。Namenode是一个中心服务器，负责管理文件系统...
2019-02-08 11:11:02
4286
原创 HDFS-HDFS的设计理念
HDFS简介首先，什么是HDFS呢？HDFS，即hadoop distributed file system（hadoop分布式文件系统），在非正式文档或旧文档及配置文件中，有时也简称DFS，这都是一样的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX（Portable Operating...
2019-01-24 12:57:47
998
1
原创 HDFS-完全分布式搭建（从伪分布到完全分布式）
请先搭建[伪分布式]文章目录1、克隆虚拟机2、修改主机名3、修改ip地址4、修改ip和主机映射5、验证ssh6、配置hadoop配置文件7、初始化hdfs1、克隆虚拟机关闭要克隆的虚拟机（否则无法进行克隆操作）克隆两台机器选中要克隆的虚拟机->管理->克隆->下一步->下一步->创建完成克隆->下一步->起虚拟机名字->完成2、修改主机名...
2019-01-16 15:28:22
808
1
原创 HDFS-伪分布搭建
文章目录伪分布安装步骤（1）开启sudo（2）修改主机名（3）配置静态IP（4）配置主机与IP的映射（5）修改配置文件（可参照官网）（6）设置免密登录（ssh）（7）初始化namenode伪分布安装步骤（1）开启sudo方便起见，我们在使用linux系统配置伪分布前，可以先配置一下sudo。其作用为，为了单次使用root权限切换到root用户编辑/etc/sudoers复制一次roo...
2019-01-16 13:59:03
430
原创 HDFS-本地模式的搭建
文章目录本地模式安装步骤（1）安装linux操作系统（2）安装java（如果存在系统自带java，请先卸载）（3）安装hadoop本地模式安装步骤（1）安装linux操作系统1.虚拟机VMware-workstation模拟一台计算机硬件环境，可以在此环境下安装操作系统2.虚拟机的安装(1)查询计算机是否禁止使用虚拟技术去bios里查看Inter Virtualizatio...
2019-01-09 10:48:51
950
原创 Hadoop-初识hadoop
hadoop是什么？(1)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。(2)Hadoop就是一个分布式计算的解决方案。Hadoop模块包括common，hdfs，yarn，MapReduce，ozone五个Hadoop Common：支持其他Hadoop模块的常用实用程序。...
2018-12-03 18:34:20
409
原创 MYSQL_视图与索引
视图(view)：视图的分类：索引(Index)：视图(view)： 表的一部分投影，也是数据库里的一个对象。（表的虚拟部分）如何创建视图？格式： create view viewName as subQuery--创建一个表emp的deptno为10的视图create view view_emp_deptno_1...
2018-09-17 08:08:11
2138
原创 MYSQL_分页查询
分页查询：需求：当内次查询的数据量（记录数）比较大，通常一夜显示不下，此时，我们可进行分页查询 关键词：limit 格式：limit begin,size 位于DQL语句最后 begin：记录的开始行数，偏移量 size：每页的最大记录数 注意：limit后可以是一个参数,一个参数时，是指每次最大的查询记录数，limit siz...
2018-09-16 15:09:47
579
原创 MYSQL_约束条件
约束Constraint：序列：约束Constraint：对插入表中字段的数据起到一定的条件限制。约束分五种:主键约束：primary key 要求作为主键的字段的字段值非空且唯一非空约束: not null 要求:有非空约束的字段不可以为null值。唯一性约束:unique 要求有唯一性约束的字段不可以重复，但是可以为nul...
2018-09-16 14:41:30
1383
原创 MYSQL_关联查询
关联查询1、概念：2、等值连接:3、笛卡尔积：4、内连接5、外连接:6、自连接:高级关联查询：1)子查询可以在where子句中2)子查询可以在from子句中3)子查询可以在having子句中4)子查询可以在select字句中，相当于外连接的另外一种写法。关联查询1、概念：当在查询时，我们所需要的数据不在一张表中...
2018-09-16 14:20:33
274
原创 MYSQL_事务控制语言TCL和数据控制语言DCL
事务控制语言TCL:一般情况下事务要符合四个条件(ACID)：关键字：事务的验证步骤：数据控制语言DCL：关键字：格式:1：创建用户2: 显示用户的权限3：授权4：撤销权限:5: 删除用户6: 使权限立即生效：事务控制语言TCL: 有时我们可能需要使用DML进行批量数据的删除，修改， 增加。比如，在一个员...
2018-09-13 08:38:47
670
原创 MYSQL_数据查询语言DQL
数据查询语言DQL：完整格式:where条件子句:(1)null在条件中，应该使用is 或者is not(2)范围查询:针对于某一个字段来说。(3)集合作为条件写法：同一个字段有多个值的情况下使用。(4)模糊查询:like关键字order by排序:去重distinct关键字:group by分组查询与分组函数having子句:数据查询语言D...
2018-09-13 08:24:49
319
原创 MYSQL_数据操纵语言DML
数据操纵语言DML:插入数据: insert删除数据: delete修改数据: updata数据操纵语言DML:插入数据: insert格式： 默认式插入：插入的数据的类型必须与表的字段类型一一对应; insert into tableName values(col1, col2, …);对应字段式插入：插入的数据类型与tabl...
2018-09-06 19:42:02
507
原创 MYSQL_SQL语言的概念及数据定义语言DDL
结构化查询语言SQLDDL:数据定义语言create: 创建表alter: 修改表truncate: 清空表drop: 删除表结构化查询语言SQL 是数据库管理系统用于管理数据库的标准查询语言. 用于对数据库进行定义数据, 操纵数据, 查询数据,事物控制, 数据控制等细分5种语言: 数据定义语言(DDL): Data Dafinitao...
2018-09-06 19:08:32
510
原创 MYSQL_认识数据库
一、数据库的发展史 （1）手工管理：藏书阁，图书馆 优点：分类管理，直观性强 缺点：信息流动慢，不方便 （2）文件管理：计算机的文件系统，图书管理系统 优点：分类管理，层次分明 缺点：查找不方便 （3）数据库管理 优点：存取数据非常方便 ...
2018-09-06 09:38:02
507
原创 java_关于网络编程、套接字编程
网络编程:常用方法:套接字编程ServerSocket类的使用构造器:常用方法:Socket类的使用构造器:常用方法:网络编程: java语言中，提供了一套统一的编程接口，很多细节已经底层化，所以可以无痛的网络通信编程 提供的是Socket套接字技术常用的通信协议TCP(信息传递协议)/IP(地址信息协议):...
2018-09-02 14:46:20
685
原创 java_线程池
线程池线程池的原理Executors的四个常用方法方法1方法2方法3方法4线程池(1)如果每个任务都需要创建线程对象,内存开销大(2)方便管理线程对象线程池的原理 就是一些线程的集合,线程的状态不是死亡状态,当线程池接收到外面的任务时,线程池会查看是否有空闲线程,若有,就会将任务分配给它,任务处于等待队列中...
2018-09-02 14:29:38
277
原创 java_关于生产者--消费者模式
生产者–消费者（–仓库）模式此模式脱离仓库没有意义(1)仓库用来存储数据 (2)仓库不满,生产 (3)仓库满足消费者要求时,消费/** * 仓库类型 */public class Depot{ private static final int MAX_NUM = 100;//仓库容量 private int num;//库存 public Depot...
2018-09-02 08:42:16
286
原创 java_关于线程常用操作及同步锁
线程API:常用构造器:常用方法:线程调度:守护线程:其他堵塞的两个方法同步锁:等待阻塞线程API:常用构造器: Thread(Runnable r) 创建一个指定任务的线程对象 Thread(Runnable r, String name) 创建一个指定任务,指定名称的线程对象 T...
2018-09-02 08:08:52
298
原创 java_认识多线程
了解进程与线程的区别掌握java线程的三种实现方式及其区别继承Thread类实现Runnable接口继承Callable< E >类三种创建线程实现方式的区别了解线程的操作状态了解进程与线程的区别进程:是一个运行中的程序的实例进程的两个特点: (1)是一个实体,都有自己独立的地址空间,分文本区域,数据区域和堆栈,文本区域...
2018-08-31 19:50:39
423
原创 java_关于File类型,递归思想及IO流(文件字节流,缓冲流,数据字节流,对象流,字符流和其子类中的转换流,字符流的缓冲流,System)
一.File类型 java.io.file类型,可以对硬盘上的文件以及目录进行操作,如查看文件/目录的属性信息,创建,删除文件/目录,此类型不能查看,修改文件里的内容,若需要修改,应该使用输入/输出流二.常用构造器:File(String pathname) 指定一个路径,创建一个File对象File(File parent, String child) 在指...
2018-08-26 17:09:25
372
原创 java_关于集合(泛型机制,排序,Set接口及Map接口)
泛型机制: (1)概念: jdk1.5版本开始使用的新特性,本质是进行参数化类型,在类,接口,方法的定义上都可以使用,用来指定数据类型名的(2)集合在定义时,可以泛型机制指定元素的类型,这样编译器在编译期间就可以检查元素类型是否匹配,避免程序在运行时出现过多的错误(3)集合框架中的所有类型(接口,抽象类,实现类)都使用了泛型机制==================...
2018-08-26 14:47:01
485
原创 java_关于集合(Collection接口,List接口及其子类,Iterator迭代器接口)
(一)集合概念:用于存储多个对象的单一对象(容器),存储的数据叫元素.元素都是引用类型 PS:容器内存储的都是对象的地址;用于模拟现实生活中的容器,因此集合类型,不单是一种,有很多类型设计成各种存储的数据结构,这种类型叫做集合框架元素:必须是引用数据类型的数据,不能是基本数据类型的数据,可以是包装类JDK1.5新特性: 1.5前容器可以存储Object的任何子类型,但...
2018-08-19 17:43:40
1122
原创 java_关于日期与时间
日期与时间: 一、java中的时间: (1)java采用标准类库中的date类型时间,使用距离一个固定时间点的毫秒数来表示 (2)固定时间点即纪元(UTC),也就是1970年1月1日0时0分0秒 (3)UTC,GMT都是世界通用的时间格式(javase:标准版本的jdk,即类库为基本类库 javaee:企业版本的jdk,基本类库满足不了企业开发的需求，因此此j...
2018-08-19 13:28:24
365
原创 java_关于正则表达式及包装类
正则表达式: (1)很多时候,我们需要对一些字符进行匹配,查找,替换等复杂的操作.我们需要通过一些表达式进行这些复杂的操作 (2)这个表达式就是正则表达式,是一串特殊意义的字符串,我们可以称之为规则表达式 常用字符集: []:表示匹配括号内的一个字符 [abc]:表示匹配abc任意一个字符 [a-z]:表示匹配a到z中任意一个字符 [0...
2018-08-19 13:19:50
392
原创 java_关于字符串类型及常量池
StringBuilder:可变字符串类型 *(字符串:底层是字符数组,及其对数组的操作) 特点: (1)由final修饰 (2)没有重写equals方法 (3)此类型提供的大多数方法都带有返回值构造器 StringBuilder()构造了一个空的字符串生成器,初始容量为16个字符。 *StringBuilder(String str...
2018-08-14 19:37:54
347
原创 java_关于内部类
内部类: 是定义在一个类的内部的新类型,即内部类,另外一个类称之为外部类根据位置不同可分为成员内部类方法内部类(局部内部类)静态内部类 带static修饰词的类 匿名内部类 没有名称的内部类 不常用的内部类:方法内部类,静态内部类 方法内部类:定义在方法中,相当于局部变量,仅限于在方法中使用,定义时不能使用修饰词,可以直接访问外部类的非静态成员 静...
2018-08-12 18:38:56
262
原创 Java实习项目_俄罗斯方块
项目:经典俄罗斯方块:画面20行10列的方格画面中的最小单元: 一个小方块设计需求分析: 最多有200个方块,这些方块有共同特征,有共同行为, 四个方块为一种方块组合,分别为ZSTOJLI 游戏运行状态:一个方块组合下落, 行为:左右移动,加速下落,旋转 ...
2018-08-12 18:31:56
974
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人