基础
关注
分享
扫一扫
vitorl_Ch
新入行程序员,以后加油
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark优化
Spark优化总结1.资源调优在部署spark集群时指定资源分配的默认参数(配置文件)spark安装包的conf下spark-env.shSPARK_WORKER_CORESSPARK_WORKER_MEMORYSPARK_WORKER_INSTANCES 每台机器启动的worker数在提交Application的时候给当前的appliation分配更多的资源(liun...原创 2020-01-14 20:23:12 · 317 阅读 · 0 评论 -
spark进阶4
Spark Streamingspark stream是流式计算框架,支持可扩展,高吞吐量,容错的准实时的数据流处理.1.SparkStreaming与storm的区别Storm是实时的流式处理框架,SparkStreaming是准实时的处理框架(微批处理),因为是微批处理,所以SparkStreaming的吞吐量比Storm高Storm的事务机制要相对完善Storm支持动态资源调度(...原创 2020-01-07 21:12:01 · 287 阅读 · 0 评论 -
Spark进阶3
Spark1.spark资源调度分析3大结论在默认情况下(在提交任务的时候没有设置–executor-cores选项),每一个Worker为当前的Application启动一个Executor,这个executor会使用这个Worker的所有cores和1G内存如果没有设置–total-executor-cores,则集群默认将剩余所有的(cores)核数全部分配给applicati...原创 2020-01-02 09:09:36 · 266 阅读 · 0 评论 -
spark进阶2
spark进阶21.Standalone情况下搭建Master的高可用使用fileSystem(文件系统)和zookeeper(分布式协调框架)fileSystem只有储存功能,可以存储Master的元数据信息,搭建高可用的时候,Master失败时,需要我们手动启动另外的备份Master,这个方法不推荐使用zookeeper有选举和存储功能,可以用来存储master的元数据信息,搭建高可...原创 2019-12-30 10:14:18 · 203 阅读 · 0 评论 -
Spark进阶
Spack进阶1.RDD的依赖关系窄依赖(不产生shuffle)父RDD和子RDD的patiition之间的关系是一对一,或者是多对一的关系宽依赖(会有shuffle产生(类似中间结果,会影响计算效率))父RDD和子RDD的patition之间的关系是多对一.宽依赖与窄依赖示意图2.stage过程spark会根据RDD之间的依赖关系,形成一个有向无环图...原创 2019-12-28 11:54:23 · 227 阅读 · 0 评论 -
Spack基础
Spack1.简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有Hadoop MapReduce所具有的优点,但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法2.RDD弹性分布式数据集RDD的五大特性RDD是...原创 2019-12-27 10:42:57 · 3497 阅读 · 0 评论 -
Scala增加
Scala1.trait相当于java中的接口,但比接口的功能要强大与接口不同,可以定义属性和方法的实现可以实现多重继承package com.shsxttrait Write { val name = "zs" val age = 20 def write(): Unit = { println("write....") }}trait Read...原创 2019-12-25 20:59:38 · 164 阅读 · 0 评论 -
Scala
Scala1.数据类型scala相比较以与java语言多出来以下几种数据类型:Unit:表示无返回值,与java语言中的void相同Null:空值或者空引用Nothing:所有其它类型的子类型,表示没有值Any:所有类型的超类,任何实例都属于any类型AnyRef:所有引用类型的超类AnyVal:所有值的超类2.类和对象在scala语言中一行的结尾可以省略分号,若一...原创 2019-12-25 15:54:59 · 172 阅读 · 0 评论 -
Zookeeper
Zookeeper1.数据存储的方式将数据存放在多块磁盘看到能解决IO瓶颈的问题全量备份好处:有效的缓解了IO的问题缺点:不利于数据的扩充对数据进行切片shard好处有效的缓解了IO的问题还可以更多的去存放数据,容量可以扩充缺点当一个节点异常关闭所有的数据都失效DaidRAID的基本思想是将多个容量较小,相对廉价的磁盘进行有机组合,从而以较低...原创 2019-12-10 20:42:54 · 117 阅读 · 0 评论 -
电商日志分析
电商日志分析项目中名词用户/访问不知道是否是本网站的会员,处于未登陆状态表示同一个浏览器代表的用户,唯一标示用户我们可以使用cookie来标识用户,但是不同浏览器cookie之间是不能共享cookie只能代表同一个浏览器代表的客户会员该用户已经登陆了系统可以把会员的信息唯一标识当成这个人会话用户在一段时间内的操作我们可以通过操作来模拟会话,时间,IDP...原创 2019-12-04 20:15:07 · 850 阅读 · 0 评论 -
Hive的自定义函数与优化
Hive的自定义函数与优化1,自定义函数UDF一进一出一次处理一行返回一行UDAF聚合函数一次处理多行返回一行2.数据的分桶分区可以将常用的属性进行分区,会自动创建文件夹然后根据相同分区的数据会放在同一个文件夹中,如果按照分区条件查询,只需要查询指定的文件目录如果分区的数据散列比较好,这时分区就会产生很多个分区,而且每个分区内的数据寥寥无几...原创 2019-12-03 21:19:33 · 207 阅读 · 0 评论 -
Hive
Hive1.数据库的OLTP(联机事务处理)针对数据的事务处理ACID原则(原子性,一致性,持久性,隔离性)描述了数据库当前的状态数据库的隔离级别读未提取读已提取可重复读序列化OLAP(联机分析处理)我们发现分析一些历史数据可以获取利益我们会将以前的数据汇集到一起进行分析于是我们需要建立数据仓库2,数据仓库(Data Warehouse)主要用来存放数...原创 2019-12-03 19:09:50 · 499 阅读 · 1 评论 -
Hbase
Hbase(hadoop database)1.特点费关系型数据库适合存放半结构化或者非结构化的数据高效扩展面向列2.数据结构传统型关系数据库行的主键列HBaseRowKey行的唯一主键默认按照字典序排序设置Rowkey的时候,注意当前数据特点进行设置Column Family列族属于列的一个集合属于列的时候必须列族:列列族最好在声明的...原创 2019-11-29 19:58:20 · 155 阅读 · 0 评论 -
Hbase
Hbase(hadoop database)1.特点费关系型数据库适合存放半结构化或者非结构化的数据高效扩展面向列2.数据结构传统型关系数据库行的主键列HBaseRowKey行的唯一主键默认按照字典序排序设置Rowkey的时候,注意当前数据特点进行设置Column Family列族属于列的一个集合属于列的时候必须列族:列列族最好在声...原创 2019-11-27 14:27:05 · 160 阅读 · 0 评论 -
MapReduce
MapReduce1.简介MapReduce是一种分布式的离线计算框架,是一种编程模型,分为MapTask和ReduceTask两部分.概念:Map(映射)和Reduce(归纳)输入(格式化k,v)数据集—>map映射成一个中间数据集(k,v)—>reduce相同的key为一组,调用一次reduce方法,方法内迭代着一组数据进行计算设计理念(分与合)2.Mapper...原创 2019-11-27 09:08:02 · 137 阅读 · 0 评论 -
HDFS优化
HDFS优化1.HDFS存在的问题NameNode:单点故障,难以运用与在线场景NameNode:压力过大,且内存受限,影响系统扩展性.2.解决问题HAActionNameNode(主节点)接受客户端请求,发送指令工作保存元数据信息:关机之后存放在磁盘里…fsimage保存文件与block的映射保存block与DN的映射:并不会持久化到磁盘里,需要开机启动汇...原创 2019-11-26 21:57:56 · 286 阅读 · 0 评论 -
HDFS
HDFS1.Hadoop的组成部分HDFS:分布式存储系统, – 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务MapReduces:分布式计算系统, – 具有易于编程、高容错性和高扩展性等优点Yarn:分布式资源管理框架.– 负责集群资源的管理和调度2.HDFS数据存储架构字节数组文件都是由字节数组组成的我们可以将字节数组拆分成更小的数组在我们需要的时候,再将字节数组组...原创 2019-11-26 21:29:46 · 189 阅读 · 0 评论 -
linux
linux1.配置虚拟机网络参数vi /etc/sysconfig/network-scripts/ifcfg-eth0linux的基础操作命令dd 删除一整行i 讲文档变成可编辑模式esc 讲可编辑模式变为不可编辑:wq 保存并退出关机:poweroffDEVICE=eth0 //网卡的名称TYPE=ethernetONBOOT=yes 开机自动开启BO...原创 2019-11-12 19:00:30 · 125 阅读 · 0 评论 -
MySql回顾学习第一天
select …(输出) from…(获取数据)where…(过滤)group by…(分组)having…(过滤)order by…(排序)limit…()限定个数执行顺序1.from 2.where 3.group by 4.select 5.having 6.order by 7 limit数据的组织是以表的形式sql相当于语言,可以查询数据库mysql是软件,...原创 2019-10-15 14:53:21 · 234 阅读 · 0 评论 -
第二天
第一个Java代码的编写,Helloworld.java ,注意点1.不能隐藏后缀名,2.类名必须与文件名一致3.正确使用tap键实现缩进环境变量的正确配置为了在任意路劲下都能执行java命令.JAVA_HOME的配置:为了不去频繁的操作pathclasspath的目标是指定class的位置.注释单行注释多行注释文档注释标识符在java中一切起名字的地方就是...原创 2019-05-25 00:06:53 · 90 阅读 · 0 评论 -
第四天,分享一些基础的题目
今天主要分享一些题目吧,某个公司采用公用电话传递数据，数据是四位的整数，在传递过程中是加密的，加密规则如下：每位数字都加上5,然后用和除以10的余数代替该数字，再将第一位和第四位交换，第二位和第三位交换。import java.util.Scanner;//导包public class Jiami{public static void main(String[] args){Scanne...原创 2019-05-27 10:18:40 · 116 阅读 · 0 评论 -
java 学习第一章
Java的DOS命令：盘符+： 指定盘cd+文件夹 打开指定文件夹tap 补缺文件夹名dir 打开指定文件夹下属的子文件&子文件夹cd/ 回到盘符mkdir 新建文件夹rmdir/s/q 删除文件夹cls 清屏exit 退出JDK1.8的安装下载直接安装，会直接...原创 2019-05-23 21:43:44 · 127 阅读 · 0 评论 -
今日分享一些基础理论
第六章方法什么是方法.实现具体功能的代码段.使用方法的好处是:提高代码的复用性.要点:1方法要定义在类中方法外,2.不调用不执行语法要点的两种分为有返回值方法,没有返回值方法.有返回值类型的方法:修饰符 返回值类型 方法名([参数列表]){具体某些功能的代码块;return 返回值;}修饰符:访问权限修饰符.public static默认,返回值类型:方法运行后的结果...原创 2019-05-31 08:49:54 · 108 阅读 · 0 评论 -
第十一天日常更新--内部类&数组
又到了日常更新的时候了,今天还是分享一些基础内容.内部类首先内部类就是类中定义类.如果一个事物的成员也是一个事物,可以使用内部类来定义.它分为5个大的方法1.成员内部类2.局部内部类3.私有内部类4.静态内部类5.匿名内部类(重要)成员内部类内部类定义在外部类的成员位置成员可以使用成员修饰符:public static …来修饰类:可以继承,可以实现接口Outer01$...原创 2019-06-05 20:08:34 · 128 阅读 · 0 评论 -
分享一些小习题
今天在分享一些小习题//方法的调用public class Fangfa {public static void main(String[] args) {// 调用Bijiao函数System.out.println(Bijiao(1, 6, 9));// 调用Bijiao函数System.out.println(Jia(5));// 调用Jiujiu函数Jiujiu(9);...原创 2019-06-12 22:49:42 · 121 阅读 · 0 评论 -
第十四天的日常更新--容器
今天分享一些容器的小知识吧说道容器就要在说一下数组数组:储存多个数据特点:1.定长2.数据类型相同3.有序容器类:存储多个数组collection:容器的父接口set:子接口 无序的不可重复的 List:子接口:有序的可重复的collection有两种遍历方式1.增强For循环|For …each2.迭代器:1.获取迭代某一个容器的迭代器对象2.判断是否存在下一个可...原创 2019-06-17 08:24:55 · 125 阅读 · 0 评论 -
分享几道循环的练习题
今天有感而发,看到下面几道习题,分享一下:1.随机生成5个[1,36]之间的整数作为彩票中奖号码,对生成的数进行判断,不能有重复号码如果出现重复,需要重新生成...原创 2019-06-19 19:01:10 · 166 阅读 · 0 评论 -
第十二天的日常更新--数组
上一次分享了数组的一些小知识,今天接着分享.二维数组二维数组表示的就是在数组中嵌套数组那什么样的类型是二维数组呢?1.数据类型[][] +数组名: int[][] arr;2.数据类型 +数组名[][]: int arr[][];二维数组的初始化;动态初始化:1.数据类型[][] +数组名 = new 数据类型[一维长度][二维长度];—这边表示的是每一位的二维长度是相同的....原创 2019-06-09 13:53:20 · 136 阅读 · 0 评论 -
分享几道数组的练习题.
1.1)随机点名器a.存储一些字符串b.遍历所有的内容c.随机一个字符串d.判断是否存在某个字符串在不在public class Test {public static void main(String[] args) {//首先创建一个数组,存储字符串内容String[] arr={“1”,“2”,“3”,“4”,“5”,“6”,“7”,“8”,“9”,“10”};//遍历所有...原创 2019-06-19 19:02:31 · 116 阅读 · 0 评论 -
第十五天日常更新---多线程
今天接着更新日常一些容器的小知识Map存储键值对 Key-value(K-V)key是无序的,不可重复的----->与set相似value是无序的,可重复的------>与collection相似一个key只能对应一个value(如果想要value对应多个值可以储存在容器中List)存储多个数据的时候,如果key相同,value会覆盖.HashMap–>线程不安全...原创 2019-06-17 08:40:44 · 158 阅读 · 0 评论 -
第九天日常更新---权限修饰符
今天还是回顾一些基础的东西,加深一下自己的印象权限修饰符,它们分为四个权限.一.privateprivate只能在本类中被访问。在其他类中是不能被访问的。二.defaultdefault只能在本包中被访问。三.protectedprotected能被该类的子类所访问（子类可以和父类不在一个包中）也可以被本包中其他类访问。四.publicpublic是访问权限最高的修饰符，可以在...原创 2019-06-03 20:22:36 · 109 阅读 · 0 评论 -
今日分享===数据库
今天分享一点数据库的知识例子.–条件查询: select *|字段名字… from 表名 where 行过滤条件;–执行顺序: from–where–select–查询30部门的员工select * from emp where deptno=30;– 查询员工名字为’SMITH’的员工信息select * from emp where ename=‘SMITH’;–比较条件 = ...原创 2019-06-20 08:36:32 · 194 阅读 · 0 评论 -
第十三天日常更新--常用类
今天就分享一下一些常用类.StringString不可变长的字符序列"abc" 在java程序中所有的字符串常量值(如"abc"),都作为此类的实例实现.其内部是由字符串组表示的.public static final char value [] .String str=“abc”;==============//这代表有1个对象,字符串常量池中 “abc”String str2=ne...原创 2019-06-10 19:48:39 · 128 阅读 · 0 评论 -
第十天的日常更新--抽象方法&接口&设计模式
今天继续更新日常抽象方法首先我们需要了解的是什么是方法.抽象方法就是被abstract修饰的方法就是抽象方法.它是没有方法体的.它必须存在于抽象类中.那什么又是抽象类呢?被abstract修饰的类就是抽象类.它有几个要注意的要点1.抽象类是不能实例的,2.抽象方法是一定要存在抽象类中3.抽象方法一定要被重写才能使用4.抽象类可以存在抽象方法也可以存在实例方法.5.使用抽象...原创 2019-06-04 19:45:40 · 162 阅读 · 0 评论 -
第十六天日常更新--网络编程
今天来分享一些网络编程的小知识IP:定位网络中的不同节点(电子设备:手机,电脑,路由器…)IPV4 4个字节 32位 IPV6特殊的IP:192.168.0.0~192.168.255.255 局域网内部使用127.0.0.1 本地IPlocalhost 本地域名IP和域名: DNS域名解析服务器InetAddress 此类表示互联网协议 (IP) 地址。端口:区分不同软...原创 2019-06-17 00:20:20 · 146 阅读 · 0 评论 -
js日常内容分享
今天分享一些js的内容.JavaScript js是一门客户端脚本语言 ECMAScript(基础语法) JavaScript的核心语法ECMAScript描述了该语言的语法和基本对象 DOM(文档对象模型) 文档对象模型（DOM）—— 描述了处理网页内容的方法和接口 BOM(浏览器对象模型) 浏览器对象模型（BOM）—— ...原创 2019-06-25 08:23:58 · 332 阅读 · 0 评论 -
第十七天分享---反射
今天分享一些反射的小知识反射是一种发生在程序运行期的行为public class ReflectDemo01 { public static void main(String[] args) throws InstantiationException, IllegalAccessException, ClassNotFoundException, IOException { Proper...原创 2019-06-17 16:04:25 · 139 阅读 · 0 评论 -
IO流分享
IO流它的目的就是要跟文件产生联系.流:一个连串流动的数据,管道数据源:=目的地以谁为中心=以程序为中心流的分类:流向:输入流输出流操作单元:字节流字符流功能节点流:直接从数据源到目的地功能流:字节流也叫万能流...原创 2019-06-12 08:45:32 · 173 阅读 · 0 评论 -
数据库分享===jdbc
今天分享一些数据库的知识.jdbc: java database connectivity …java与数据库的连接.JDBC的操作步骤:1.加载驱动(选择数据库)2.获取连接(与数据库连接上)3.处理块(处理执行sql语句):静态处理块4.准备sql语句...原创 2019-06-21 20:01:30 · 136 阅读 · 0 评论 -
分享第八天---关键字
今天有看到一些java关键字的使用,觉得很有意义,也分享一些.static 静态的static修饰变量-----静态变量|类变量,原创 2019-06-02 16:37:26 · 109 阅读 · 0 评论