- 博客(21)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 快学scala课后答案（1-2章）
第一章 基础1 在REPL模式下输入 3. 然后按tab键。有哪些方法可以被应用？答： [root@bigdata01 bin]# sh scalaWelcome to Scala 2.13.0 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_65).Type in expressions for evaluation. O...
2019-07-24 21:58:50
1044
原创 Redis面试题集锦
Redis面试题集锦什么是redis?答：Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 Reids的特点答： 1、速度快。用C语言实现的，所有数据存储在内存中以键值对形式保存。2、持久化所有数据存储在内存中，对数据的更新将异步地保存到磁盘上。3、支持多种数据结构，支持五种数据结构：S...
2019-07-11 17:28:32
710
原创 一文搞懂MySql命令，先把mysql读薄，然后再读厚
系统命令： 查询mysql版本：select version();表操作命令（增，删，改）： 建数据库： create database <数据库名字>; 创建表： create table <表名> ...
2019-07-05 13:44:28
262
转载 一份珍藏多年的mysql数据库思维导图分享，值得收藏（转自今日头条）
一份珍藏多年的mysql数据库思维导图分享，值得收藏概述下面是收集的一些MySQL体系架构图等，有必要多看多思考，特别适合看过一遍之后，过一段时间再看一遍，对知识回忆很有好处。1、mysql架构2、mysql架构与业务总结3、innodb vs myisam 索引结构4、各个引擎对比5、mysql主从6、mys...
2019-07-05 10:09:55
1240
原创 大数据下利用二次排序的算法实现气象数据的排序
思路：原始数据：（原始数据可以从ncdc的气象数据获取到）年，月，日，温度1901,07,12,2891901,07,13,2671901,07,14,2611901,07,15,2781901,07,16,3001901,07,17,2781932,06,27,3891932,06,28,4001932,06,29,3681932,06,30,3721932...
2019-07-03 14:46:00
1457
原创 hbase基本配置及其各种性能调整参数配置
hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name> <value>/mnt/...
2019-06-26 11:45:21
3006
转载 Hadoop 启动/停止集群和节点的命令
集群启动/停止Hadoop集群：start-all.shstop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKe...
2019-03-13 00:19:05
3224
转载 百度网盘转存返回的错误码
0:成功;-1:由于您分享了违反相关法律法规的文件，分享功能已被禁用，之前分享出去的文件不受影响。;-2:用户不存在;请刷新页面后重试; ...
2019-03-11 11:15:49
14322
1
原创 经典的美国气象数据统计每年最高温spark集群scala命令实现
步骤一： 读取hdfs上存储的气象数据val rddall = sc.textFile("hdfs://hadoop01:9000/ncdc/197*/*")rddall: org.apache.spark.rdd.RDD[String] = hdfs://hadoop01:9000/ncdc/* MapPartitionsRDD[93] at textFile at <console...
2019-03-07 17:02:20
903
原创 HBASE的API操作之put，get
Put类的方法 getRow() 返回创建Put实例时所指定的行键 getRowLock() 返回当前Put实例的行RowLock实例 getLockId() 返回使用rowlock参数传递给构造函数的可选的锁ID,当未被指定时返回-1L setWriteToWAL() 允许关闭默认启用的服务端预写日志（WAL)功能 getWri...
2019-01-28 15:46:37
1591
转载 hadoop之HAR文件操作命令
1.hadoop Archive的作用是什么？2.怎么使用hadoop Archive？3.怎么查找Archive文件？4.怎样解压Archive文件？5.本文还介绍了哪些命令？概述所有的Hadoop命令都通过bin/hadoop脚本调用。在没有任何参数的情况下，运行Hadoop脚本将打印该命令描述。[Bash shell] 纯文本查看 复制代码? 01 02 ...
2019-01-15 09:34:52
6972
转载 Hadoop小文件存储方案
Hadoop小文件存储方案HDFS总体架构在介绍文件存储方案之前，我觉得有必要先介绍下关于HDFS存储架构方面的一些知识，在对架构有初步了解后，才会明白为什么要单独针对小文件展开介绍，小文件存储和其它文件存储区别在什么地方。这里我只是就Hadoop生态中的存储层展开介绍，对于其它部分本文暂未描述。众所周知，HDFS是目前非常流行的分布式文件存储系统，其逻辑架构如下图所示：HDFS也...
2019-01-14 23:02:41
807
转载 MongoDB基本命令用
MongoDB基本命令用MongoDB基本命令用 成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令：show dbs:显示数据库列表 show collections：显示当前数据库中的集合（类似关系数据库中的表） show users：显示用户use <db name>：切换当前数据...
2018-07-18 16:37:25
234
转载 mongodb的安装和启动
mongodb的安装和启动1.在mongodb的官网上下载安装包https://www.mongodb.com/download-center选择对应你的系统的安装包下载如果下载不了 可以使用这个链接下载http://dl.mongodb.org/dl/win32/x86_642.解压安装包在d盘中，为了之后方便，对文件夹命名的时候尽量简单3.在你的mongoDB中...
2018-07-18 13:54:37
281
原创 Hadoop 文件操作常用的命令
hdfs fsck / -files -blocks 列出文件系统中各个文件由哪些块组成 hadoop fs -ls . 列出hdfs文件的所有文件，不递归目录hadoop fs -lsr / hadoop fs -ls -R / (规范写法) 递归查看指定目录下的所有内容 hadoop fs -cp /dir01/1.txt /dir02 将HDFS上 /...
2018-03-15 10:57:06
8805
原创 hadoop分布式文件系统常用配置参数
文件系统： hdfs fsck / -files -blocks 显示文件的块信息 hadoop-env.sh (脚本中要用到的环境变量，以运行hadoop) JAVA_HOME 设置java环境变量，例如export JAVA_HOME=/usr/software/jdk1.8.0_65 HADOOP_HEAPSIZE 设置hadoop为各...
2018-03-08 11:20:31
1390
转载 Hadoop集群配置
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了...
2018-03-07 14:48:59
286
原创 zookeeper集群（以3台主机为例）搭建实例
下载可用的zookeeper程序，上传至linux主机，解压缩% tar –zxvf zookeeper-3.4.7.tar.gz 设置环境变量，将目录指向新解压的路径 export ZOOKEEPER_HOME=~/usr/software/zookeeper-3.4.7export PATH=$PATH:$ZOOKEEPER_HOME/bin 然后修改配置文件 ZOOKEEPER_HOME/c...
2018-02-02 17:22:40
1402
原创 liunx下vim最常用的快捷键总结
Linux下的vim编辑器常用命令： K上移h左移 l右移 J下移 Ctrl+F 下翻一页Ctrl+B 上翻一页 Shift+g 移动到缓冲区最后一行num+Shift+g移动到缓冲区的第num行gg 移动到缓冲区的第一行 x 删除当前光标的位置的字符dd删除光标所在的行dw
2017-11-02 22:35:09
398
原创 centos6.5系统下如何修改时区
Linux下修改时区：[root@bogonetc]# dateThu Nov 2 01:59:16 Asia 2017 //时间不对，差在时区上 使用如下命令，导入配置文件[root@bogon ~]#export TZ='Asia/Shanghai' //TZ名字自己定，新增一个环境变量[root@bogon ~]#source ~/.bashrc
2017-11-02 14:23:10
3621
原创 elasticsearch安装需要注意的事项
elasticsearch5.5安装在centos7，开始使用centos6.5会提示linux内核太低，无法安装；在centos6.5版本上安装elasticsearch1.x的版本无问题，其他版本没有尝试。elasticsearch安装需要用非root用户，如果root用户下，是不允许启动的；在linux下使用adduser命令新建用户并登陆即可。elasticsearch
2017-10-27 14:22:30
765
美国ncdc官网气象数据集1945至1947年数据
2019-07-03
美国ncdc官网气象数据集1943至1944年数据
2019-07-03
美国ncdc官网气象数据集1901至1942年数据
2019-07-03
c语言例程大全，帮你学习c编程
2009-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人