weixin_43203897的博客

package count1import java.net.URLimport org.apache.spark.{SparkConf, SparkContext}/** * 每个学科中子版块的访问量最大的前一名 */object URLCount { def main(args: Array[String]): Unit = { val conf=new Spa...

Sub shouji() '定义分割后的表除表头外有多少行 Dim EveryRow As Integer EveryRow = 100 'bookName : 主工作簿名(temp) Dim BookNameTemp As String BookNameTemp = Windows.Application.ActiveWorkbook....

Nginx—应用及软件–负责接受转发lvs—系统级软件F5—负载均衡器Nginx的安装 编译安装cd /usr/local/srctar -zxvf nginx-1.6.3.tar.gz2.创建对应的用户nginxuseradd nginxyum install gcc pcre-devel zlib-devel3.configure 环境检查预配置../configu...

应用层协议—服务(dhcp, nfs, ftp, ntp, dns)传输层协议—TCP/UDP/http传输层协议：面向连接的：TCP (Transmission Control Protocol 传输控制协议)TCP需要在传输方和接收方之间建立虚链接,建立一个专用的虚拟的连接通道.后续的所有数据都在这个虚拟通道中传输.所以不需要封装额外的信息互联网上百分之95的连接都属于TCP无...

1，vim /etc/nsswitch.conf用户校验,用户解析密码校验,密码解析:组ID校验,组解析::主机名解析:去files本地文件解析2，vim /etc/hosts主机名IP对应关系配置3，查看网卡/IP查看windos：ipconfig查看Linux：ifconfig/ip alo：本地回环网卡:自己ping自己用的eth0：关闭软件：service Netw...

查看监听端口:netstat -tunplnetstat -tunpl | grep dhcpd所有的服务启动文件被储存在/etc/rc.d/intit.d/目录下启动和停止：— start :启动这个服务— stop :停止这个服务— restart :先停止在启动 端口号重新申请,— reload :重载配置文件 端口号不变 只有在服务已经启动的状况下才能使— condres...

忘记root密码:重新挂载根目录mount -o renount.rw /inittab 决定了操作系统默认运行级别7个,最常用3,5,vim /etc/inittab机房安全决定系统安全,系统安全数据库安全查看命令:echo $PATH查看当前系统分区:cat /proc/partitions查看当前系统CPU:cat /proc/cpuinfo运行级别文件:/etc/rc...

RAID原理1.磁盘阵列作为独立系统在主机外直连或通过网络与主机相连。磁盘阵列有多个端口可以被不同主机或不同端口连接。一个主机连接阵列的不同端口可提升传输速度。2.和当时PC用单磁盘内部集成缓存一样，在磁盘阵列内部为加快与主机交互速度，都带有一定量的缓冲存储器。主机与磁盘阵列的缓存交互，缓存与具体的磁盘交互数据。3.在应用中，有部分常用的数据是需要经常读取的，磁盘阵列根据内部的算法，查找出这...

打包压缩打包—> 多个文件变一个文件 —> 减少文件符的创建时间压缩—> 大文件变小文件 —> 传到硬盘的空间小传输的时候也小打包命令: tar -cvf test.tar file1 file2 file3打包压缩(常用):tar -zvxf test.tar.gz file1 file2 file3文件夹打包压缩(把data打包压缩):tar -z...

添加硬盘–> 分区(msdos)–> 创建文件系统(格式化)—> 挂载 --> 自动挂载(fdisk -l) (fdisk) (mkfs.ext4) (mount) (文件)添加硬盘–> 分区(GPT)–> 创建文件系统(格式化)–> 挂载 --> 自...

要初始化Spark Streaming程序，必须创建一个StreamingContext对象，它是所有Spark Streaming功能的主要入口点。A的StreamingContext对象可以从被创建SparkConf对象import org.apache.spark._import org.apache.spark.streaming._val conf = new SparkCon...

创建文件• #touch 文件名称 .... 同时创建多个文件• #touch aaa bbb ccc • [root@localhost ~]# ls• aaa bbb ccc• windows下面文件和目录是可以重名的,后缀不同• 但是Linux下面是不可以的,在已经存在该文件的情况下,使用touch aaa,会更新文件的修改时间• [root@loc...

第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/brs --username root --password 123 --table trade_detail --columns 'id, account, income, expenses'指定输出路径、指定数据分隔符sqoop impor...

Azkaba 内置的任务类型支持 command、javaCommand 类型单一 job 示例1、创建 job 描述文件vi command.job#command.jobtype=commandcommand=echo 'hello'2、将 job 资源文件打包成 zip 文件zip command.job3、通过 azkaban 的 web 管理平台创建 projec...

1、hadoop 各发行版本下载地址:https://hadoop.apache.org/release.html2、Spark的每个稳定版本的安装说明，编程指南和其他文档：http://spark.apache.org/documentation.html3、kaggle论坛:https://www.kaggle.com/discussion4、Oracle软件下载：https:/...

Kafka常用命令查看kafka集群中的topic./kafka-topics.sh -list --zookeeper 192.168.16.100:2181新建一个topic./kafka-topics.sh --create --zookeeper 192.168.16.100:2181 --topic car_event --partitions 1 --replication-...

HDFS基础操作HADOOP文件系统（对文件进行操作）bin hadoop的二进制的执行文件sbin 封装的bin目录的二进制执行文件的脚本，集群管理脚本（start-dfs.sh start-yarn.sh）启动hdfsstart-dfs.shstop-dfs.sh启动yarnstart-yarn.shstop-yarn.sh启动单实例的一个进程（单独启动一个datano...

Navicat mysql 执行任务报错：Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage; increase this mysqld variable and try again在mysql里面查看max_binlog_cache_size大小：show varia...