羽翼天宇

Ambari2.5.0与HDP2.6.0集群安装配置1. 环境准备1.1. 关闭防火墙CentOS 6： chkconfig iptables off  service iptables stop  chkconfig --list iptables  CentOS 7： systemctl disable firewalld.service  systemctl stop firewalld.s...

package com.yys.spark.projectimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * 使用Spark Streaming处理文件系统(local/hdfs)的数据  */object FileWordCount {  def ...

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.x...

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.flume.FlumeUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * Spark Streaming整合Flume的第一种方式...

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.flume.FlumeUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * Spark Streaming整合Flume的第二种方式...

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * Spark Streaming对接Kafka的方式一  ...

package com.yys.sparkimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, StreamingContext}import kafka.serializer.StringDecod...

1.架构处理流程图2.日志产生器开发并结合log4j完成日志的输出test\javaLoggerGenerator.javaimport org.apache.log4j.Logger;/** * 模拟日志产生 */public class LoggerGenerator {    private static Logger logger = Logger.getLogger(LoggerGene...

intellij idea 导出可执行jar 最近开始转到intellij idea上做java开发了，尝试下新鲜事物，别人都在用呢。今天写一个java工具时，想打包成可执行的jar文件，发现犯难了，不知道怎么弄，网上搜索一番，总是看的云里雾里的。经...

用虚拟机装CentOS7，使用的NAT的网络模式，为了防止再次启动系统的时候网络IP发生变化，因此设置静态IP和DNS。由于CentOS是最小化安装，没有ifconfig命令，因此可以采用ip命令查看。查看IP分配情况：# ip addr发现里边只有一个LOOPBACK的127.0.0.1的回环地址，原来CentOS刚安装后默认是不启动网络连接的。设置IP和DNS主要在下面的配置文件中修改：# c...

package com.yys.spark.projectimport java.sql.DriverManagerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * 使用Spark Streaming完成词频统计，并将结果写入到MySQL数据库中 ...

package com.yys.spark.projectimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * Spark Streaming处理Socket数据  *  * 测试： nc  */object NetworkWordCount {  d...

win10怎么安装JDK8，怎么配置JDK8的环境变量win10出来了，JDK8也出来了，越来越多的小伙伴想在win10上安装JDk8，可是很多小伙伴对安装与配置JDK8还是不熟悉，为解决安装与配置问题，本文详细说明怎么在win10上安装JDK8，方便小伙伴们快速学会安装与配置JDK。工具/原料windows10jdk-8u51-windows-x64.exe方法/步骤1首先，在百度中搜索“JDK...

win10下安装scala流程及问题第一步：Java 设置检测方法前文已说明，这里不再描述。如果还为安装，可以参考我们的Java 开发环境配置。接下来，我们可以从 Scala 官网地址 http://www.scala-lang.org/downloads 下载 Scala 二进制包(页面底部)，本教程我们将下载 2.11.7版本，如下图所示：下载后，双击 msi 文件，一步步安装即可，安装过程你...

Maven——安装与修改Maven的本地仓库路径一、Maven的下载安装配置1.1、下载官网http://maven.apache.org/download.cgi1.2、安装配置apache-maven-3.3.3-bin.zip解压下载的压缩包1.3、配置环境变量配置环境变量（需要先配置好%JAVA_HOME%环境变量）：查看是否配置成功：  二、本地仓库 2.1、默认本地仓库在系统当前用户目...

package com.yys.spark.kafka;/** * Kafka Java API测试 */public class KafkaClientApp {    public static void main(String[] args) {        new KafkaProducer(KafkaProperties.TOPIC).start();        new Kafka...

package com.yys.spark.kafka;import kafka.consumer.Consumer;import kafka.consumer.ConsumerConfig;import kafka.consumer.ConsumerIterator;import kafka.consumer.KafkaStream;import kafka.javaapi.consumer.C...

package com.yys.spark.kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;/** * Kafka生产者 */public class Kaf...

package com.yys.spark.kafka;/** * Kafka常用配置文件 */public class KafkaProperties {//public static final String ZK =“192.168.0.236”    public static final String ZK = "spark01:2181";    public static final...

package com.yys.spark.projectimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/**  * 使用Spark Streaming完成有状态统计  */object StatefulWordCount {  def main(args:...