ciqingloveless的博客

solr 8.5 单机版整合TOMCAT8.5安装 安装JDK和TOMCAT 自行安装 整合TOMCAT和SOLR 将sorl的webapp复制到tomcat并重命名 # 将solr的app拷贝到tomcat cp -r /app/solr/server/solr-webapp/webapp /app/tomcat/webapps mv /app/tomcat/webapps/webapp /app/tomcat/webapps/solr # 拷贝依赖包到solr项目下 cp /app/solr/serve

最近这两天每天晚上定时任务都无法跑完，而且spark控制节点CPU异常高，超过4000%。 本来想通过java工具或者其他一些辅助工具进行排查，但是4000%下，所有工具基本都没办法获取栈信息，最后只能靠猜解决，下面说下问题解决方案。 问题解决 定位问题SQL过程不在详细描述，下面贴出问题SQL其中一部分解释一下 select count(*) from (select userid, starttime as result, ptime as grouptime from ttt.

/* * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required

项目功能就是封装SparkRestApi，用到了httpclient以及yarnclient，pom如下 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 org.springframework.boot spring-boot-starter-parent 2.2.2.RELEASE com.wisetv sparkprojectma...

应公司需求，需要整合SpringBoot与Spark项目，但是由于依赖包问题，无法打开自己部署的SparkYarn项目的REST Api，所以下面先贴一下pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...

Spark自带的REST 服务 http://spark.apache.org/docs/latest/monitoring.html Github上封装的api的项目， 地址https://github.com/ywilkof/spark-jobs-rest-client

package streaming import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{SparkConf, SparkContext} /** * 这个类...

package streaming import java.io.File import org.apache.spark.streaming._ import org.apache.spark.{SparkConf, SparkContext} import streaming.util.CSVFileStreamGenerator import scala.util.Random /...

/** * 这里讲一下闭包，因为这块不懂后面的东西讲解不了 */ object Ex10_Closure { /** * 什么是闭包（Closure）简单讲，闭包就是指有权访问另一个函数作用域中的变量的函数。 * MDN 上面这么说：闭包是一种特殊的对象。它由两部分构成：函数，以及创建该函数的环境。 * 环境由闭包创建时在作用域中的任何局部变量组成。 * 这种官方的概念是...

package streaming import org.apache.spark.rdd.RDD import org.apache.spark.streaming._ import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable /** * 这个类讲解了一个Spark实现分布式队列的...

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkContext._ import scala.collection.{mutable, Iterator} object Ex5_Partitions { // 打印...

import scala.collection.Iterator import org.apache.spark.rdd.RDD import org.apache.spark.{SparkException, SparkContext, SparkConf} import scala.collection.mutable.ListBuffer object Ex3_CombiningRDD...

这个是一个比较详细的例子，描述一下scala是如何编写代码的，后面会继续编写这个项目的相关例子的讲解 package scalademo object Rational{ /** * 隐式转换，我觉得隐式转换这个功能很重要 * 隐式定义是指编译器为了修正类型错误而允许插入到程序中的定义。例如，如果x+y不能通过类型检查，那么编译器可能会把它改为covert(x)+y， ...

package scalademo import scala.io.Source /** * 这个类就是讲一些关于scala的基本语法，为了保证后面讲解spark的时候不会产生一些比较难于理解的东西，在这里都顺一下 * 我觉得比较难的包括隐式转换，以及逆变我尽量顺一下 * * 知识点： * 1 用object定义的对象是单例的 * 2 当单例对象和某个类共享同一个名字时...

import org.apache.spark.{SparkContext, SparkConf} object Ex4_MoreOperationsOnRDDs { def main(args: Array[String]) { val conf = new SparkConf().setAppName(“Ex4_MoreOperationsOnRDDs”).setMaster(“local[4...

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkContext, SparkConf} object Ex2_Computations { /** * 这个方法就是将信息按照树形模型打印，前面每一级加了一个' ' * @param r * @param depth * @tparam...

这个系列的文档主要是科普一些基础用法，不过分涉及核心原理 import org.apache.spark.{SparkContext, SparkConf} /** * 这个作为本讲解的第一个类，所以会详细讲解，后面用到此处知识的不在重复 */ object Ex1_SimpleRDD { def main (args: Array[String]) { /* ...