
Scala
微笑_C
专注于数据分析和挖掘相关技术,头像是我老婆,么么哒。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Scala数组
val arr = Array("Scala","Spark") 定义数组如果想要添加元素的话,需要导进一个包import scala.collection.ArrayBufferval arr1 = ArrayBuffer[Int]() 定义一个数组往arr1数组里添加元素arr1 += (1,2,3,4,5)往数组里面添加一个 Array元素arr1 ++原创 2016-11-09 11:33:42 · 653 阅读 · 0 评论 -
https://stackoverflow.com/questions/46895441/error-yarn-applicationmaster-uncaught-exception-java-ut
package bigdata.spark.SparkStreaming.kafka010import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.kafka010.{KafkaUtils, LocationStrategies, OffsetRange}...原创 2018-10-14 09:52:34 · 1181 阅读 · 0 评论 -
5555
Logged in as: dr.who Logs for container_1540265434662_0001_02_000001ResourceManagerRM HomeNodeManagerToolsSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:...原创 2018-10-14 09:51:48 · 1001 阅读 · 0 评论 -
444
package bigdata.spark.SparkStreaming.kafka082import java.sql.Timestampimport bigdata.spark.DaoUtil.MysqlUtilimport kafka.common.TopicAndPartitionimport kafka.message.MessageAndMetadataimport k...原创 2018-10-14 09:50:50 · 352 阅读 · 0 评论 -
3333
package bigdata.spark.SparkStreaming.kafka010import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.{ConsumerSt...原创 2018-10-14 09:50:19 · 2332 阅读 · 0 评论 -
222
package bigdata.spark.SparkStreaming.kafka010;import net.sf.json.JSONObject;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerConfig;import org.a...原创 2018-10-14 09:49:42 · 247 阅读 · 0 评论 -
1111
package bigdata.spark.SparkStreaming.kafka010import java.util.Propertiesimport org.apache.kafka.clients.consumer.{Consumer, KafkaConsumer}import org.apache.kafka.common.TopicPartitionimport ...原创 2018-10-14 09:31:56 · 207 阅读 · 0 评论 -
Scala io操作
1. 读文件scala特有的是scala.io.Source,例如: import scala.io._ Source.fromFile(“cn.scala”,”utf8”).mkString逐行读文件内容: Source.fromFile(new java.io.File(“cn.scala”)).getLines().foreach(println)2. 写文件im...原创 2018-07-23 10:48:39 · 347 阅读 · 0 评论 -
如何对Scala中集合进行排序
scala> val l = List(5,4,3,6,2,1)l: List[Int] = List(5, 4, 3, 6, 2, 1)scala> l.sortedres2: List[Int] = List(1, 2, 3, 4, 5, 6)scala> l.sorted(Ordering.Int.reverse)res3: List[Int] = List(6, 5, 4, 3, 2, 1原创 2017-05-23 17:55:10 · 1736 阅读 · 0 评论 -
scala循环判断
import scala.utll.control.Breaks._ (导入breaks模块)for( i if(i == 4) breakprintln(i)}当i=4的时候跳出循环 这样输出结果只能是1、2、3。原创 2016-11-12 10:36:20 · 240 阅读 · 0 评论 -
sum函数求和
def sum(numbers : Int*) ={ var result =0; for(element 调用这个函数sum(1,2,3,4,5,6)最终会让集合里的数相加 下面延伸一个比较重要的概念上面因为我们传入的是1到5的和,那么我们要计算1到100的和呢?我们可以使用这个语法:sum(1 to 100: _*) : _原创 2016-11-12 10:33:43 · 3399 阅读 · 0 评论 -
scala查看本地文件以及查看网页源码
import scala.io.Sourceobject proce { def main(args: Array[String]) { val file = Source.fromFile("D:\\test.txt") //打印出本机文件内容 //val file = Source.fromURL("http://spark.apache.原创 2016-11-11 15:27:04 · 589 阅读 · 0 评论 -
scala的元组和数组
object ArrayMap { def main(args: Array[String]) {// val pair = (100,"Spark","Scala")// println(pair._1)// println(pair._2) }原创 2016-11-11 15:25:56 · 411 阅读 · 0 评论 -
scala的函数定义、流程控制和异常处理
object scala { // def looper(x : Long, y : Long) : Long = {// var a = x// var b = y// while(a != 0){// val temp = a// a = b % a// b = temp// }// b原创 2016-11-10 17:12:28 · 194 阅读 · 0 评论 -
将json字符串转化为json对象https://elasticsearch.cn/question/3902
import com.google.gson.Gsonimport com.alibaba.fastjson.{JSON, JSONObject}import java.utilobject local { case class User1(id: Long,organization_id: Long,username: String ,role_names: String ,...原创 2018-10-20 15:37:21 · 493 阅读 · 0 评论