- 博客(10)
- 收藏
- 关注
RSS订阅转载 Spark-streaming 基于kafka数据接收两种方式对比
1.1 Receiver-based Approach这种方式利用接收器（Receiver）来接收kafka中的数据，其最基本是使用Kafka高阶用户API接口。对于所有的接收器，从kafka接收来的数据会存储在spark的executor中，之后spark streaming提交的job会处理这些数据。Receiver-based的Kafka读取方式是基于Kafka高阶(high-leve...
2019-04-10 16:03:48
210
转载 Spark2.0测试Streaming与Kafke集合报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误
在工程中新建org.apche.spark包新建Logging.scala类将Logging源码拷贝到类中package org.apache.spark import org.apache.log4j.{LogManager, PropertyConfigurator}import org.slf4j.{Logger, LoggerFactory}import org.sl...
2019-04-09 11:51:20
514
转载 网站流量与性能分析指标——PV、UV、PR、IP、QPS、并发数、吞吐量、响应时间
转载于:https://blog.youkuaiyun.com/st18401238353/article/details/79061032QPS：每秒查询率(Query Per Second) ，每秒的响应请求数，也即是最大吞吐能力。QPS = req/sec = 请求数/秒QPS统计方式 [一般使用 http_load 进行统计]QPS = 总请求数 / ( 进程总数 * 请求时间 )QPS：...
2019-03-30 19:25:30
432
转载 Spark SQL 函数全集
转载:http://blog.youkuaiyun.com/liam08 https://blog.youkuaiyun.com/liam08/article/details/79663018Summaryorg.apache.spark.sql.functions是一个Object，提供了约两百多个函数。大部分函数与Hive的差不多。除UDF函数，均可在spark-sql中直接使用。经过import...
2019-03-29 09:31:01
2120
原创 求解SparkSQL使用join连接两个JSON数据时所遇到的问题
使用join算子将两个数据进行连接时报的错误信息报错信息如下:Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`name`' given input columns: [_corrupt_record]; line 1 pos 40;'Project ['name, 'a...
2019-03-28 01:08:44
1087
翻译 配置hive环境
启动hive时的报错信息java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir...}在hive-site.xml文件添加以下内容<property> <name>system:java.io.tmpdir</name> ...
2019-03-22 23:54:04
271
翻译 使用spark-submit提交程序遇到的配置参数问题
在用spark-submit提交时提示以下报错信息Exception in thread "main" java.lang.IllegalArgumentException: System memory 101384192 must be at least 471859200. Please increase heap size using the --driver-memory option...
2019-03-21 10:43:49
461
转载 hadoop的streaming的参数
stream.num.map.output.key.fields 设置map输出的前几个字段作为keystream.map.output.field.separator 设置map输出的字段分隔符stream.reduce.output.field.separator： reduce中key与value的分隔符stream.num.reduce.output.key.fields： re...
2019-03-07 11:28:37
619
翻译 javascript的一些知识
内嵌式： document.write.("...")； 上面这行相当于java的println语句 外链式：注释：javascript的注释符和java一样也是三个，就不在写了。 ：alert(弹出信息警示框)
2018-01-20 16:32:36
188
翻译 网页的一些标签
表格： 。行， 列。背景颜色，表格边框，表格字间距，表格边框间距；超链接：表单：文本框：密码框：单选按钮：复选按钮：列表：文本域：提交按钮：重置按钮：下拉列表：...optgroup属性：用于定义选项组option属性：size(指定下拉菜单的可见选项数)multiole属性：当值等于m
2018-01-20 16:21:57
495
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人