- 博客(11)
- 资源 (24)
- 收藏
- 关注
原创 jcifs.smb.SmbAuthException: Access is denied.正解
最近在研究smb,在尝试基于java实现smb在windows和linux之间上传和下载功能,在做研究下载功能时,我碰到了以下异常: **jcifs.smb.SmbAuthException: Access is denied** 看了很多博客,五花八门说什么都有,但是我都没尝试成功,后来查看一下**/etc/samba/smb.conf**配置文件: 是不同的:流处理一般需要支持低延迟,Exactly-once保证 ,输入数据流是无界的批处理支持高吞吐,高效处理.输入的数据流是有界的.2):flink程序是由Stream和T...
2018-10-24 14:48:10
623
原创 以Java调用R,并进行画图
上代码package com.fandatsys.dams.core.profiling.types;import com.fandatsys.dams.core.profiling.DatasetColumnChartingProfileType;import com.fandatsys.dams.core.profiling.ProfilingType;import org.apac...
2018-10-23 10:50:55
1467
1
原创 Kafka面试题参考
1.Kafka的设计时什么样的呢?Kafka将消息以topic为单位进行归纳将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.producers通过网络将消息发送到Kafka集群,集群向消费者提供消息2.数据传输的事物定义有哪三种?...
2018-10-23 10:22:50
25530
原创 使用Sparksql计算数据库表中某一列字段的中位数
该方法是基于Sparksql内置函数进行计算我先上代码:dataset和columnName最为参数,columnName是字段名,dataset是什么不说了,首先通过得到columnName字段在dataset中的下标位置,再通过withColumn在dataset表最后添加一列"tmpRowNumber",该列是通过row_number().over(Window.orderBy(col...
2018-10-22 16:16:17
4309
原创 使用Sparksql求数据库表中单列字段中出现次数最高的值,以及出现的次数
该方法是基于Sparksql的内置函数进行计算我先上代码:dataset和columnName作为参数,dataset是什么就不说了,columnName就是我要执行的字段名首先通过dataset.groupBy(columnName)对该字段进行分组,再count(dataset.col(columnName))进行聚合,count中的参数必须是Column类型的,然后通过alias()...
2018-10-22 15:11:55
2438
原创 [Ljava.lang.Object; cannot be cast to [Ljava.lang.String;
在做java的jdbc的时候,我需要将ResultSet的结果保存到集合中,再将集合转换为数组,但是转换为数组后,数组类型变成了Object类型,我需要得到String类型的数组,所以我将它强制类型转换了一下:String[] array = (String[]) areaList.toArray();此时执行就报了[Ljava.lang.Object; cannot be cast to [...
2018-09-18 13:58:29
11434
4
原创 kafka性能优化详解
KAFKA Cluster模式最大的优点:可扩展性和容错性。下图是关于Kafka集群的结构图:一、Kafka Broker个数决定因素二、操作系统优化大部分Linux发布版本默认的内核参数配置能让大部分应用工作的相当好。但对于实际的Kafka broker场景来说,做稍些改变会提升broker性能。主要涉及的配置:虚拟内存、网络和磁盘挂载(用来存储log segment),一般在 /et...
2018-09-18 12:53:04
2270
原创 Spark性能优化详解
Spark性能优化详解1.对集群分配更多的资源 在提交任务时,在–total-executor-cores,–executor-memory,–driver-memory参数上分配 分配cpu core,memory 给executor分配更多的内存,能够减少executor频繁gc,因为一旦发生频繁gc,spark的性能会马上下降 给executor分配更多的内存,会将尽量多的rdd...
2018-08-10 10:32:47
1178
ojdbc14-10.2.0.4.0.jar
2022-09-27
Python机器学习基础教程
2018-11-28
Spark核心技术与高级应用+,于俊等著+
2018-09-14
Oracle10gDBA两日速成经典教程 (1)
2018-07-27
Spark性能优化指南——基础篇 -.pdf
2018-07-27
kafka入门必备手册
2018-07-27
curl-7.47.1.tar.gz
2018-07-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人