- 博客(71)
- 收藏
- 关注
RSS订阅原创 SnowFlake 生成的id超过js的最大值
snowflake生成的类是229074432025563136 大于 9007199254740991 ,导致后端更新的时候，无法更新内容。解决方案：写一个 JSON 配置类，将 Long 类型序列化成 JSON 的时候自动转为 String 类型。
2022-09-25 11:40:20
845
原创 Redis ---Springboot Injection of resource dependencies failed； nested exception is xxx
这边自己封装了一个叫RedisTemplateDao，导致在查找RedisTemplate Bean的时候由于前缀匹配而报错Springboot Injection of resource dependencies failed;将前缀修改一下，发现就没有问题了。有可能是因为前缀的原因。......
2022-09-01 00:03:18
656
原创 NoSuchBeanDefinitionException: No qualifying bean of type ‘com.oscar.base.dao.MenuDao‘ available
NoSuchBeanDefinitionException: No qualifying bean of type 'com.oscar.base.dao.MenuDao' available
2022-07-09 21:41:35
191
原创 console乱码的设置
之前按照网上方法设置了一圈还是没有解决。然后看到了这个，尝试了一下解决了设置方法如下：Help-->Edit Custom VM Options，增加编码设置信息即可，这个文件不在安装目录下，可以直接通过IDEA的菜单去修改...
2022-06-26 13:42:06
4157
原创 spark任务参数估算配置
1.总体原则1.Yarn配置Yarn部署在单台服务器128G内存，32个核如果一个服务器是5个核， executor-cores=5,则理论上num-executor<=6个核。5*6<=32/hadoop-xxx/yarn-site.xml修改yarn的运行分配的最大最小内存yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb2.配置参数driver-memory d
2022-02-27 20:44:32
2371
原创 【无标题】
RDD并行度和分区能够并行计算的任务数量,我们称之为并行度。例如只有一个executor-cores,那并行计算的任务就只有一个分区是能够并行计算的最大的并行度1.分区个数生成规则1.textFile 文件数据源1.分区相关参数定义 val rdd=sc.textFile(path="xxxx",用户指定的分区)<br> 如果没有用户指定的分区，则用defaultMinPartitions<br> defaultMinPartitions: In
2022-02-27 19:15:02
160
原创 spark数据分区划分和任务执行相关内容
## RDD并行度和分区 1. 能够并行计算的任务数量,我们称之为并行度。例如只有一个executor-cores,那并行计算的任务就只有一个 2. 分区是能够并行计算的最大的并行度## 1.分区个数生成规则 ### 1.textFile 文件数据源1.分区相关参数定义 val rdd=sc.textFile(path="xxxx",用户指定的分区)<br> 如果没有用户指定的分区，则用defaultMinPartitions<b...
2022-02-27 19:09:28
1533
原创 Spark3.0 使用域名连接ElasticSearch
Spark3.0 使用域名连接ElasticSearch需求如下：有一个 https的 ElasticSearch的测试数据集群地址给我,内容形式是HTTPS的. 类似于https://abc.def.dasd:443, 网站地址是域名,类似www.sohu.com这种。希望我把数据写进这个地址然后使用spark3 进行连接，后面发现连接不上,报错如下HadoopIllegalArgumentEXception:No data nodex with HTTP-enabled availab
2021-09-21 21:08:47
598
原创 flink官网的kafka producer 报错
项目场景：flink官网的 kafka producer代码报错serialization.SimpleStringSchema 问题描述：flink官网的 kafka producer代码报错serialization.SimpleStringSchema stream.addSink(new FlinkKafkaProducer<String>( "zqjtest", (KafkaSerializationSchema<S...
2020-09-05 17:59:20
3599
1
原创 HIve UDAF create temporary function 找不到文件解决
问题描述：create temporary function getMax as 'comhadoopcourse.GenericUDAFFindMaxPair';FAILED: Class com.hadoopcourse.GenericUDAFFindMaxPair not found解决方式：由于使用idea maven打jar包的方式进行打包索引要删除对应jar...
2019-08-01 14:31:13
734
1
原创 hadoop mapreduce job.splitmetainfo does not exist错误解决
For more detailed output, check application tracking page:http://s101:8088/cluster/app/application_1564489361939_0001Then, click on links to logs of each attempt.Diagnostics: File file:/home/hadoop/...
2019-07-31 16:30:39
1340
转载 LINUX 降低密码复杂度，centos7 环境下修改root密码报错如下： BAD PASSWORD: it is too simplistic/systematic
问题：centos7 环境下修改root密码报错如下：BAD PASSWORD: it is too simplistic/systematic解决：编辑/etc/pam.d/system-auth1、修改内容：password requisite pam_cracklib.so try_first_pass retry=3password sufficient pam_unix....
2019-07-14 11:38:34
4725
转载 django学习技能---2019-0626
1.自定义UserProfile替代原始的Use在Model.py定义class UserProfile(AbstractUser): nick_name=models.CharField(max_length=50,verbose_name=u"昵称",default=u"") birthday=models.DateField(verbose_name=u"生日...
2019-06-26 21:41:13
164
转载 FSImage CheckPoint
什么时候进行checkpoint什么时候进行checkpoint由两个参数dfs.namenode.checkpoint.preiod(默认值是3600，即1小时)和dfs.namenode.checkpoint.txns(默认值是1000000)来决定。period参数表示，经过1小时就进行一次checkpoint，txns参数表示，hdfs经过100万次操作后就要进行checkpoint了...
2018-12-05 12:48:33
325
转载 expect学习
1. expect 是基于tcl 演变而来的，所以很多语法和tcl 类似，基本的语法如下所示：1.1 首行加上/usr/bin/expect1.2 spawn: 后面加上需要执行的shell 命令，比如说spawn sudo touch testfile1.3 expect: 只有spawn 执行的命令结果才会被expect 捕捉到，因为spawn 会启动一个进程，只有这个进程...
2018-11-02 21:04:20
421
原创 expect学习以及ssh自动登录
Expect安装expect是交互性很强的脚本语言，可以帮助运维人员实现批量管理成千上百台服务器操作，是一款很实用的批量部署工具！expect依赖于tcl，而linux系统里一般不自带安装tcl，所以需要手动安装下载：expect-5.43.0.tar和tcl8.4.11-src.tar下载地址：https://pan.baidu.com/s/1kVyeLt9 提取密码：af9p...
2018-11-02 20:51:50
252
原创 动态增加hive表中数据
1.(有partition)hive增加列 插入数据为null，因为加了partition之后就多加了一个层级 注意事项 1.只修改表的列数，没有修改partition的列数，插入数据进行新创建列，不显示 2.只修改表的列数，插入数据进行新创建列,修改partition的列数，显示 3.只修改表的列数，修改partition的列数，插入数据显示.2. 无parti...
2018-08-09 13:54:23
1740
原创 view-函数进行处理
from __future__ import unicode_literals# Create your views here.import jsonfrom PIL import Imagefrom django.shortcuts import renderimport os# coding:utf-8from django.shortcuts import r...
2018-08-08 13:39:00
3449
原创 django--js--前后端交互
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>图片上传</title> <script src="http://ajax.aspnetcdn.com/ajax
2018-08-08 13:37:55
1489
原创 kafka 清除topic数据脚本
#!/bin/shparam=$1echo "============="echo ${param}echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}"kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${p...
2018-07-25 16:57:13
3714
转载 kafka 数据不丢失
设置参数props.put("bootstrap.servers", "10.176.2.170:9092,10.176.1.97:9092,10.176.7.57:9092"); //producer用于压缩数据的压缩类型。默认是无压缩 props.put("compression.type", "gzip"); //增加延迟 ...
2018-07-25 16:30:26
499
原创 idea maven Scala全依赖打包
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://
2018-07-25 11:46:58
3297
原创 java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
xception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT at org.apache.spark.sql.hive.HiveUtils$.hiveClientConfigurations(HiveUtils.scala:197) at org.apache.spark.sql.hive.HiveUt...
2018-07-19 23:23:46
6577
9
原创 spark 写文件到hive
import java.io.Fileimport org.apache.hadoop.hive.ql.io.HiveFileFormatUtilsimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}object TestSparkSQLHive {...
2018-07-18 18:52:28
2636
原创 java.lang.VerifyError: class org.apache.spark.sql.hive.HiveExternalCatalog overrides final method al
java.lang.VerifyError: class org.apache.spark.sql.hive.HiveExternalCatalog overrides final method alterDatabase.(Lorg/apache/spark/sql/catalyst/catalog/CatalogDatabase;)V at java.lang.ClassLoader.de...
2018-07-17 17:49:10
2322
转载 hadoop 2.7.2引入第三方jar包
1、发现一个不错的解决方案：http://algoarch.iteye.com/blog/1142681 2、英文地址：http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/ 3、可问题来了，里面描述的lib目录建在哪里？执行时到底怎么调用的呀？ ...
2018-04-27 10:52:33
1556
转载 20180423-hdfs
### 1.[volatile和synchronized的区别与联系](#1)### 2.[hdfs](#2)### 3.[yarn](#3)### 4.[乐观锁和悲观锁](#4)<span id="1" style="font-size: 20px;">```1. volatile本质是在告诉jvm当前变量在寄存器（工作内存）中的值是不确定的，需要从主存中读取；synchronize...
2018-04-24 14:49:22
193
转载 20171227-kmeans,knn,kmean+算法比较
# kmeans,knn,kmean+算法比较## 1. K-Means介绍K-means算法是聚类分析中使用最广泛的算法之一。它把n个对象根据他们的属性分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高 ### 2. Kmeans算法的缺陷- 聚类中心的个数K 需要事先给定，但在实际中这个 K 值的选定是非常难以估计的，很多时候，事先并不知道给定的数据集应该分成多
2018-01-15 13:27:28
642
转载 xgboost 解释
注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数项。xgboost利用泰勒展开三项，做一个近似，我们可以很清晰地看到，最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。函数中的变量是y^2\hat{y} ^2,将ft(xi)f_t(x_i)看成△x,所以原始就可以化成如下所示gig_i由于是一次导，所以需要对L函数中的y^2\hat{y} ^2求
2017-11-16 21:19:53
500
原创 快速计算平台matlab到C++ 代码转换
main.m是类似于主函数，是整个程序的骨干，所引用的函数如果不是系统默认的函数就是那么就是引用其他的文件C++的数据是串行的，而matlab的程序是批处理的程序。批处理是指一次加载所有数据把需要用到的参数先算完，然后组合。而串行是指当需要计算的时候我才计算，不需要的计算的时候可能先不算main.m文件中26行到30行表明要加载数据的类型，33行 加载数据到data，是自己写的工具类，具体内容需
2017-11-16 19:52:58
822
原创 20171115-神经网络激活函数
# 神经网络和深度学习## 1. 激活函数1. tanh(z)的效果大多数时候都**好于**sigmoid(z),因为tanh(z)的中间值为0，方便下一层迅速计算而sigmoid的中间为0.5，不方便下一层迭代2. sigmoid的输出值为0到1，如果是二项分类建议在输出层使用,以为他能使一个线性函数输出至0到1## 2. 为什么需要非线性激活函数1. 没有激
2017-11-15 22:37:15
436
转载 2017.06.15--spark中cache和persist的区别
cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。cache和persist的区别基于Spark 1.4.1 的源码，可以看到/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */def cache():
2017-06-15 19:19:43
367
原创 spark-2017.06.08
1. spark不能通过hdfs:///zqj/kddcup.data10路径找到文件资源， 解决方法：hdfs://10.14.208.43:50070/zqj/kddcup.data10 写上hadoop,namenode的地址2.Exception in thread "main" java.lang.SecurityException: Invalid signature
2017-06-08 22:43:50
299
转载 虚拟机下安装ubuntu后root密码设置
虚拟机下安装ubuntu后root密码设置 问题描述： 在虚拟机下安装了ubuntu中要输入用户名，一般情况下大家都会输入一个自己的网名或绰号之类的，密码也在这时设置过了。 www.2cto.com 但是当安装成功之后，使用命令#su root，然后输入刚才设置的密码，发现密码错误，至始至终我就设置过一次密码，怎么会错误，原来， 在ubuntu系统下，为了安全起见，在安装过程中，系
2016-05-19 23:20:47
5620
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人