- 博客(32)
- 收藏
- 关注
RSS订阅原创 Doris通过ODBC驱动导入外部表数据
③配置doris驱动(位置/root/doris/apache-doris-be-1.1.3-bin-x86_64/conf/odbcinst.ini)这里我默认你是知道Mysql的安装方法，或者你已经有了Mysql数据库，对Mysql的安装配置就不在讲了，如果这块不清楚，请去百度。4. 导入数据 (从 ext_mysql_TableName 导入到 doris_mysql_TableName 表)ODBC驱动创建外部表（前置条件）安装Mysql ODBC驱动。//通过外部表导入数据。
2022-11-23 20:16:23
1609
原创 集合排序comparable
源码里面是compare(后，前)<0就继续往后找到不满足该条件的为止，反转，简言之如果compare表示：后-前，那么其等于负数就往后找，就是说后面的小于前面的要反转，那不就是升序吗。当然实现接口的时候基本上是compare（前，后），因此前-后>0即（前>后返回-1）代表升序。不要再o1和喔o2这样表示了，越描越黑。关键是源码里先找了一段逆序，然后二分插入排序。...
2022-04-24 09:36:50
145
原创 ES sping-data使用
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery().filter(QueryBuilders.termQuery( filterField, tenantCode));MaxAggregationBuilder aggData = AggregationBuilders.max("aggData").field(field);SearchQuery searchQuery = new NativeSearchQue.
2021-12-28 16:53:59
669
原创 TensorFlow2.5.0读取hdfs数据
file_path = "hdfs://worker1:8020/tmp/tfrecord-dnn/train/*.tfrecord" # 一定要三个引号files = tf.io.gfile.glob(file_path)print(files)dataset = tf.data.TFRecordDataset(files)#Example这里就省略了哈parsed_dataset = dataset.map(decode_and_normalize)print(parsed_datase.
2021-09-03 14:13:03
1972
1
原创 2021-08-25
"""Created on 2021.08.25train MM model@author:Jincan"""import jsonimport osimport pandas as pdimport tensorflow as tffrom time import timefrom tensorflow.keras.losses import binary_crossentropyfrom tensorflow.keras.optimizers import Adamimpo.
2021-08-25 14:38:23
153
原创 2021-08-20
package com.sdmctech.connectTF.testimport org.apache.spark.broadcast.Broadcastimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}import org.apache.spark.sql.functions._import org.apache.spark.sql.types.IntegerTypeimport scala.collection.
2021-08-20 17:20:26
185
原创 CDH6.3.x一键卸载脚本
#!/bin/bash#M服务service cloudera-scm-server stopservice cloudera-scm-agent stop# 卸载CM软件包yum -y remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server# 卸载装载点(你的挂载点可能不是这里)umount cm_processesumount cm_processesumount cm_pro..
2021-07-26 19:25:20
330
原创 spark连接HBase Demo问题说明
https://sparkbyexamples.com/spark/spark-read-write-using-hbase-spark-connector示例来源如上，直接说问题： // Reading from HBase to DataFrame val hbaseDF = spark.read .options(Map(HBaseTableCatalog.tableCatalog -> catalog)) .format("org.apach
2021-07-15 16:59:55
634
4
原创 spark导出PMML模型bug排查纪实
当遇到大规模逻辑回归LR时，原生spark是解决不了问题的项目场景：本项目需要使用LR模型作为排序模型，输入矩阵为独热编码后的稀疏矩阵。不考虑PMML存储方式的实现很简单，使用的是官方API（我用的是spark2.4.0版本）通过独热编码One-hotCode产生高维稀疏矩阵时，此时还想通过JPMML-spark工具和pipelineModel方式生成PMML文件是不可行。问题描述：一开始我也以为LR模型模型训练后很容易导出为PMML文件。通过下文我开启了PMML探索之旅。模型在
2021-06-18 18:42:07
602
1
原创 windows下的hadoop环境以及snappy的问题
关于windows下的hadoop环境配置请参照以下链接https://blog.youkuaiyun.com/qq_35139965/article/details/106744410?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-4&spm=1001.2101.3001.4242关于snappy的native library的问题，IDEA无法直接连接远程hive表压缩数据的问题请下载添加sna
2021-05-20 10:06:33
776
2
原创 CDH安装时httpd找不到cm的rpm包
你看图，百思不得其解，结果它文件的用户组和用户发生了变化。那肯定读不到。之前肯定转过CDH然后没有清理yum源。/etc/yum.repos.d目录下有很多旧的云源，删除他们。然后重新编辑vi /etc/yum.repos.d/cloudera-repo.repo就能获取到yum源了。真要命这问题。...
2021-02-08 15:22:45
197
1
原创 spark中one-hot编码的使用及dataframe.show()的含义
这里的show只是为了方便展示，实际上代表的是只有0,1的超多维。假如将上述多列合并，那么有200827=200479+187+2+77+82。简单说就是show（）不会展示20万列只包含1个0的矩阵。val assembler = new VectorAssembler().setInputCols(assemblerInputs).setOutputCol("features")...
2020-12-03 15:58:14
1099
原创 2020-11-25
nohup java -jar forecast-0.0.1-SNAPSHOT.jar >/dev/null &nohup: ignoring input and redirecting stderr to stdout
2020-11-25 16:02:24
171
原创 Java中浮点数的表示的IEEE754标准
float a =0.2f;double b =0.2d;if(a>b){ System.out.println("a>b");}else { System.out.println("a<b");}此段代码将输出 a>b因为a在底层表示的是0.2000001，而b是0.200000000001
2020-10-10 10:27:43
1482
原创 sqoop将MySQL数据导入到hive的分区表中 shell脚本
#!/bin/bashfirst="$1"second="$2"date_ymd="$3"while [ "$first" != "$second" ]doecho "$first" date_ymd="$first"echo "$date_ymd"./mysql2hivebysqoop2.sh $firstfirst=`date -d "$date_ymd yesterday" "+%Y-%m-%d"`echo "$first"done其中MySQL2...
2020-09-08 16:25:54
596
原创 file or directory do not exist。spark配置hbase
当spark联合hbase时需要将hbase下的jar包（会用到的）都拷到spark的lib下（好像有的只有jars目录）。结果，记住千万别分行，要一直用冒号连写。分行，就会报上面的错export SPARK_CLASSPATH=$SPARK_HOME/jars/hbase-client-2.1.0-cdh6.3.2.jar:$SPARK_HOME/jars/hbase-common-2.1.0-cdh6.3.2.jar:$SPARK_HOME/jars/hbase-protocol-2.1.0-cdh
2020-08-24 15:19:07
456
原创 HRO
function [Gbest,GbestScore,Obj]=HROFCM(C,inDim,Data,maxIter,pop,x_min,x_max)N = pop; %水稻群个数D = C*inDim; %基因维度maxTime=50; %最大杂交次数Xmax=1; %位置最大值Xmin...
2020-04-10 22:26:42
573
原创 IDEA使用中directory和package
Idea中directory和package的区别，要是错了就右键，make directory as 目录或者源代码目录（Source Root。在他下面才能建package）蓝色代表是Source Root 绿色也是，不过它是test的。只有在Source Root 才能建包。上图中我一开始就使得dao和domain变成了蓝色的Source Root 那肯定只有在它们里面才能建包，当我取...
2019-06-12 14:38:40
8793
2
原创 Spark之根据单词频数降序排序的wordcount（Java8版）
package cn.spark.study.core;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkCont...
2019-06-02 19:36:13
430
原创 window下hadoop、hbase的安装
Java环境那不说了哈，各位肯定静通。下载hadoop-2.7.3.tar.gzhttp://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/原版的hadoop不能在Windows上用的，有些大佬做了替换文件在云盘https://pan.baidu.com/s/1eGra7gKCDbvNubO8UO5rgw yk9u(编译了的二进制文件...
2019-05-12 09:00:07
1386
原创 剑指offer:跳台阶
//很多人可能不能理解这为啥是斐波那契数列，我讲讲我的理解，勿喷//N台阶的跳法其实就是在它前一台阶的基础上跳一下或者前两阶的基础上跳两下，别无它法。public class Solution { public int JumpFloor(int target) { //首先要明白，这是一个斐波那契数列（f(n)是在f(n-1)和f(n-2)的基础上分别跳一步和跳...
2019-05-04 21:09:28
102
原创 剑指offer：一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。
牛客里好多牛人老是写位运算的版本，我不会，只用了个土方法。//num1,num2分别为长度为1的数组。传出参数//将num1[0],num2[0]设置为返回结果import java.util.Arrays;import java.util.ArrayList;public class Solution { public void FindNumsAppearOnce(int ...
2019-05-04 10:51:23
1203
原创 LeetCode 66题
class Solution { public int[] plusOne(int[] digits) {int i=digits.length-1; while(i>0&&digits[i]==9){//从后往前找到非9的数字为止（把连续的9都置零） digits[i]=0;// i=i-1; ...
2019-04-29 14:02:47
246
原创 hadoop3.0.3安装
本文是概括版的hadoop安装心得，详细步骤大部分历史帖子都说明了。安装环境：Windows10+centos7+vm14+hadoop3.0.3+java1.8环境配置部分虚拟机里的网络NAT,其实你装好了之后，Windows下使用ipconfig/all 会看到一个VMnet8网络，这里是设置好的网关。所以，设置集群静态IP时那个192.168.X.X是不能乱写的。然后，ping不通...
2019-04-17 11:14:26
687
原创 关于matlab中添加跨文件夹的路径问题
addpath(genpath('../MainFunc'))这一个例子中，跨文件夹其实是讲究的，比如三级目录跨到二级目录则无法操作。实测 你把里面日期摸样的字符去掉，保留 1972 以及后面的计数数字，作为记录的标志用textread 函数可以读取。至于调用的话，因为你每条数据长度不一，matlab读取时会自动补0,看了下你的数据，共38条，每条的结尾数据不是0,这样还是可以很方...
2018-09-30 15:10:36
914
转载 feature selection 心得。PSO based
function [Selection , SelectionValue]=psoSelection(Data,nOfSelection,population,itrationMax,fun)% PSO SELECTION ALGORITHM% INPUTS% Data=Data to be minimize selection % nOfSelection=number of selec...
2018-08-12 17:21:48
496
原创 run.bat运行闪退
这个确实是双击解决不了的问题，我是windows10+java1.8，所以应该运行该目录下的cracker.jar包语句是是java -jar cracker.jar 就会进入到激活界面，哈哈
2018-06-17 21:21:11
9587
1
原创 mahout的配置文件
修改etc / .bashrc export MAHOUT_HOME=/home/hadoop/hadoop/mahout/apache-mahout-distribution-0.12.2export MAHOUT_CONF_DIR=$MAHOUT_HOME/confexport PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATHexport HADOOP...
2018-06-14 14:30:40
191
原创 关于优化算法的更新公式注意事项
要注意它的取值范围，不能更新之后不加约束.[Spbest,index]= sort(pbest);%Gbest=x(index(N),:);%%%谁让你在这找索引的最后一个了。一开始我写了个N,适应度函数一般是要找最小值，这个代码的问题很明显...
2018-04-12 14:36:04
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人