- 博客(197)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 flink scala 实现不带async I/O驱动的组件交互
flink async 实现主要解决两个问题1. 如果需要scala实现flink的异步调用，请参考代码2. 如果要异步调用的组件，并没有提供async I/O的驱动，那么请参考代码3. （非主要）对异步调用的线程池有兴趣，可以讨论以下废话不多说，直接上codepackage com.testimport java.util.Collectionsimport java.util.concurrent.{Executors, TimeUnit}import org..
2021-05-10 23:44:26
1803
原创 编译安装tensorflow遭心的问题-记录一下
由于tensorflow 支持的GPU的算力必须》=3.5，而我的GPU的算力=3.0（GTX 870M），如果要支持的话，需要重新编译tensorflow（并且每次都打印出来日至，我的cpu支持xxx指令，而编译的时候没有支持等词类问题），为了一次性解决，索性编译一下，过程自然是痛苦的。由于这次异常痛苦，因此特此记录一下。原因是正常编译的过程中出现了ascii codec can't d...
2020-04-27 23:01:42
19552
2
原创 ClickHouse插入数据成功但是没有数据的问题
日常小笔记背景：使用ALTER TABLE chtable_c1 delete where id<15; 删除数据后。再插入相同的数据就会出现有如下情况原来的数据插入语句和再次查看数据日志中的问题提现：2019.09.09 22:17:07.014152 [ 47 ] {5444152b-f8a2-4092-8076-58e5d4462ca8} <De...
2019-09-10 10:32:49
14149
4
原创 SparkSQL实现类似flatmap
RDD中flatmap可以将多信息化的列拍平，那么Spark SQL如何实现这个功能？如下：scala> val sentenceDataFrame = spark.createDataFrame(Seq( | (0, "Hi I heard about Spark"), | (1, "I wish Java could use case classes...
2019-07-15 15:16:38
2886
原创 网站用户行为分析的日志接收服务
分享一个用户http的用户行为日志收集服务，支持实时日志接收到kafka的实时计算和落盘日志的离线计算。编译nginx的时候新增第三方模块即可 ./configure --prefix=./install --add-module=./ngx_http_behavior_click_module --with-http_realip_module编译完成安装配置 location /beh...
2019-07-15 14:17:14
603
原创 基于SparkMLLib的随机决策森林多元回归模型
时间问题，有时间再说模型的训练，包括决策树/决策森林原理，特征向量的处理，因子的选择，超参数调整，管道，决策森林和决策树的关系，本次直接上干货，代码中有适量的注释。工程数据：https://github.com/johncai0/RandomForestClassification/tree/master/data工程库：https://github.com/johncai0/Random...
2019-07-14 20:07:21
611
原创 基于Spark MlLib的协同过滤推荐模型
目录1. 介绍2. 开始干货a. 准备数据b. 数据标准化c. 模型训练d. 模型评估e. 推荐输出3. 拓展1. 介绍官方文档说明：http://spark.apache.org/docs/latest/ml-collaborative-filtering.html本文章源代码工程：https://github.com/johncai0/A...
2019-07-14 16:07:09
849
原创 记一次Spark MlLib中ASL算法的参数接受问题
在Spark MlLib中的ASL 交替最小二乘法推荐模型，接收的参数为userID：IntitemID：Int评分：Int那么产生了两个问题：1. 生产数据的用户id和itemID可能是字符串2. 最大值问题首先说第一个问题，如果是字符串，需要重新定义整形的ID，重新定义ID的方式有两种RDD：data.map(_.uid).distinct().zipWithI...
2019-07-14 00:50:34
760
原创 SparkSQL中UDF的定义方式
1. 老的Hive中的方式，支持.sql算子中的sql调用，例如select udf（col1） from 注册的表。def myUdf(id: Int) = s"tag$id"sqlContext.udf.register("myUdf", myUdf(_:Int))使用df.registerTempTable(“df”)sqlContext.sql（“select myU...
2019-07-13 23:35:18
448
原创 分享一个java实现的https的server demo
https服务器package bing;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.io.Outpu...
2019-01-22 17:01:54
2619
原创 scala函数
好久没动过博客可，冒个泡，表示还存在。。。。scala> def f1(a:Int)(b:Int): Int = { | var c=a+2 | c+b | }f1: (a: Int)(b: Int)Intscala> def test(s:Int,f:(Int => Int...
2018-06-25 22:28:03
2752
转载 spark提交java程序异常
错误Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes scala的jar包没任何问题用java写的jar包提交到spark的时候抛错zip -d JarName.jar META-INF/*.S
2017-09-07 15:23:11
580
原创 spark提交任务java.nio.channels.ClosedChannelException
1.提交任务./spark-submit --master "yarn" --driver-memory 1g --executor-memory 1g --class KeyCount /root/IdeaProjects/SparkApp/out/artifacts/SparkApp_jar/SparkApp.jar报错如下：17/08/25 14:47:03 ERROR cl
2017-08-25 15:57:44
27384
1
原创 Spark java.lang.NoSuchMethodError: scala.Predef$.refArrayOps
1.问题2. spark运行的scala版本是有限制提示 with scala 2.10 support下载对应版本的scala，然后重新编译jar包
2017-08-22 16:52:45
2471
原创 python requests指定出口ip
爬虫需要，一个机器多个口，一个口多个ip，为轮询这些ipdemo#coding=utf-8import requests,sys,socketfrom requests_toolbelt.adapters import sourcereload(sys)sys.setdefaultencoding('utf-8')responses =
2017-08-11 17:16:29
4660
原创 ROS Mikrotik PCC配置记录
两条为例：ip firewall mangle add action=mark-connection chain=prerouting comment=pcc1 dst-address-type=!local new-connection-mark=pcc1 per-connection-classifier=both-addresses:2/0 src-address=192.168
2017-08-11 11:46:18
2469
原创 pptp iptables snat记录
iptables# Generated by iptables-save v1.4.7 on Fri May 12 18:26:39 2017*nat:PREROUTING ACCEPT [305:30920]:POSTROUTING ACCEPT [5:412]:OUTPUT ACCEPT [5:412]-A POSTROUTING -s 192.168.2.0/24 -
2017-06-21 13:45:39
897
原创 iptables snat 记录
iptables# Generated by iptables-save v1.4.7 on Mon Jun 19 11:02:25 2017*security:INPUT ACCEPT [428:39712]:FORWARD ACCEPT [62:5208]:OUTPUT ACCEPT [514:56376]COMMIT# Completed on Mon J
2017-06-19 12:27:05
1124
原创 关于ipv6的笔记
用途阿里云放IOS app的服务器端信息或者ipv6 server的需要隧道服务https://tunnelbroker.net/配置服务器net.ipv6.conf.all.disable_ipv6 = 0net.ipv6.conf.default.disable_ipv6 = 0net.ipv6.conf.lo.disable_ipv6 = 0
2017-05-31 16:13:51
1486
原创 linux用tc限速
tc qdisc add dev eth0 root tbf rate 1Mbit latency 50ms burst 10000 mpu 64 mtu 150000
2016-09-30 11:09:32
3682
1
原创 oracle 倒出csv
/opt/sh/sqluldr2_linux64_10204.bin user=user/pass@services query="select * from table_name" file=/opt/csv/csv_name.csv charset=ZHS16GBK field=0x09 quote=0x22 escape=0x5c escf=0x22 esct=0x22 record=0x0
2016-09-28 14:22:55
748
原创 OpenStack
记录一个OpenStack的bug启动实例的时候会报出500错误，启动实例命令nova boot --flavor 1 --key_name demo-key --image d7057028-a498-4576-86b4-e6aef50dab69 test1日志路径/var/log/nova/nova-api.log记录如下：2016-07-15 17:06:25.082
2016-07-15 17:26:05
1050
原创 tomcat enable ssl
创建keykeytool -genkey -alias wsria -keyalg RSA -keystore /usr/src/apache-tomcat-7.0.68/conf/mykey导出keykeytool -export -file /usr/src/apache-tomcat-7.0.68/conf/mykey.crt -alias wsria -keystore
2016-03-02 15:59:51
724
原创 Linux IPsec点到点配置
linux点到点vpn ipsec配置Juniper netscreen interopJuniper end point:set ike gateway "GW-01" address Main outgoing-zone "V1-Untrust" preshare "Your PSK Here" proposal "pre-g2-3des-md5"set ike
2016-02-29 12:23:16
7641
原创 ActiveMQ动态发现集群
1.配置vim /usr/local/activemq1/conf/activemq.xml 找到broker元素的配置，然后修改brokeName集群中不要重复 然后在transportConnectors 元素前边加上 然后修改transportConnectors元素中的也就是在默认的值后边加上di
2016-01-26 15:21:39
2978
原创 ActiveMQ静态发现集群
1.配置编辑MQ的主配置文件vim /usr/local/activemq1/conf/activemq.xml找到broker元素的配置，然后修改brokeName集群中不要重复然后在transportConnectors 元素前边加上 注意： uri后边的static表示静态，括弧中如果有多个mq实例就写多个uri，用逗
2016-01-25 13:58:15
3284
原创 iptables限制某个端口的连接数
iptables限制某个ip或者某组ip的连接数测试规则如下：# Firewall configuration written by system-config-firewall# Manual customization of this file is not recommended.#-A INPUT -m state --state NEW -m tcp -p tcp -
2015-07-13 10:42:29
5004
原创 关于Heartbeat-3-0安装错误
由于Heartbeat-3-0改变较大，安装一路坎坎坷坷，经过认真的观测和细心的琢磨，最终还是采用了消极的解决方法Heartbeat有主和备两台 系统一模一样安装的，但是主在Heartbeat bootstrap的时候总是过不去 错误如下./bootstrapAutoconf package autoconf found. Automake package automake-1.5 found
2015-07-01 11:32:40
1419
原创 extundelete恢复备删除的文件
从http://sourceforge.net/projects/extundelete/获取次工具的安装包安装# rpm -qa|grep e2fsprogse2fsprogs-1.41.12-21.el6.x86_64e2fsprogs-libs-1.41.12-21.el6.x86_64e2fsprogs-devel-1.41.12-21.el6.x86_64
2015-06-01 15:22:03
8130
原创 tomcat用memcache进行session共享
tomcat版本及环境Using CATALINA_BASE: /usr/local/81tomcatUsing CATALINA_HOME: /usr/local/81tomcatUsing CATALINA_TMPDIR: /usr/local/81tomcat/tempUsing JRE_HOME: /usrUsing CLASSPATH:
2015-05-27 16:20:04
1026
原创 oracle大坑
做足准备工作之后进行安装oracle，运行runInstall的时候别的时候输出如下错误写入目录 /tmp/OraInstall2015-05-20_03-35-53PM 时出错。请确保此目录是可写的, 并且至少有 60 MB 的磁盘空间。无法继续安装。: 没有那个文件或目录用sh -x runInstall发现执行/usr/src/database/install
2015-05-20 17:05:23
1172
原创 ESXI虚拟机任务正在执行中
1.原因由于某个win2003虚拟机需要重启，然后用vSphere连接vCenter，给这个虚拟机点击重置按钮然后vSphere下现实任务正在执行。。。。。过了N min之后，执行依旧！！！需求比较着急，所以想到用vmware ESXI的shell命令行操作2.开启VMware的SSHa.选中虚拟机b.配置选项卡c.里头分硬件和软件两部分，选择软件中的安全配置文
2015-04-02 11:29:27
11046
原创 elasticsearch安装部署文档
下载解压后./bin/plugin -install mobz/elasticsearch-head./bin/plugin --install lmenezes/elasticsearch-kopf/1.4.6./bin/plugin -u https://github.com/NLPchina/elasticsearch-sql/releases/download/1.3.1/
2015-03-03 11:28:54
1420
原创 Linux测试网卡绑定
1.脚本#! /bin/bashmodprobe -r bondingmodprobe bonding mode=$1ifconfig bond0 10.10.10.100 netmask 255.255.255.0 upifenslave bond0 em3 em4cat /proc/net/bonding/bond02.执行sh XXX.sh
2014-10-23 11:35:32
840
转载 squid acl写法
Changes in 3.4 aclNew test type server_cert_fingerprint to match against server SSL certificate fingerprint.New test type note to match against transaction annotations by name and value, or just b
2014-05-04 21:20:17
3362
spark高级数据分析 附带源代码
2018-06-19
IIS建站工具
2014-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人