- 博客(26)
- 收藏
- 关注
RSS订阅
原创 elasticsearch 6.3.2 支持jdbc连接es 破解版
进去elasticsearch安装目录 找到x-pack-core-6.3.2.jarcd /data/server/es/elasticsearch-6.3.2/modules/x-pack/x-pack-core解压jar包，然后找到下面的两个class文件，使用luyten反编译org/elasticsearch/xpack/core/XPackBuild.classor...
2018-08-29 14:37:43
2886
1
原创 将pyspark中的UDF提升6倍
调用jar中的UDF，减少python与JVM的交互，简单banchmark下对于54亿条数据集进行udf计算，从3小时的执行时间缩短至16分钟。牺牲UDF部分的开发时间，尽量提高性能。以接近纯python的开发成本，获得逼近纯scala的性能。兼顾性能和开发效率。当遇到sql无法直接处理的数据时(比如加密解密、thrift解析操作二进制)，我们需要自定义函数(UDF)来进行处理。出于开发效率的考虑，我们一般会选择airflow，使用pyspark脚本。
2025-02-17 00:48:07
1070
原创 nginx: [error] invalid PID number ““ in “/usr/local/openresty/nginx/logs/nginx.pid“
修改完配置文件后，使用sbin/nginx -s reload重新启动nginx时，报[error] invalid PID number "" in "/usr/local/var/run/nginx/nginx.pid错误发生这个错误的原因是，nginx读取配置文件时出错，需要指定一个特定的nginx配置文件，所以解决这个问题需要先执行解决方法:sbin/nginx -c conf/nginx.conf再执行sbin/nginx -s reload...
2020-11-18 11:54:21
1782
原创 docker下载镜像太慢的解决方案
docker下载镜像卡死或太慢找了网上很多方法，使用镜像中国也是下载卡死。最后一种成功了，下载速度很满意1.先再阿里云注册账号，不需要绑定什么，直接注册就可以了，有账号的直接登录就好。地址：https://cr.console.aliyun.com点击跳转搜索容器镜像服务2.创建镜像仓库3.创建好之后点到这个选项卡在服务器上输入vim /etc/docker/daemon.json将"registry-mirrors": ["https://......com"..
2020-11-17 16:35:18
585
原创 Caused by: java.lang.ClassNotFoundException: org.apache.http.ssl.TrustStrategy
java.lang.NoClassDefFoundError: org/apache/http/ssl/TrustStrategy at com.aliyun.openservices.log.Client.<init>(Client.java:273) at com.aliyun.openservices.log.Client.<init>(Client.java:218) at com.aliyun.openservices.log...
2020-11-17 15:01:39
1203
原创 mac系统:zsh切换bash提示chsh: no changes made问题
mac系统:zsh切换bash提示chsh: no changes made问题前提纪要：1、我们都知道mac有默认bash工具，在下载zsh后，把一切都配置好后，输入切换命令：chsh - s /bin/zsh ,总是提示 chsh: no changes made错误。那我我们尝试用sudo chsh -s /bin/zsh 在试一次。如果还是不行，就不用再弄了，直接用下面的方法吧！提示chsh:no changes made 解决办法：终端输入：dscl . -read /Users/$U
2020-11-03 20:01:30
8120
1
转载 Linux免密码登录设置
假设要登录的机器为192.168.1.100，当前登录的机器为192.168.1.101。首先在101的机器上生成密钥（如果已经生成可以跳过）： $ ssh-keygen -t rsa一路回车即可。然后在将生成的公钥复制到机器100上的~/.ssh/authorized_keys中，使用如下命令： $ ssh-copy-id -i ~/.ssh/id-rsa.pub...
2018-07-20 15:05:23
358
原创 spark 将dataframe 数据写入hive分区表
DataFrame 将数据写入hive中时，默认的是hive默认数据库,insertInto没有指定数据库的参数，数据写入hive表或者hive表分区中：1、将DataFrame数据写入到hive表中从DataFrame类中可以看到与hive表有关的写入API有一下几个：registerTempTable(tableName:String):Unit,inserInto(table...
2018-07-20 14:03:08
11539
转载 ik分词器热更新
1： 部署 http 服务在这使用 tomcat7 作为 web 容器， 先下载一个 tomcat7， 然后上传到某一台服务器上(192.168.80.10)。再执行以下命令 tar -zxvf apache-tomcat-7.0.73.tar.gz cd apache-tomcat-7.0.73/webapp/ROOTvi hot.dic 测试 在这里
2018-01-31 02:11:18
3334
转载 Linux服务器上配置2个Tomcat或者多个Tomcat
一、当在一个服务器上面安装2个tomcat的时候，修改第二个tomcat的conf目录下server.xml文件里面的端口号（原8080改成8081，原8005改成8006）可以达到两个tomcat都能启动且端口互不冲突二、但是这样配置以后会出现两种问题（1）启动某一个，另外一个则死掉（2）两个启动都是操作同一个Tomcat
2018-01-30 17:33:37
440
转载 linux系统上传下载命令rz和sz
（一）安装方法汇总1、安装方法(推荐)yum install lrzsz -y2、在安装Linux系统时选中“DialupNetworking Support”组包3、安装系统联网启动后执行yum直接安装组包yum groupinstall "Dialup Networking Support" -y（二）上传下载文件测试1、条件：需要使
2018-01-30 14:34:35
455
转载 终极shell
终极 ShellPosted on 2013 年 7 月 23 日在开始今天的 MacTalk 之前，先问两个问题吧：1、相对于其他系统，Mac 的主要优势是什么？2、你们平时用哪种 Shell？……第一个童靴可以坐下了，Mac 的最大优势是 GUI 和命令行的完美结合，不要把所有注意力放在 Mac 性感的腰身和明媚的显示屏上好吧，这不是妹纸
2018-01-28 21:14:51
630
原创 Mac 安装Homebrew 加强版cask iTerm2 zsh oh-my-zsh
1.安装Mac上的软件包管理工具HomebrewHomebrew是MAC下的包管理工具，类似centos的yum, ubuntu的apt-get, 可以当做debian下的apt-get，但要强大得多。它尽可能的利用系统自带库，大大缩短编译时间；冗余库极少，软件包的管理清晰灵活；安装脚本完全用ruby编写，极易自由定制.brew-cask是brew的一个加强版, 可以安装一些桌面应用, 例
2018-01-28 20:38:42
3884
转载 redis ----问题
****Redis问题****MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for detail
2018-01-28 17:34:20
257
原创 Mac---redis 安装
mac系统安装redis1.下载打开官网：https://redis.io/Download---Stable---Download3.2.8，下载最新稳定版，这里是3.2.82.安装下载完成后，打开命令行工具，执行解压命令tar zxvf redis-3.2.8.tar.gz 将解压后文件夹放到/usr/localmv re
2018-01-28 17:25:19
243
原创 前菜--大型网站架构演变历程
前菜： 大型网站架构演变历程 初始阶段： 应用程序、数据库、文件等所有资源在一台服务器上。典型架构：Linux+Apache+Mysql+PHP （LAMP） 应用服务和数据服务分离：
2018-01-15 14:00:51
309
转载 如果看了此文你还不懂傅里叶变换，那就过来掐死我吧【完整版】
这篇文章的核心思想就是：要让读者在不看任何数学公式的情况下理解傅里叶分析。傅里叶分析不仅仅是一个数学工具，更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是，傅里叶分析的公式看起来太复杂了，所以很多大一新生上来就懵圈并从此对它深恶痛绝。老实说，这么有意思的东西居然成了大学里的杀手课程，不得不归咎于编教材的人实在是太严肃了。（您把教材写得好玩一点会死吗？会死吗？）所以我一直想写一个有
2018-01-14 17:43:20
328
原创 机器学习-浅尝关联规则
理解关联规则 首先要感谢一下沃尔玛 第一个发现并挖掘出来了关联规则 沃尔玛对市场购物篮分析的结果是一组指定商品之间关系模式的关联规则 一个典型的规则可以表述为：{花生酱，果酱}--->{面包}；{尿不湿}--->{啤酒}。 第一个关联规则用通俗易懂的语言来表达就是：如果购买了花生酱和果酱，那么也很有可能会购买面包 第二个关联规则
2018-01-13 14:57:57
504
原创 机器学习-算法-贝叶斯分类算法
概念： 首先我们先给出通俗事件引导出具体概念 1、70%降水 机器学习算法中，有一种依赖概率原则进行分类的朴素贝叶斯算法，正如气象学家预测天气一样， 朴素贝叶斯算法就是应用先前事件的有关数据来估计未来发生的概率 2、了解上面的通俗概念为了强化理解我现在就给出一个具体案例 一所学校里面有 60% 的男生，40%的女生。男生总是穿长裤，女生则
2018-01-11 15:13:49
909
原创 Spark独到见解--Action算子总结
Action行动算子 1、count 返回数据集中的元素数。会在结果计算完成后回收到Driver端。 2、take(n) 返回一个包含数据集前n个元素的集合。 3、first first=take(1),返回数据集中的第一个元素。 4、foreach 循环遍历数据集中的每个元素，运行相应的逻辑。5、 collect
2017-11-13 21:39:57
550
原创 Spark独到见解--2总技术栈见解之SparkCore
1） RDD 1） 概念 RDD(Resilient Distributed Dateset)，弹性分布式数据集。 2） RDD的五大特性： 1. RDD是由一系列的partition组成的。 2. 函数是作用在每一个partition（split）上的。 3. RDD之间
2017-11-13 14:07:05
471
原创 python+Eclipse+pydev环境搭建
本文重点介绍使用Eclipse+pydev插件来写Python代码， 以及在Mac上配置Eclipse+Pydev和Windows配置Eclipse+Pydev 编辑器：Python 自带的 IDLE简单快捷， 学习Python或者编写小型软件的时候。非常有用。 编辑器: Eclipse + pydev插件1. Eclipse是写JAVA的IDE，这样就可以通
2017-11-13 12:50:30
250
原创 安装jdk1.8怎么降到jdk1.7
jdk1.8换为jdk1.7的配置因为之前安装的eclipse版本要求JDK1.8或以上的版本，但在搭建SSH框架的时候老是报错，又找不到2错误源。老师建议换个低版本的jdk。所以jdk版本需要降级。 但降级以后就不能打开eclipse了。但网上很多说的都是把1.8删掉，之后再装回来，这样太麻烦了，总不能用一个软件就更换安装一次吧。所以找了一个可以方便切换jdk两个版本的方法。过程如下
2017-10-23 18:00:59
7764
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人