- 博客(42)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqoop
./bin/sqoop list-tables --connect jdbc:mysql://192.168.64.20:3306/transport --username root --password 111111mysql --> hdfs./bin/sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=...
2022-08-03 13:38:33
101
原创 IDEA反编译出整个jar包源码
1、idea需要安装 Java Bytecode Decomplier 插件会在idea安装路径里多个 java-decompiler.jarE:\JetBrains\IntelliJ IDEA 2019.1\plugins\java-decompiler\lib\java-decompiler.jar2、console 进入要反编译的jar所在文件夹在改文件夹下多创建个 data 文件夹然后执行java -cp "E:\JetBrains\IntelliJ IDEA 2
2022-01-14 09:59:29
1613
原创 postgres sql
sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm# Install PostgreSQL:sudo yum install -y postgresql12-server# Optionally initialize the database and enable automatic start:sudo
2021-10-13 11:34:46
116
原创 生成日期维度表
1、创建表DROP TABLE IF EXISTS sys_date;CREATE TABLE IF NOT EXISTS sys_date (date VARCHAR ( 255 ) DEFAULT NULL,month VARCHAR ( 255 ) DEFAULT NULL,day VARCHAR ( 255 ) DEFAULT NULL,quarter VARCHAR ( 255 ) DEFAULT NULL,year VARCHAR ( 255 ) DEFAULT NULL) EN
2021-06-28 16:53:09
280
原创 InfluxQL
influxdb 是没有建表操作的，insert数据时会创建表1、创建、使用dbshow databases;use database 'dbname'create database 'dbname'2、insert 数据基本语法：insert into <retention policy> measurement,tagKey=tagValue fieldKey=fieldValue timestamp...
2021-04-08 13:45:09
354
原创 influxdb1.8安装、开启权限验证
1、下载、安装wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.4_linux_amd64.tar.gz2、开启权限验证默认是没有权限认证的，需要
2021-04-08 11:07:22
1548
原创 PowerDesigner导出MySql数据库的表结构生成ER图
1、生成pdmpowerdesigner-->file -->reverse engineer-->database点击确定，选择sql文件，生成pdm，但是此时的pdm中name、code都是英文，2、在PowerDesigner中，表结构的code，name字段均为英文，不易阅读，若需要将备注中的字段替换到name字段显示，则执行方法：Tools -- Exe...
2020-04-03 13:08:46
2112
1
原创 mysql 双主热备配置
安装mysql 参照https://www.cnblogs.com/daemon-/p/9009360.html系统、mysql版本 mysql-5.7.28-linux 端口3306slave3:192.168.64.10slave4:192.168.64.11mysql配置信息1、关闭防火墙2、slave3（192.168.64.10）[r...
2019-12-27 21:59:54
467
原创 solr全文检索
一、solr安装从solr官网下载并解压：http://archive.apache.org/dist/lucene/solr/二、solr命令进入solr->bin启动：solr start [-p 8983] 访问http://localhost:8983/solr停止：solr stop -all重启：solr restart -p 89...
2019-10-14 14:50:40
344
转载 webStrom快捷键快速创建React组件
https://blog.youkuaiyun.com/weixin_43606158/article/details/90900061
2019-09-26 14:11:58
700
原创 Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace
在整合flume + kafka + storm + hbase 时，出现java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration起初从网上搜到俩个解决方法1、在hadoop-env.sh 加了下面那句2、在hadoop的lib下加了hbase-common-1.3.1.jar...
2019-01-14 13:42:14
6415
1
转载 Hive笔记之collect_list/collect_set（列转行）
原文链接：https://www.cnblogs.com/cc11001100/p/9043946.htmlHive中collect相关的函数有collect_list和collect_set。它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。按用户分组，取出每个用户每天看过的所有视频的名字： 1 ...
2018-12-24 13:55:43
1858
原创 linux 命令
1、批量替换某文件内容 find -name "*.sh" | xargs sed -i 's#oldboy#hadoop#g'http://blog.51cto.com/12965094/2113144
2018-12-11 16:20:01
128
原创 hadoop 参数优化
1、打开trash相关选项hadoop里的trash选项默认是关闭的。所以如果要生效，需要提前将trash选项打开。修改conf里的core-site.xml即可。我们集群的相关配置如下： <!--Enabling Trash--> <property> <name>fs.trash.interval</name>...
2018-11-13 11:10:19
295
原创 hadoop 问题汇总
1、Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V将下面文件复制到windows 下 hadoop/bin下，即可解决原文链...
2018-10-15 21:54:18
226
原创 linux执行sh报错：$’\r’: 未找到命令的解决
在windows 上，使用Pycharm写xx.sh脚本后，在Linux bash xx.sh会报$'\r': 未找到命令原因 是因为命令直接从windows 复制过来导致的解决 yum install dos2unix dos2unix **.sh 进行转换 再次执行即可...
2018-10-10 22:59:16
5123
原创 java.lang.NoClassDefFoundError: storm/kafka/BrokerHosts
在跑storm-kafka的例子中，报出java.lang.NoClassDefFoundError: storm/kafka/BrokerHostsException in thread "main" java.lang.NoClassDefFoundError: storm/kafka/BrokerHosts at java.lang.Class.getDeclaredMet...
2018-09-27 23:13:42
1592
原创 idea 快捷方式
一、视图查看Ctrl+F12 查看file，method结构图、类继承机构图（不知道方法结构，Ctrl+F12一下，方法，参数，返回值，一清二楚的展现出来）Ctrl+shift+Alt+U 查看maven依赖，类图使用maven做项目时，依赖往往非常多，在配置依赖的文件中只需要Ctrl+shift+Alt+U，所有依赖都以拓扑图的方式展现出来，所有的关系和位置都能找到；如下图（...
2018-09-27 19:29:14
7656
转载 IntelliJ Idea 常用快捷键列表
Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速打开类C...
2018-09-16 17:08:16
161
原创 Spark常用的RDD
原文链接：https://www.cnblogs.com/qingyunzong/p/8899715.html https://www.cnblogs.com/liuliliuli2017/p/6809094.htmlRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象Spark支持两...
2018-08-23 10:11:00
845
原创 scala 实现wordcount
object ScalaWordCount { def main(args: Array[String]): Unit = { var lines = List("hello java hello scala", "hello tom", "today is good day hello scala", "day by day") //切分并压平 val words...
2018-08-18 15:32:18
790
原创 scala 基础练习
object Exercise { def main(args: Array[String]): Unit = { //创建list val list0 = List(3, 5, 4, 0, 1, 2, 6, 9, 7, 8) //list元素乘以2 val list1 = list0.map(_ * 2) //将list 偶数取出生成list ...
2018-08-18 15:30:06
532
原创 python——awk命令（1）
原文链接：http://www.zsythink.net/archives/1374awk是一个报告生成器，拥有强大的文本格式化的能力。可以把报告理解成“报表”或“表格”。利用awk的“文本格式化能力”将一些文本整理成我们想要的样子。awk基本语法：awk [options] 'Pattern{Action}' file从字面上理解 ，action指的就是动作，awk擅长文本格式化，并...
2018-08-08 22:15:11
10300
原创 python 安装 Anaconda 以及 Linux 安装可视化图形界面
原文连接：https://blog.youkuaiyun.com/Jameslvt/article/details/81348499SecureCRT+Xming实现Linux远程图形绘画https://blog.youkuaiyun.com/iyangdi/article/details/778507981.下载Anacondawget https://mirrors.tuna.tsinghua.edu...
2018-08-02 10:15:08
3793
转载 5类系统推荐算法
https://blog.youkuaiyun.com/u010670689/article/details/71513133/ https://blog.youkuaiyun.com/u013015493/article/details/79460962https://www.cnblogs.com/rongyux/p/5616954.html
2018-08-02 08:45:12
327
转载 python: numpy -- zeros,ones,eyes函数
https://blog.youkuaiyun.com/xingchengmeng/article/details/64442935https://blog.youkuaiyun.com/xiaolang85/article/details/44998565
2018-07-31 16:53:22
304
转载 逻辑回归LR
https://blog.youkuaiyun.com/pakko/article/details/37878837http://www.cnblogs.com/sparkwen/p/3441197.html?utm_source=tuicool&utm_medium=referralhttps://www.cnblogs.com/fionacai/p/5865480.htmlhttps:...
2018-07-29 22:45:41
122
转载 分类模型
基于概率论的分类方法：朴素贝叶斯http://www.cnblogs.com/apachecnxy/p/7471634.html 分类模型评估之ROC-AUC曲线和PRC曲线https://blog.youkuaiyun.com/pipisorry/article/details/51788927...
2018-07-29 15:51:45
266
原创 redis.exceptions.ConnectionError: Error 111 connecting to master:6379. Connection refused.
在做单机redis demo的时候出现连接失败的问题，先是把master --》 local，可以执行成功 接下来改redis.conf在执行也可以 其他连接参考：linux 下 pip 安装教程https://blog.youkuaiyun.com/u013372487/article/details/51726002/redis 安装教程https:...
2018-07-22 19:18:28
5588
转载 ieba分词流程及部分源码解读
原文链接：https://blog.youkuaiyun.com/jameslvt/article/details/81118560 https://blog.youkuaiyun.com/jameslvt/article/details/81129406
2018-07-20 21:02:10
358
转载 [YARN] Yarn下Mapreduce的内存参数理解
https://blog.youkuaiyun.com/dxl342/article/details/53079155
2018-07-15 14:52:40
164
原创 python 统计某文件下有多少个文件
#统计文件夹下文件的数目 import os DIR = '/input_dir' #要统计的文件夹 print len([name for name in os.listdir(DIR) if os.path.isfile(os.path.join(DIR, name))]) #如统计文件夹数量，用 os.path.isdir(path)做判断语...
2018-07-08 19:36:31
4806
转载 Hadoop Streaming详解
原文 : https://www.cnblogs.com/shay-zhangjin/p/7714868.html一： Hadoop Streaming详解1、Streaming的作用Hadoop Streaming框架，最大的好处是，让任何语言编写的map, reduce程序能够在hadoop集群上运行；map/reduce程序只要遵循从标准输入stdin读，写出到标准输出stdout即可其次，...
2018-07-02 19:14:12
619
原创 PipeMapRed.waitOutputThreads(): subprocess failed with code 1
运行任务时，报出 PipeMapRed.waitOutputThreads(): subprocessfailed with code 1。解决办法：在run.sh 中增加 -D "stream.non.zero.exit.is.failure=false"\2、在执行streaming任务时，出现：Environment variable CLASSPATH not set!解决方法： ...
2018-06-30 22:58:45
1365
hadoop2.6(x64).zip
2018-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人