- 博客(30)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 大数据开发面试题总结-超详细
1、文件上传： 总结： 客户端上传请求--->namenode检查，返回响应--->客户端真正的文件上传请求，包括文件名，文件大小--->namenode返回上传节点--->客户端准备上传，进行块的逻辑切分--->客户端构建pipline流--->开始上传，先上传到缓存中，再上传到磁盘--->上传完成，关闭pipline流--->上...
2019-11-18 16:51:26
16357
2
原创 结巴（jieba）分词的使用-Java实现
结巴分词Java版结巴分词的使用比较方便，效果也不错，也无需连接网络即可使用。在项目中使用到了结巴分词，故在此做个小笔记。本项目中所想实现的是如下的较精准模式。支持三种分词模式：1、较精确模式：试图将句子最较精确地切开，适合文本分析； 【我/ 来到/ 北京/ 清华大学】2、全模式：把句子中所有的可以成词的词语都扫描出来, 速度较快，但是不...
2019-09-17 13:00:13
25821
17
原创 CDH的安装详细步骤
目录目录第1章 配置环境1.1.准备阶段1.1.1.服务器1.1.2.操作系统1.2.安装配置1.2.1.安装操作系统1.2.2.配置操作系统1.2.3.安装Oracle JDK （所有节点）1.2.4.配置SSH免密1.2.5.安装配置mysql1.2.6. NTP时间同步第2章 安装CDH2.1.安装配置Cloudera Manager...
2019-09-16 09:07:33
6926
26
原创 基于科大讯飞实现语音识别功能
实现电脑端语音识别，并提供常用参数设置、简单的复制、剪切、清空等操作，使用方便，只需双击打开即可运行，基于科大讯飞的语音识别，识别正确率高，识别响应快，适合将平时说话快速转化为文字，并复制到电脑文本中，省去频繁手机与电脑端的来回操作，也省去PC网页版的繁琐，极大的提高工作效率和增强使用体验。1、可将开发程序生成exe文件，并将该文件发送到电脑桌面，实现双击启动。2、2秒即可打开软件界面，界面简洁，没有更多的花里胡哨的，更多的是适用于自己日常办公使用。不追求美观，只追求效率，越简...
2021-08-30 22:18:47
3775
原创 REGEXP_REPLACE的使用方法
regexp_replace的使用非常灵活，且容易忘记，故做此笔记。没有过多的介绍使用说明，只是根据个人理解列出很多相似案例，个人觉得通过对比，更容易理解其使用技巧。命令格式：regexp_replace(source, pattern, replace_string, occurrence)参数说明：● source: string类型，要替换的原始字符串。● pattern: string类型常量，要匹配的正则模式，pattern为空串时抛异常。● replace_string:.
2020-12-14 20:40:10
99054
11
原创 java开发常用工具类总结
本文总结了一些Java开发过程中常用的一些工具类，可以在开发中大大降低开发难度。目录1、ConfigurationManager2、JDBCHelper3、CastUtil4、DateUtil5、FileUtil1、ConfigurationManager属性文件工具类，加载配置文件，可以直接读取配置文件的值。ConfigurationManager.g...
2020-04-07 21:35:36
978
原创 Hive自定义UDF时间类函数
1、功能介绍：首先，介绍一下关于本文函数的作用：该文介绍的函数功能在统计用户活跃度的场景比较适用，或者跟统计某天，某几天，某周，某几个周，某月，某几个月相关的场景亦可适用。大大降低了hive SQL的编程难度。主要实现的功能如下：（1）根据输入的时间信息，返回某天的起始时间。getdaybegin()//计算当天的起始时刻(毫秒数)get...
2020-04-06 21:58:31
1091
原创 大数据学习视频整理：
大数据学习视频整理：《尚硅谷哔哩哔哩学习视频》【基础阶段】Java基础:av48144058Java12&13:av68735735IDEA:av30080993MySQL:av21400736Oracle:av21400096JDBC:av67955358Linux:av21597782数据结构和算法:av54029771设计模式:av57936239【Jav...
2020-03-14 12:28:49
371
原创 整合flume-kafka-sparkStreaming完整代码-有状态更新updateStateByKey
整合flume-kafka-sparkStreaming完整代码:本人学习笔记，不提供基础知识讲解。本文实现效果是：监控hadoop01节点的/home/hadoop/logs/flume.log，当该文件有内容追加时，将追加内容发送到hadoop02的44444端口，hadoop02节点监控到44444有消息时，将消息push到kafka集群的topic为flume-kafka下...
2020-01-12 17:03:33
404
原创 linux系统安装mysql
前言Linux下安装MySQL方法比较多，可以用最简单的rpm安装方式，但是在后面的使用过程中，感觉并不友好，会报很多错。下面的代码可以很好的安装mysql，基本上无需更改代码，只需要将代码复制运行一遍就OK了。操作也没有那么麻烦。需要更改的地方也已经用红色标注。安装过程通过 linux 连接工具把 mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz ...
2020-01-06 11:50:50
223
原创 log4j的简单介绍-简单又详细
1、首先新建一个测试类Log4jTest:import org.apache.log4j.Logger;public class Log4jTest { private static final Logger LOG = Logger.getLogger(Log4jTest.class); public static void main(String[] args) { ...
2019-12-26 13:13:38
329
原创 Linux下ifconfig不显示ens33解决方案
执行了下面三行命令就ok了systemctl stop NetworkManager 临时关闭systemctl disable NetworkManager 永久关闭网络管理命令systemctl start network.service ...
2019-12-21 22:26:01
4763
6
原创 设置Eclipse中的tab键为4个空格
1、在工具栏上找到window，点击 window->preference，然后在打开的界面中选择 General->Editors->Text Editors,再选中右侧的Insert space for tabs2、再点击 window->preference。依次选择 java->code style ->formatter...
2019-12-20 14:14:02
757
原创 常用java编程代码汇总
目录文件的读取和写入:synchronization线程锁：单例模式：反射前言因工作问题，有些代码常常需要使用，为了方便，整理如下。文件的读取和写入:import java.io.File; import java.io.InputStreamReader; import java.io.BufferedReader; import java.io.B...
2019-11-27 16:11:21
3091
原创 冒泡、选择、插入、计数、快速、归并排序
目录冒泡排序：选择排序：插入排序：计数排序快速排序归并排序斐波那契数列：前言：复习中，总结 一下所有常用的排序算法，有冒泡排序，选择排序，插入排序，快速排序等，最后还总结了一个斐波那契数列前n项的输出算法。冒泡排序：package paixu;/** * 相邻的两个数字比较排序，先将最大的交换到最后面，然后重复。 */public class ...
2019-11-21 17:29:52
279
原创 pom文件无法加载ojdbc14-10.2.0.4.0.jar
对于oralce的jdbc驱动，在maven上搜索到把pom配置复制到pom.xml里进行引用的时候出现下面这种情况<dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc14</artifactId> <version>10.2....
2019-11-13 16:38:14
1159
原创 在局域网内，没有安装oracle客户端的电脑连接其他电脑的oracle数据库
目录1、目的：2、配置工作：2.1、在电脑B上的配置：2.2、在电脑A上的配置：2.2.1、下载instantclient2.2.2、下载安装SQL developer/PLSQL Developer 13 (64 bit)软件。2.2.3、配置过程：1、目的： 在同一局域网下 ，由于电脑A开发需要，需要使用oracle数据库，但由于oracle...
2019-11-12 18:01:38
1571
5
原创 tomcat的安装、配置
目录：目录1、准备工作2、安装：3、测试4、eclipse关联tomcat1，添加Tomcat2、添加到server视图3、配置tomcat4、测试1、准备工作1，JDK：版本为jdk1.82，tomcat： 下载地址https://tomcat.apache.org/download-90.cgi2、安装：1、安装j...
2019-10-14 13:52:28
308
原创 SSM（spring，SpringMVC，mybatis）三大框架整合-超详细图文教程
目录1 前言2 三大框架是什么？3 ssm演示4 目录结构：5 SSM框架整合配置全过程5.1，创建一个maven项目5.2、建包写代码1）建包：2）创建类及其方法：3）配置文件： 注意！！！：4）前端代码5）配置web.xml的文件6）数据库6 测试：7 结语：1 前言三大框架的整合在Java中使用的非常的频繁，网...
2019-09-06 12:44:36
2036
转载 由于格式(format)多次namenode造成的集群id(ClusterID)不一致问题
高可用集群（ha集群）,有两个namenode，一个active状态，一个standby状态。 1，当配置好第一个namenode后，第一次启动第一台namenode：hadoop-daemon.sh start namenode 2，第一次格式化namenode会产生集群ID(ClusterID)：hdfs namenode -forma...
2018-10-23 21:12:37
6189
原创 配置 Spark HistoryServer
第一步：cd /home/hadoop/apps/spark-2.3.2-bin-hadoop2.7/confcp spark-defaults.conf.template spark-defaults.conf在文件里面添加如下内容：spark.eventLog.enabled truespark.eventLog.dir ...
2018-10-20 22:14:56
222
转载 图解十大经典机器学习算法入门
弱人工智能近几年取得了重大突破，悄然间，已经成为每个人生活中必不可少的一部分。以我们的智能手机为例，看看到底温藏着多少人工智能的神奇魔术。下图是一部典型的智能手机上安装的一些常见应用程序，可能很多人都猜不到，人工智能技术已经是手机上很多应用程序的核心驱动力。图1 智能手机上的相关应用传统的机器学习算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。这篇文章将对...
2018-10-19 15:42:48
235
原创 actor编写配置
ActorServer：akka.actor.provider = "akka.remote.RemoteActorRefProvider"akka.remote.netty.tcp.hostname =localhostakka.remote.netty.tcp.port=6789ActorClient：akka.actor.provider = "akka.remote.Remot...
2018-10-12 14:03:21
369
原创 Scala学习（一）---练习
Scala练习object Demo01 { def main(args: Array[String]): Unit = { //创建一个List val lst0 = List(1,7,9,8,0,3,5,4,6,2) val arr = lst0.toArray //将lst0中每个元素乘以10后生成一个新的集合 val arr1 = fo...
2018-10-10 08:22:19
378
原创 Scala定义一个类、构造器、单例对象、伴生对象
1、定义一个Student类：package com.aura.scala.day03/** * 在scala的一个代码文件中，可以同时定义多个类 * 而且这多个类可以都是public的。那么其实如果没有使用任何的修饰，那么这个类其实就是pulbic的 * java定义的这个public的必须和代码文件的名称一样， * 但是，scala中， scala的代码文件的名称可以...
2018-10-09 19:47:42
1652
原创 Redis安装有可能报错解决方案
1、如果报如下的错误：执行：make MALLOC=libc 2、如果报如下的错误：hadoop@stormspark:~/workspace/redis2.6.13/src$ make testYou need tcl 8.5 or newer in order to run the Redis testmake: *** [test] Error 1则执行：ma...
2018-09-30 09:38:02
1037
原创 redis安装
软件安装1、版本选择：redis-3.2.6（支持分布式） 2、解压到对应的安装目录[hadoop@hadoop02 ~]$ tar -zxvf redis-3.2.6.tar.gz -C /home/hadoop/apps/3、进入到 Redis 根目录下去[hadoop@hadoop02 ~]$ cd apps/redis-3.2.6/ 4、然后依次执行以下命令 ...
2018-09-29 21:16:45
261
转载 动态规划算法
动态规划相信大家都知道，动态规划算法也是新手在刚接触算法设计时很苦恼的问题，有时候觉得难以理解，但是真正理解之后，就会觉得动态规划其实并没有想象中那么难。网上也有很多关于讲解动态规划的文章，大多都是叙述概念，讲解原理，让人觉得晦涩难懂，即使一时间看懂了，发现当自己做题的时候又会觉得无所适从。我觉得，理解算法最重要的还是在于练习，只有通过自己练习，才可以更快地提升。话不多说，接下来，下面我就通过一个...
2018-09-27 22:07:31
1647
原创 flume多路复制案例
多路复制案例 一个source的数据，同时写入到多个channel中，多个channel中的数据是一样的。 Agent1 -à agent2/agent3 Agent1： Source：netcat Channel：memory 2 Sink：avro 2 Agent2： Agent3：...
2018-09-20 01:10:36
1799
翻译 Flume的核心概念
1）Event：数据流的单位，数据收集，读写基本单位。包含header body：收集的数据 2）Agent： 数据收集代理 这里可以理解为一个数据收集的服务器 一个代理包含flume的一套的组件（source channel sink）3）三个核心组件；...
2018-09-20 01:04:40
1411
ojdbc14-10.2.0.4.0.rar
2019-11-13
jieba-analysis-1.0.2.rar
2019-10-30
sougou.dict
2019-09-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人