- 博客(41)
- 收藏
- 关注
原创 [亲身实践]pyspark读取hive中的表的两种方式
1.window上无法连接到hive,linux上能连接到hive法一(1)把/opt/soft/hive110/conf/hive-site.xml复制到/opt/soft/spark234/conf/hive-site.xmlhive-site.xml不用改变任何东西(3)开始启动pyspark[root@joy sbin]# ./start-all.sh starting org.apache.spark.deploy.master.Master, logging to /opt/s
2020-12-24 12:09:57
5165
7
原创 Hadoop集群配置的5步骤(单机/集群都适用)
hadoop5步骤:1.vi hadoop-env.shexport JAVA_HOME=/usr/local/softwave/jdk1.8.0_111export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/usr/local/softwave/hadoop-2.7.3export HADOOP_MAPRED_HOME
2020-10-28 19:59:05
250
原创 Hive函数大全
这里用的数据是:test1数据库1.!逻辑非2.!=不等值比较a!=b-如果a不等于b,则返回TRUE举例:select * from score where name != '张三';+-------------+-------------+---------------+--+| score.name | score.type | score.tscore |+-------------+-------------+---------------+--+| 李四
2020-08-29 20:54:09
22402
1
原创 hive的配置1
#---------------------配置-----------------------#[root@vwmaster conf]# pwd/opt/bigdata/hadoop/hive110/conf–新建hive-site.xml文件------------ thrift => rpc -----------------–ipc => 同节点进程之间函数调用–rpc => 不同节点进程之间函数调用(微服的核心)–thrift通过一个中间语言IDL(接口定义语言)
2020-08-25 15:42:43
18587
转载 Java多线程
https://blog.youkuaiyun.com/weixin_44695793/article/details/106572236
2020-08-19 17:40:20
11562
转载 linux下hadoop的搭建
https://blog.youkuaiyun.com/weixin_44695793/article/details/108010521
2020-08-16 10:46:05
1376
原创 lunix后台启动
ctrl+c:结束当前的进程ctrl+d:退出远程登陆ctrl+z:切换到后台nohup ./elasticsearch >eslog.log 2>&1 &
2020-08-15 01:49:33
1197
原创 logstash收集日志文件详细操作步骤l
java -jar lsdemo.jar 0 10000touch logsta.logvi logsta.log把下面得内容粘贴进logsta.log 中input{ file{ path => "/root/ls/log/mylog.log" start_position => "beginning" sincedb_path => "/dev/null" type => "go" }}filter{ if[type] == "g
2020-08-12 16:55:04
1498
转载 linux下安装tomcat
https://blog.youkuaiyun.com/weixin_44695793/article/details/107902101
2020-08-11 23:35:45
356
转载 linux下安装jdk
linux下安装jdkhttps://blog.youkuaiyun.com/weixin_44695793/article/details/107901994
2020-08-11 23:34:36
199
转载 linux下免密连接
https://blog.youkuaiyun.com/weixin_44695793/article/details/107902408
2020-08-11 19:41:25
238
转载 linux下mysql的安装
https://blog.youkuaiyun.com/weixin_44695793/article/details/107902252
2020-08-11 18:38:01
173
转载 Virtual Box安装Centos7教程
https://blog.youkuaiyun.com/qq_34566673/article/details/106583850
2020-08-11 18:36:01
201
原创 Lunix虚拟机的基本练习题操作2(新手必看)
1、切换到root根目录 cd /root2、创建文件夹story以及story的子目录fantacy和lovemkdir storycd storymkdir fantacy love3、在story/fantacy下创建文件love.txt,在story/love下创建文件test.txtcd fantacy touch love.txtcd ../love touch test.txt4、在love.txt中添加如下内容:Of all the areas of contemp
2020-08-07 16:11:04
2370
1
原创 Linux虚拟机操作命令大合集(持续更新)
一、基础命令查看虚拟机配置:pwd 显示当前目录uname -a(内核版本查看)rpm -q centos-release(系统版本查看)cat /proc/cpuinfo |grep "name" (cpu核心查看) // | 后面内容为信息过滤cat /proc/meminfo |head -4 (查看内存信息)(前4行)df -h (查看磁盘空间信息)1.路径切换pwd 查看当前目录的全路径cd / 切换至根目录cd ../ 返回上
2020-08-07 16:07:05
33454
原创 Lunix下设置域名的别名的操作步骤
1、设置别名hostnamectl set-hostname alias2、查看别名hostname3、编辑IP配置文件:查看ip: ifconfigvi /etc/sysconfig/network-scripts/ifcfg-enp0s3(Vmware:ens33) 在ifcfg-enp0s3中添加修改BOOTPROTO=staticONBOOT=yesIPADDR=192.168.XX.XXX4、保存并强制出esc + :wq!5、重启网络服务systemctl(
2020-08-07 15:09:45
501
原创 Lunix虚拟机的基本练习题操作1(新手必看)
例题(以下操作都是在虚拟机的环境下进行操作,我个人是在Xshell6中操作的)1.创建文件夹packmkdir pack2.详情查看当前目录的所有目录和文件ls -la3.进入packcd pack/4.退回pack的上一级目录cd ../5.在pack中创建文件demo.txttouch pack/demo.txt 6.进入demo.txt的命令行模式vi pack/demo.txt7.在demo.txt的命令模式下不保存退出:q!8.查看demo.tx
2020-08-07 15:02:17
1098
原创 Lunix下rmp maria-mysql 安装
1.查看默认数据库rpm -qa|grep mariadb2.删除默认数据库yum remove [-y] xxx3.安装mysql的repo源wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm4.如果wget不能使用yum install [-y] wget5.rpm安装mysql的rpm包rpm -ivh mysql-community-release-el7-5.noarch.rpm6.y
2020-08-07 14:48:48
227
原创 Lunix下tar jdk的安装教程
1.解压 jdk-8u111-linux-x64.tar.gztar -zxvf jdk-8u111-linux-x64.tar.gz -C ../bigdata2.配置环境变量vi /etc/profileexport JAVAHOME=/opt/bigdata/jdk180export PATH=$JAVAHOME/bin:$PATHexport CLASSPATH=.:$JAVAHOME/lib/dt.jar:$JAVAHOME/lib/tools.jar3.激活环境变量sourc
2020-08-07 14:25:54
200
原创 MyBatis终级总结
一.mybatis.xml中的配置及详细介绍解释<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><configuration> <!--把html和properties关联起来-->
2020-08-05 18:51:24
1409
1
原创 Spring框架的bean factory
1、bean factory(1)依赖:<dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>5.2.6.RELEASE</version></dependency>(2)对象托管(3)配置文件<?xml version="1.0" enco
2020-08-04 18:52:24
438
原创 spring框架与mybatis框架整合做项目
spring-mybatis(1) 依赖:1.mysql-driver2.mybatis3.spring4.spring-jdbc5.spring-mybatismybatis的原理:spring的原理:spring框架与mybatis框架整合,首先先从jdbc(java.sql包下提供的一套接口,statement)开始,从底层往上走,结果集怎么映射成java的对象(2) 配置<?xml version="1.0" encoding="UTF-8"?><beans
2020-08-04 17:33:38
5787
1
原创 前端必须学-掌握ajax
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>xxx</title> <link rel="stylesheet" href="/lib/xxx/css/index.css"> <link rel="stylesheet" href
2020-07-31 10:10:20
3902
1
原创 JSP配置细节
index.jsp 中(1).<%@page language=“java” pageEncoding=“UTF-8” contentType=“text/html; UTF-8” %><%@taglib prefix=“c” uri=“http://java.sun.com/jsp/jstl/core”%>这个两个必须要有(2).<c:forEach items:items:表示集合,使用el(${})表达式来拿取${}里面写键值对里的键,比如stus,va
2020-07-29 01:58:27
382
原创 JDBC介绍
JDBC是连接Java和数据库的桥梁,能够在Java中能够执行SQL语句,是java提供面向关系型数据库额标准接口,通过用Java编写出来的类和接口组成的。接口名称说明Connectionjava.sql.ConnectionStatementjava.sql.StatementPreparedStatementjava.sql.PreparedStatementCallableStatementjava.sql.CallableStatementRes
2020-07-13 00:53:42
276
原创 Jdbc中maven.jar包配置教程详解
各位同僚,介绍一下,在idea中怎么配置maven首先,自己找一个maven架包注意maven的架包打开后,呈现的状态,应该是这样在这里插入图片的样子(提醒一下:maven-3.5.4不能是在maven-3.5.4下的子文件,这样路径会出问题)接下来打开conf,conf文件夹下,有setting.xml文件,打开,建议用notepad++打开 mysql mysql-connector-java 5.1.38...
2020-07-11 12:28:05
934
1
原创 解决问题:Xshell6中mysql不允许插入中文
#-----------------------mysql不允许插入中文的解决办法--------------------------------For advice on how to change settings please seehttp://dev.mysql.com/doc/refman/5.6/en/server-configuration-defaults.html[client]default-character-set=utf8[mysqld]Remove leading
2020-07-06 00:05:03
1206
原创 解决问题:linux虚拟机忘记root密码
#------------------------------忘记root密码----------------------------------#找到mysql配置文件cd /find -name ‘my.cnf’vi /etc/my.cnf[mysqld]skip-grant-tables 免密登陆esc :wq!systemctl restart mysql#免密登陆mysql -u root 回车#修改密码update user set password=password(‘
2020-07-05 23:59:45
369
原创 Mysql基础查询
#数据库查询#1.简单查询selectFILELDS… 列筛选fromTABLENAMEwhere 原始数据行筛选… 行筛选:筛选的是表,对表中的原始数据进行筛选,只能控制原始表的一次筛选where中间用and连接group by 分组FILELDS… 左1为主,其右依次为辅,以逗号分隔多字段分组的注意:分组有主次之分having 分组结果,二次筛选order by 排序[FILELDS ASC默认/DESC降序]… 默认是升序limit
2020-07-05 23:56:45
218
原创 js中的字符串拼接
console.log(“5”+2); 输出52console.log(“5”*2); 输出10console.log(parseInt(“5”)+2); 输出7console.log(“aa”.concat(“bb”)); 输出aabb
2020-06-22 19:27:59
329
原创 Java 分支结构
1.分支结构(选择结构)(1)单分支:过滤(条件满足,就执行语句,条件的最终形式就是boolean)if(条件){语句块;}(2)双分支(条件成立(true)执行语句块1,条件不成立(false)执行语句块2)if(条件){语句块1;}else{语句块2;}(3)多分支针对连续的区间进行判断1.if…else if…else…if(条件1){语句块1;}else if(条件2){语句块2;}else if(条件3){语句块3;}else{语句块4;}2.sw
2020-06-14 02:58:58
291
1
原创 数值和字符可以相互转化
其实字符也是数值类型System.out.println((int)‘a’);System.out.println((char)97);输出结果:97a数值和符号之间可以相互转化,所以在switch…case…中除了能适用于数值,也能使用字符
2020-06-14 02:43:20
290
原创 java 去小数方法
public class Test {public static void main(String[] args) {//如何去掉小数double n = 2.369;System.out.println(Math.floor(n));}}
2020-06-14 01:12:53
1533
原创 Java控制台输入
控制台输入1.导包:import java.util.Scanner;2.创建工具对象:Scanner input = new Scanner(System.in);同一个input对象可以重重复使用3.输入之前通常需要【提示语句】:System.out.print(“xxx”); 不换行4.从控制台可以获得各种类型的值(1)字符串:String val = input.next();(2)单字符:char val = input.next().charAt(0);//单字符串
2020-06-13 15:47:28
247
原创 java 三元运算符
三元运算符1.作用:赋值2.基本结构:xxx val = boolean val/逻辑表达式 ? val1 : val23.简单介绍:这个表达式大方向来说是从右边向左边,右边的值赋值给左边,而右边先进行判单如果布尔值或者前面的表达式成立,值就是val1,不成立值就是val2;true就是val1,false就是val2。4.案例:byte bgender = 0;String gender = bgender = 1 ? “男” : "女”;System.out.println(“性别:”
2020-06-13 15:24:05
291
原创 Java中LinkedList链表
1.头节点(根节点):指向第一个节点 root2.尾节点(当前节点):最后一个节点就是当前节点 curr3.节点插入和删除都有三种情况4.节点对外不可见private class Node{Node prev; //前节点T t; //当前节点存储值Node next; //下一个节点 //鹅蛋存在对象,会有什么样的情况 **//情况1:** //没有上一个节点,也没有下一个节点,就只有它自己 public Node(T t){ //
2020-06-02 20:08:23
272
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人