- 博客(34)
- 收藏
- 关注
RSS订阅原创 【Linux】常用系统命令
`ifconfig`（较老的系统）：配置或显示网络接口的网络参数。- `touch`：创建新文件或更新现有文件的时间戳。- `dnf`（Fedora）：新一代的包管理工具。- `more`：分页查看文件内容（较老的命令）。- `df`：报告文件系统的磁盘空间使用情况。- `df`：报告文件系统的磁盘空间使用情况。- `chown`：改变文件或目录的所有者。- `chmod`：改变文件或目录的权限。- `chgrp`：改变文件或目录的群组。- `htop`：改进版的 top 命令。
2024-10-09 14:51:53
704
1
原创 使用命令mvn dependency:tree报错
1.settings.xml文件中localRepository配置错误。3.再次执行mvn dependency:tree，即可成功打印依赖树。2.修改localRepository为真实使用的仓库即可。
2023-03-27 19:24:37
2227
1
原创 【IDEA】tomcat 控制台乱码问题
0、乱码ing 1、找到 tomcat 所在文件夹 可以通过 tomcat 配置中查看文件位置 2、找到 conf 文件夹下的 logging.properties 文件 3、将日志编码默认的 UTF-8 改为 GBK 4、成功
2020-07-26 22:10:51
337
原创 【mybatis-config.xml】配置文件头部声明
<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
2020-07-19 22:44:56
794
原创 【applicationContext.xml】spring 配置文件头部声明
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www
2020-07-19 22:26:42
455
1
原创 【web.xml】头部声明 3.0 版本
<?xml version="1.0" encoding="UTF-8"?> <web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.or
2020-07-19 22:16:54
827
原创 【GitHub】找开源项目，组合搜索
直接搜索 “查询内容”，全局搜索，查找结果集大，不方便定位 组合搜索 名字 in:name “查询内容” README in:readme “查询内容” 描述：description in:description “查询内容” stars stars:>指定数量 forks forks:>指定数量 最近更新时间 pushed:>xxxx-xx-xx eg：in:description spark language:java stars:>1000 forks:>1000 pus
2020-07-19 16:00:17
217
原创 【eclipse】xml文件编辑智能提示
dtd、xsd文件 找到 xml 文件中 的 dtd、xsd 文件的物理位置 添加新的文件，找到文件所在路径，选择 URI，填写 xml 文件中的 拷贝 “key”值【不带双引号】 提示触发配置 Window ==> Preferences ==> 修改提示触发条件 <=:.abcdefghijklmnopqrstuvwxyz(, ...
2020-07-08 22:57:51
458
原创 【IDEA】利用git从GitHub上clone项目
IDEA中GitHub账号登录 File ==> Settings ==> Version Control ==> GitHub ==> 添加账号【输入账号和密码】==> Apply 测试 git 连接【下载并安装git】 测试 git 连接 ==> OK clone项目 VCS ==> Git ==> clone 输入 GitHub 中项目的 URL，指定克隆项目存放路径，点击 clone 即可完成 ...
2020-07-08 10:50:16
3211
原创 MySQL安装与卸载（登录）
安装 下载所需文件 到官网下载页面下载所需版本mysql https://dev.mysql.com/downloads/file 解压版本mysql 1.解压到指定目录 2.配置环境变量 1)MYSQL_HOME：mysql安装目录 2)PATH：mysql的bin目录 3.配置myini【mysql目录中没有时新建即可】 [client] # 设置mysql客户端默认字符集 default-character-set=utf8 [mysqld] # 设置3306端口 port
2020-06-17 15:47:22
193
原创 【JVM】Object obj = new Object()
1.请解释一下对象的创建过程 1）申请一块内存，变量值为默认值（半初始化） 2）调用构造方法，变量值进行赋值（初始化） 3）建立关联，指向内存 2.volatile与DCL问题 volatile关键字的作用：1）保证线程的可见性：一个线程的改变，另一个线程很快可以看到；2）禁止指令重新排序：CPU为了提高执行效率，会将指令并发执行，一个指令执行到一半的时候另一个指令开始执行，流水线式不间断，在此过程中就会出现指令重新排序。加了volatile关键字，就不会发生指令重新排序了。 DCL：Doubl
2020-05-29 23:26:15
3073
原创 【Maven】Eclipse配置Maven
1.准备maven 下载好对应版本的maven 2.解压部署maven核心程序 将下载的maven压缩包解压到一个非中文无空格的目录下——D:\maven\apache-maven-3.6.3 配置环境变量：MAVEN_HOME 和 PATH MAVEN_HOME D:\maven\apache-maven-3.6.3 PATH ...
2020-03-17 20:06:24
160
原创 【Hadoop】三、集群时间同步
时间服务器配置 时间服务器master01配置（必须是root用户） 修改ntp配置文件【/etc/ntp.conf】 # 修改1 授权192.168.1.0-192.168.1.255网段上的所有机器都可以从这台机器上查询和同步时间 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # 修改2 集群在局域网中，不使用其他...
2020-02-17 00:09:06
183
原创 【Spark】八、配置Yarn模式
启动HDFS【进入hadoop安装目录下：sbin/start-dfs.sh】 修改Yarn的配置文件【进入hadoop安装目录下：/etc/hadoop/yarn-site.xml】 <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <...
2020-02-16 23:20:26
219
原创 【Spark】七、提交jar包执行任务
scala和spark-core无需打包 <!-- 编译环境能用，运行环境不可用 --> <scope>provided</scope> spark-wordcount的pom.xml文件中添加打包插件【每个插件都有自己的文档，具体配置看文档】 <!--配置构建信息--> <build> <pl...
2020-02-16 20:26:50
377
原创 【Spark】六、org.apache.hadoop.security.AccessControlException
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=L.MOON, access=WRITE, inode="/user/lsy/result1/_temporary/0":lsy:supergroup:drwxr-xr-x Caused by:...
2020-02-16 17:19:56
306
原创 【Spark】五、Maven编写WordCount
1.Maven工程【父子结构搭建】 打开IDEA，新建Maven Project【spark】，填写Maven的GAV 创建好maven项目之后，点击Enable Auto-Import 修改spark的pom.xml文件 <!--表明当前项目是一个父项目，没有具体代码，只有声明的公共部分--> <packaging>pom</packaging> -...
2020-02-15 22:51:57
576
原创 【学术】综述综述综述writing
1.综述是什么？ 综述，将某领域近年来所有的研究进展情况，书写人对这些研究进展的看法，以及它对未来的研究方向的评价 综述是指就某一时间内，作者针对某一专题，对大量原始研究论文中的数据、资料和主要观点进行归纳整理、分析提炼而写成的论文【百度百科】 齐：麻雀虽小，但五脏俱全 评：评估每一个东西 2.怎么写综述？ step1.收集综述 找近期的综述，最好将近期该领域中相关综述都收集起来【...
2020-02-12 23:11:12
314
转载 【Maven】IDEA配置Maven
1.官网下载所需maven压缩包 https://maven.apache.org/download.cgi 2.解压到指定目录 所在目录不存在空格 3.新建repository文件夹和setting.xml文件 编辑setting.xml文件 <?xml version="1.0" encoding="UTF-8"?> <settings xmlns="...
2020-02-11 00:02:44
165
原创 【Spark】四、提交jar包执行
bin/spart-submit【回车，可以看到所有的参数】 一旦打包好,就可以使用bin/spark-submit脚本启动应用了. 这个脚本负责设置spark使用的classpath和依赖,支持不同类型的集群管理器和发布模式 /bin/spark-submit --class <main-class> --master <master-url> --dep...
2020-02-10 15:02:02
436
原创 【Spark】三、配置HA【Standalone模式】
启动HDFS sbin/start-dfs.sh 进入到spark安装目录 停止spark所有服务 sbin/stop-history-server.sh sbin/stop-all.sh ----------------------------- sbin/stop-slaves.sh sbin/stop-master.sh 注意：集群操作顺序 先启动master，再启动sl...
2020-02-10 14:23:35
239
原创 【Zookeeper】六、监听服务器节点动态上下线
某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器上下线的变化 1.需求分析 无论是服务器端，还是客户端，相对于zookeeper集群来说“都是客户端”，服务器端的“客户端”向zookeeper集群中写数据，客户端的“客户端”监听写在zookeeper集群上的数据的变化 服务器端启动时去注册信息【创建的都是临时节点】 客户端启动就getChildr...
2020-02-10 00:39:32
368
原创 【Zookeeper】五、API应用
1.eclipse环境搭建 eclipse中新建maven project 创建一个simple project 添加pom.xml <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId>...
2020-02-09 23:22:31
119
原创 【Zookeeper】四、内部原理
1.选举机制 半数机制：集群中半数以上机器存活，集群可用 因此，Zookeeper适合安装奇数台服务器。 Zookeeper在配置文件中没有指定master和slave。但是，Zookeeper在工作时，是有一个节点为leader，而其他节点则为follower 注意：leader是由内部的选举机制临时产生的。 假设有五台服务器组成的Zookeeper集群，它们的id为1-5，且都是...
2020-02-09 21:22:07
145
原创 【Zookeeper】三、客户端命令行操作
启动客户端：bin/zkCli.sh 显示所有操作命令：help 查看当前znode节点所包含的内容：ls / 查看当前zndoe节点详细数据：ls 创建普通节点：create 注意：创建节点就要写数据，否则创建不成功 获取节点的值：get 创建短暂节点：create -e 注意：退出客户端之后，即客户端与服务器断开连接之后，再重新...
2020-02-09 00:36:06
260
原创 【Zookeeper】二、分布式模式安装
集群规划：在master01,，slave01和slave02三个节点上部署Zookeeper 解压安装 在master01下解压安装到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 将zookeeper安装目录分发到slave01和slave02 scp -r zookeeper-3.4.10/ slave01:/opt/mo...
2020-02-07 23:40:15
175
原创 【Zookeeper】一、Standalone模式安装
准备工作 安装jdk 上传zookeeper安装包到服务器Linux系统下【xftp传输】 解压到指定目录 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 修改配置文件 进入zookeeper安装目录 [lsy@master01 zookeeper-3.4.10]，创建zkData目录 mkdir zkData 在conf目...
2020-02-07 22:06:37
229
原创 【Linux】基本命令
1.处理目录的常用命令 ls：列出目录 -a ：全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来(常用) -d ：仅列出目录本身，而不是列出目录内的文件数据(常用) -l ：长数据串列出，包含文件的属性与权限等等数据；(常用) cd：切换目录 cd ~：回到自己的home目录 cd ..：回到上级目录 pwd：（Print Working Directory）显示目前的目录 mk...
2020-02-06 21:54:16
143
原创 【Spark】二、配置日志服务器【Standalone模式】
Hadoop是可用的，可以访问HDFS 进入到spark安装目录，到conf目录下 复制spark-defaults.conf.template为spark-defaults.conf cp spark-defaults.conf.template spark-defaults.conf 修改spark默认配置文件：spark-defaults.conf spark.eventLog....
2020-02-04 23:48:53
483
原创 【Hadoop】二、完全分布式模式
集群准备 三台服务器：master，slave01，slave02 jdk1.8及以上，在/etc/profile中设置JAVA_HOME环境变量 hadoop2.7，配置 HADOOP_HOME 环境变量 # /etc/profile # JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$...
2020-02-04 21:16:39
164
原创 【Spark】一、Standalone模式安装
1、准备虚拟机三台：master、slave01、slave02 （一台成熟的虚拟机可供拷贝：已安装好jdk1.8及以上） vim /etc/udev/rules.d/70-persistent-net.rules；删除eth0，修改eth1为eth0，复制物理ip地址【HWADDR】； vim /etc/sysconfig/network-scripts/ifcfg-eth0；修改物理ip...
2020-02-04 02:45:28
351
原创 【Hadoop】一、伪分布式运行模式
虚拟机ip都已配置完成 [ 克隆的虚拟机，获取静态ip（修改eth0，复制HWADDR）] vim /etc/udev/rules.d/70-persistent-net.rules [ 修改虚拟机的ip ] vim /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO=static ONBOOT=yes IPADDR ...
2019-12-13 20:08:13
287
原创 【Spark】win10系统下基本环境配置
文章目录基本环境配置jdk安装与环境变量配置Spark安装与环境变量配置Hadoop安装与环境变量配置end 基本环境配置 每一天都有新发现。 接触新技术内容，就要为其配置相应所需的环境，我的电脑装的是win10系统，所以基本环境配置介绍如何在win10系统下完成spark基本环境配置。 jdk安装与环境变量配置 首先要下载完成，才能继续安装。下载地址如下： https://www.oracle....
2019-05-26 11:59:18
482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人