大数据-Linux基础
关注
分享
扫一扫
心雨先生
做一条有理想的咸鱼
展开
-
解决GitHub下载速度太慢总导致失败的问题
从GitHub下载文件一直非常慢，查看下载链接发现下载地址是http://github-cloud.s3.amazonaws.com/，从国内访问非常慢，所以总是下载失败。我验证了一下，发现先把gitHub上的代码导入导码云，然后咱们再从码云上下载，完全没问题。填入你想下载的gitHub上代码地址，同步导码云上；然后从码云上clone就没速度问题了。还有方法是直接配置hosts...原创 2020-04-21 10:14:25 · 2406 阅读 · 0 评论 -
7.6 zookeeper介绍和搭建
为什么使用zookeeper:大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进 程（如资源、任务分配等）目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用；保证分布式数据一致性zookeeper优点：最终一致性；为客户端展示同一个视图可靠性；如果消息被到一台...原创 2018-07-02 08:39:13 · 210 阅读 · 0 评论 -
7.2 redis命令
redis命令：redis-cli 进入Redis环境Help @string 获取所有string类型帮助Help @list 获取所有list类型帮助set 123 456 定义一个key=123,value=456的值get 123 查询key=123的值set key zhangsan ex 10 设置key,value值，并10秒后...原创 2018-06-27 10:10:06 · 261 阅读 · 0 评论 -
7.3 redis持久化
什么是持久化：将数据从掉电易失的内存存放到能够永久存储的设备上Redis为什么需要持久化：基于内存的 --关机数据就消失Redis持久化方式：RDB（Redis DB） --存数据 有2种形式，save直接持久化，但会阻塞；bgsave不会阻塞AOF（AppendOnlyFile） --存命令Redis持久化-RDB：在默认情况下，Redis 将数据库快照保存在名字为 dump....原创 2018-06-28 08:32:22 · 459 阅读 · 0 评论 -
7.4 redis集群
集群分类主从复制 Replication 高可用 Sentinel 集群 Cluster 分布式 twemproxy主从复制 Replication：一个Redis服务可以有多个该服务的复制品，这个Redis服务称为Master，其他复制品称 为Slaves 只要网络连接正常，Master会一直将自己的数据更新同步给Slaves，保持主从同步 只有Master可以执行写命令，Slaves只能执行读...原创 2018-06-29 10:13:46 · 262 阅读 · 0 评论 -
7.5 redis总结
RedisNoSQL Not Only SQL存储 内存有数据库的概念，默认16个数据库没有表的概念，直接key value类型：String 字符串 数字 BitMap--set--get--mset--mget--incr incrBy incrByFloat--desc descBy--setBit--getBit--bitCountList 有序--lPush RPush --LPOP R...原创 2018-06-29 10:14:38 · 220 阅读 · 0 评论 -
Linux基本知识
1.Linux和windows的区别 1.Linux是一款操作系统：正规开发一般都要使用Linux系统 2.Windows是一款民用操作系统，娱乐、影音、上网，中小型公司开发也使用Windows系统 windows有强大的日志系统，强大的桌面应用2.Linux系统历史及使用场景 1.Linux诞生于90年代，仿制unix操作系统 2.Linux是免...转载 2018-11-02 09:13:45 · 207 阅读 · 0 评论 -
三种连接ZooKeeper的方式
1. 使用客户端命令连接Zookeeper连接Server 使用命令./zkCli.sh -server 127.0.0.1:2181连接成功后返回如下信息：Connecting to 127.0.0.1:21812018-06-20 00:13:40,884 [myid:] - INFO [main:Environment@100] - Client environment:zo...转载 2018-11-02 09:22:38 · 15194 阅读 · 0 评论 -
Linux搭建nfs共享服务
NFS(network file system)网络文件系统，类似Windows中的文件夹共享，如下有三台机器A, B, C，它们需要访问同一个目录，目录中都是图片，传统的做法是把这些图片分别放到A, B, C。但是使用NFS只需要放到A上，然后A共享给B和C即可。访问的时候，B和C是 通过网络的方式去访问A上的那个目录。server机（A）：192.168.227.3Client...原创 2019-04-15 10:59:27 · 42468 阅读 · 0 评论 -
浏览器中访问Linux服务器上的图片(虚拟路径) + 重启tomcat
1,确定图片真实路径图片Linux真实路径：/opt/nfs1/1.png2.配置的tomcat的服务器文件vim tomcat/conf/server.xml添加<Context docBase ="/opt/nfs1/" path ="/pic" debug ="0" reloadable ="true"/>docBase为你的图片路径path里的是你随意...原创 2019-04-15 13:26:44 · 2155 阅读 · 0 评论 -
linux下在压缩的文件中找乱码
因数据核查需要，在一堆压缩文件中（共8269个压缩文件，200G的存储空间）找是否有乱码；在网上搜索了好的办法，结合自己实践，找到办法，先共享下，环境： linux、zh_CN.utf8一、先解压后搜索1、将同一上层的adb文件的压缩文件解压到当前文件夹（）：ls ../adb/* |xargs-n1 tar -xzvf2、搜索： grep -P "[\x80-\xff]" *.txt |hea...转载 2018-06-12 08:25:45 · 414 阅读 · 0 评论 -
Linux源码安装MySQL
源码包安装mysql --删除是直接删除安装路径就行准备的源码包：cmake-3.5.0.tar.gz 和 mysql-5.6.29.tar.gz 第一个为MySQL的依赖包tar -zxvf cmake-3.5.0.tar.gz ，进入主目录cd cmake-3.5.0 解压，进入解压包./bootstrap 配置检测 或者 ./configure --pr...原创 2018-05-08 09:23:00 · 450 阅读 · 1 评论 -
大数据准备-虚拟机系统安装和网络配置(2)
接上一篇：创建虚拟机二部分，系统安装1，创建好的虚拟机，右键，设置2，使用ISO印象文件—浏览找到自己的ISO文件确定3，开启虚拟机4，选择，默认第一个5，选择6，选择7，选择，简体中文，下一步8，键盘选择，美式英语，下一步9，选择，基本存储设备，下一步10，选择，忽略所有数据原创 2017-08-16 10:12:00 · 1340 阅读 · 0 评论 -
大数据准备-虚拟机克隆、克隆机网络设置、配置路由映射(3)
四部分：系统克隆1， 系统处于关机状态，右键—>管理—>克隆2，克隆源，虚拟机中的当前状态3，克隆类型，创建完整克隆4，新虚拟机名称node02完成第三个机子就和克隆第二个机子一样，名称node03五部分，设置node02,node03网络1，cd /etc/sysconfig/network-scripts进入netwo原创 2017-08-17 10:22:09 · 720 阅读 · 0 评论 -
shell 命令集合
局部变量：local var_name=值环境变量 ：export 名字=值$1:表示第一个参数 $2:第二个参数 $3:第三个参数 ....$? 上一个执行命令返回值(0是正确) $# 传递到shell脚本的参数个数>:覆盖重定向 >>:追加重定向2>:错误覆盖重定向 2>>:错误追加重定向 &>:全部重定向撤销变量：...原创 2018-05-09 08:43:13 · 841 阅读 · 0 评论 -
shell脚本命令
a=123echo "${a}" 显示的石123echo "$a bc" 显示 123 bcecho "${a}bc" 显示123bcvim 123.txt 创建一个123.txt的文档chmod 777 123.txt 给123.txt赋权限#!/bin/bash 申明文档类型(首行)echo "$1" 直接打印参数 $0 是文件名称 $? 取上步执行状态码，0是成功，1是失败...原创 2018-05-09 08:44:48 · 390 阅读 · 0 评论 -
Linux基本命令之常用命令
GUI：图像界面CLI:命令行接口vi /etc/passwd 查看root用户执行的程序ls 列出指定路径下的所有目录ll和ls -l是一个意思 显示当前路径下的所有长链接文件，显示比较全ls --help 查看命令帮助./ 切换到当前目录../切换到父目录../../ 切换到根目录touch tt.txt 创建文件ls -al 以长链接显示所有，包含隐藏文件yum -y inst...原创 2018-05-03 13:42:29 · 281 阅读 · 0 评论 -
Linux基本命令之vi和vim命令,时间同步
yum -y install vim 安装vimvi aaa.txt 编辑文件，没有就自动创建一个/you 查询文件中的you,按n继续查询下一个：%s/in/out/g 把文件中所有in替换成outG 光标切换到最后一行 gg 光标切换到第一行$ 光标切换到行尾 0 光标切换到行首 u 取消：set nu 显示行号：set nonu 取消行号:.,$-2d 当前行开始删除保留最后2...原创 2018-05-03 13:52:33 · 565 阅读 · 0 评论 -
Linux基本命令之文件操作命令
目录管理：ls ,cd, pwd,madir,rmdir,tree文件管理：touch,stat,file,rm,cp,mv,nano,vi,vim日期时间：date,clock,hwclock,cal,ntpdate查看文本：cat,tac,more,less,head,tail head -3 aaa.txt 查看前3行tail -3 aaa.txt 查看后3行|代表管道命令echo "hel...原创 2018-05-07 09:31:49 · 185 阅读 · 0 评论 -
Linux修改SSH默认端口和限制登陆ip
修改SSH默认端口方法实现：1，要改Linux SSH的默认端口（22），那么你只要修改：/etc/ssh/sshd_config中Port 22，这里把22改成自己要设的端口就行了，不过千万别设和现已有的端口相同哦，以防造成未知后果。vi /etc/ssh/sshd_config上面是注释22端口，添加新的端口10022然后再执行：/etc/init.d/iptables restart编辑防火...原创 2018-05-07 10:22:53 · 2906 阅读 · 1 评论 -
Linux软件rpm方式安装,yum源地址变更
rpm包安装 (不用配置环境变量)rpm -qa |grep jdk 检查是否安装过jdkrpm -e 包名 如果已经有了安装包，卸载rpm -ivh 包名 安装rpm包 yum remove 包名 yum卸载安装包yum安装：改变yum源地址：yum相当于maven的中心库，地址是可以改变的cd /etc/yum.repos.d 本地的yum源库路径配置文件https://mir...原创 2018-05-08 09:17:43 · 1941 阅读 · 0 评论 -
大数据准备-虚拟机安装之创建虚拟机(1)
虚拟机软件：vmware 12虚拟机系统：CentOS-6.8-x86_64-minimal.iso一部分，创建虚拟机1， 打开VMvare -> 创建新的虚拟机2， 选择，自定义（高级）->下一步3， 选择，Workstation 12.0,其他默认à下一步4，选择，稍后安装操作系统->下一步原创 2017-08-15 16:34:41 · 1840 阅读 · 0 评论