- 博客(27)
- 收藏
- 关注
RSS订阅原创 HDFS-GFS HBASE-BigTable
HDFS对标于Goole的GFS，目的是通过增加性价比高的商用服务器来横向扩展集群的存储和计算能力，主要组件为：NameNode,SecondaryNameNode,DataNodeBigtable是Google为了其搜索引擎应用推出的一种基于GFS的分布式数据模型，能够存储海量的结构化数据HBase对标于Goole的Bigtable，是基于HDFS分布式存储的面向列存储的数据库，能够存储海量结构化（表），半结构化和非结构化数据（图片，视频）。主要组件为：客户端，ZooKeeper，HMas..
2021-05-06 21:45:23
296
原创 史上最全MongoDB3.4下载教程（针对各种服务启动错误）
1.下载安装2.没有响应控制功能3.不能在本地计算机启动MongoDB4.无法启动MongoDB Server服务(位于本地计算机上)一：下载安装安装的版本(mongo 3.4)：mongodb-win32-x86_64-2008plus-ssl-3.4.4-signed.msi资源： 链接：https://pan.baidu.com/s/1Rb71jp-YJGHKXqcWL2fUKQ 提取码：tvpd我的路径：二：对MongoDB进行配置（1）配置环境变量MON.
2021-04-29 15:22:57
1352
原创 node02: Warning: Permanently added ‘node02,192.168.139.129‘ (ECDSA) to the list of known hosts.
删除know_hosts文件，删除.ssh文件夹重新生成.ssh，并且重新启动hadoop
2021-04-06 13:53:46
1771
原创 Ubuntu ZooKeeper 和 Hbase的安装和配置
Ubuntu ZooKeeper 和 Hbase的安装和配置启动顺序Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase停止顺序Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer一：下载安装配置Zookeeperapache-zookeeper-3.6.2-bin.tar.gz下载地址1.解压到/usr/localtar -zxvf apache-zookeeper-3.
2021-03-25 16:05:38
746
4
原创 Node.js学习笔记
Node.js学习笔记一：Web编程语言HTML 定义了网页的内容CSS 描述了网页的布局JavaScript 网页的行为二：Node.js简介引用文章 Node.js 是一个基于 Google 的 V8 引擎的事件驱动 I/O 的服务端 Java Script 环境，V8 引擎执行 Java Script 的性能非常好，速度相当快。非阻塞 I/O 模型具有轻量、高效的特点，Node.js 十分适用于搭建 响应速度快、易于拓展 的网络应用。 总的来说，Node.js 就是运行在服
2021-03-23 19:11:26
313
4
原创 BeautifulSoup爬取考研词汇
BeautifulSoup爬取考研词汇1.网页源代码分析2.直接上代码# -*- encoding:utf-8 -*-import urllib.request # 导入urllib库的request模块from bs4 import BeautifulSoup import lxml #文档解析器import os #os模块就是对操作系统进行操作import numpy as np
2021-03-21 19:50:54
1032
9
原创 Beautiful爬取海词网词汇意思和短语
Beautiful爬取海词网词汇意思和短语直接上代码# -*- encoding:utf-8 -*-import urllib.request # 导入urllib库的request模块from bs4 import BeautifulSoup import lxml #文档解析器import os #os模块就是对操作系统进行操作import numpy as np #列表、字典、
2021-03-21 10:38:21
519
2
原创 Hadoop完全分布式的搭建
Hadoop完全分布式的搭建（桥接模式）注：所有节点需要处于同一局域网下，条件限制，我们可以开启手机热点一：配置好网络1.修改3个hadoop配置文件中的IPcd /usr/local/hadoop-2.7.3/etc/hadoop/vim core-site.xmlvim hdfs-site.xmlvim yarn-site.xml2.更改网络设置中的IP，网关，DNS，子网掩码（根据热点的这些网络属性改）二：更改机名（方便管理）1.查看机名hostname2.更改机名（我
2021-03-19 15:19:55
209
原创 Ubuntu安装配置hadoop
Ubuntu安装配置hadoop简单介绍：因为hadoop是基于Java开发的，所以虚拟机得有jdk环境（hadoop配置文件hadoop-env.sh需要配置JAVA路径）每次启动hadoop要输入虚拟机密码，我们可以开启ssh服务，设置虚拟机免密登录1. 安装JAVA-JDK参考博文2.安装SSH服务，设置免密登录2-1：查看是否已经安装好ssh服务，若没有，则使用如下命令进行安装：apt-get install ssh openssh-server2-2：使用ssh进行无密码验
2021-03-19 14:57:49
554
2
原创 Ubuntu安装java jdk（jdk-8u161-linux-x64）
Ubuntu安装java jdk（jdk-8u161-linux-x64）一：java jdk(sun jdk/oracle jdk)与open-jdk的区别参考文章个人总结：授权协议不同，open-jdk（GPL V2）可供商业使用，开源；jdk（JRL）只允许个人研究使用。OpenJDK是JDK的开放原始码版本，（因为sun jdk因为产权问题无法开放给open jdk ），只包含最精简的JDK，所以OpenJDK源代码不完整oracle jdk这些不能开放的源代码 将它作成plugin（
2021-03-19 10:14:38
574
原创 Ubuntu E: 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用) E: 无法获取 dpkg 前端锁 (/var/lib/dpkg/loc
E: 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用) E: 无法获取 dpkg 前端锁 (/var/lib/dpkg/lock-front原因:出现这个问题的原因可能是有另外一个程序正在运行，由于它在运行时，会占用软件源更新时的系统锁（以下称“系统更新锁”，此锁文件在“/var/lib/apt/lists/”目录下），而当有新的apt-get进程生成时，就会因为得不到系统更新锁而出现”E: 无法获得锁 /var/lib/apt/lists/
2021-03-19 09:30:59
629
原创 ubuntu下载任何软件包都定位失败
ubuntu下载任何软件包都定位失败现象：这说明ubuntu软件源没有更新解决方法：找到软件更新器点击设置选择ubuntu软件一栏，勾选源代码关闭，等待软件源更新，需要一段时间成功：
2021-03-18 21:30:49
116
原创 Ubuntu如何实现共享文件夹
Ubuntu如何实现共享文件夹1.首先你得下载好vm-tools,没有的话可以参考我的上篇博客https://blog.youkuaiyun.com/qq_44732013/article/details/114986581?spm=1001.2014.3001.55012.右击虚拟机，虚拟机设置，选择选项，共享文件夹3.启用共享文件夹，选择本地共享的路径4.共享文件夹在虚拟机中的位置是/mnt/hgfs...
2021-03-18 21:26:42
818
原创 VM安装Ubuntu18.04（桥接模式）
VM安装Ubuntu18.04（桥接模式）1. 下载镜像文件在清华源下载镜像，保存在空间大的盘符（这里是D:）https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/18.04/建议下过一次之后保存在u盘中备份，这样下次就不用从官网上下了，比较快捷2.安装1.VM：文件——>新建虚拟机2.选择自定义3.下一步4.稍后安装操作系统5.选择Linux，版本选择Ubuntu64（因为主机是64位的）6.下一步7.设置
2021-03-18 19:57:11
995
1
原创 BeautifulSoup爬取国家政策网目标话题的10篇文章，以及基于jieba的关键字生成
BeautifulSoup爬取国家政策网目标话题的10篇文章，以及基于jieba的关键字生成引用链接1引用链接2一：基本步骤1.首先，写出需要访问的url,涉及到将中文转化为utf8编码，再转化为请求格式（后面有写如何转换）2.urllib.request.urlopen(url)向浏览器发出请求，并返回一个html页面3.此时我们用BeautifulSoup库以及页面解析器对返回的html页面进行解析，并找出存储文章链接的格子节点（标签名为div），返回BeautifulSoup对象4.再通
2021-03-12 21:10:26
2384
7
原创 BeautifulSoup学习笔记2——父节点，兄弟节点
BeautifulSoup学习笔记2——父节点，兄弟节点1. .parent 返回该节点的父节点，如果不存在则返回Nonesoup.parent#Nonesoup.html"""<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b>
2021-03-12 19:16:52
1903
1
原创 BeautifulSoup学习笔记
1. 查找tag的方法：点（.）节点名，只能获取第一个匹配子节点，可以多次调用soup.p#<p class="title"><b>The Dormouse's story</b></p>soup.p.b#查找tag的方法，直接.tag名，soup对象可以多次调用这个方法（点取属性，只能获得第一个匹配结果）#<b>The Dormouse's story</b>2. .contents与.children与.descenda
2021-03-12 16:51:55
261
原创 BeautifulSoup的简单介绍及简单用法
BeautifulSoup的介绍及简单用法1. 介绍beautiful是一种用来解析html或xml文件并根据需要提取相关内容的python库，一般用来做数据挖掘（爬取数据，并解析数据）from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc, 'html.parser')#，输入str,返回BeautifulSoup对象type(soup)#bs4.BeautifulSoupprint(soup.prettify())#使用pre
2021-03-12 12:55:56
1712
原创 通过Spark交互模式执行scala代码
在cmd中输入spark-shell进入Spark交互模式（前提是已经设置好了Spark环境变量以及path）“Spark’s primary abstraction is a distributed collection of items called a Dataset”Spark的主要抽象是Dataset的分布式item集合读取本地文件内容，返回一个Spark会话对象，文件中每一行作为一个itemval textFile =spark.read.textFile(文件地址）调用一.
2021-03-11 23:39:11
655
原创 intelliJ创建一个Spark项目
intelliJ创建一个Spark项目配置好maven——pom.xml文件为项目添加好支持框架scala设置项目源代码文件夹创建一个类，编写好代码，并顺利运行为项目生成一个jar包在cmd中执行jar包一：配置好maven——pom.xml文件1.文件——>创建一个maven项目2.部署maven数据库，设置国内镜像(在maven配置文件pom.xml中配置)2-1：maven数据库，中国镜像<repositories><repository>
2021-03-06 20:39:15
111
原创 Python下载Numba 失败
Python下载Numba 失败一：删除llvmlite以及numba包二：pip install llvmlite0.32.1pip install numba0.49.1
2020-12-07 10:53:05
682
原创 网络分析题
试题 J: 网络分析时间限制: 1.0s 内存限制: 512.0MB 本题总分：25 分【问题描述】小明正在做一个网络实验。他设置了 n 台电脑，称为节点，用于收发和存储数据。初始时，所有节点都是独立的，不存在任何连接。小明可以通过网线将两个节点连接起来，连接后两个节点就可以互相通信了。两个节点如果存在网线连接，称为相邻。小明有时会测试当时的网络，他会在某个节点发送一条信息，信息会发送到每个相邻的节点，之后这些节点又会转发到自己相邻的节点，直到所有直接或间接相邻的节点都收到了信息。所有发
2020-10-15 16:37:44
511
原创 如何用git上传本地文件到github
如何用git上传本地文件到github参考博客前情提要从本地建立一个库，再到github建立一个库，然后通过远程操作，实现两个库的互联。先进入本地的库，然后添加索引，上传文件，最后到github库中查看已上传到文件。1.绑定用户名及邮箱git config --global user.name (这里是官网注册的用户名)git config --global user.email (这里是官网注册的邮箱)2.到本地任意建立一个库（目录），里面存放需要上传的文件或目录可以图形界面直接创建
2020-10-15 00:10:01
106
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人