积小流成江河

python实现分词和词云一、下载wordcloud安装二、wordcloud的使用2.1 分词2.2 制作词云2.3 运行输出三、踩坑记录制作词云的目的是找出物联网专业职位所需技能的关键词，首先爬去了boss直聘和智联招聘上的物联网专业职位的技术要求，爬取方法参考链接。一、下载wordcloud安装下载链接,根据系统类型和python版本选择下载合适的wordcloud版本安装命令：pip install wordcloud-1.8.1-cp36-cp36m-win_amd64.whl二、wo

一、概述HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统；HBASE只做查询和处理；数据量小的时候不适合用HBASE;HBASE写的时候非常慢，因为文件存在HDFS上；（读和写是一个此消彼长的过程，因为向快速的查，就必须建索引，写的时候就必须维护索引，就会变慢）HBASE的元数据表hbase:meta的位置存放在zookeeper上，HBASE从这个位置读取元数据，再根据元数据从HDFS读取数据；二、部署三、使用四大Nosql：图数据库：任务关系；文档数据库：键值对数

1.资源准备下载Maven：官网下载地址，点这里可下载旧版本下载IDEA：官网下载地址，专业版需要购买，可使用30天，也可下载社区版，网上也有很多破*解方法，自行查找。2.配置Maven2.1 解压maven，把maven-3.5.4放到D:\Program Files2.2 配置环境变量(1)新建->变量名"MAVEN_HOME"，变量值"D:\Program Files\maven-3.5.4"（即maven的安装路径）(2)编辑->变量名"Path"，在原变量值的最后面加

1、安装JDK开发环境下载网站：http://www.oracle.com/开始安装JDK：修改安装目录如下：确定之后，单击“下一步”。注：当提示安装JRE时，可以选择不要安装。2、配置环境变量：对于Java程序开发而言，主要会使用JDK的两个命令：javac.exe、java.exe。路径：C:\Java\jdk 1.7.0 _09\bin。但是这些命令由于不属于windows自己的命令，所以要想使用，就需要进行路径配置。单击“计算机-属性-高级系统设置”，单击“环境变量”。在“

一、概念分布式集群的协调者，选举出namenode，zk=文件系统+通知机制二、部署2.1 下载下载官网下载完成后把安装包上传到虚拟机hadoop100，上传方法请参考教程中的2.1 上传安装包2.2 安装安装的前提：确认关闭防火墙进入到安装目录：cd /usr/local/src解压：tar zxvf apache-zookeeper-3.5.5-bin.tar.gz修改名字： mv apache-zookeeper-3.5.5-bin zookeeper-3.5.5(这一步不是必要

1.环境准备1.1克隆1.2修改ip、主机名2.配置Hadoop3.格式化并单点启动4.配置免密登陆，群启动5.运行Wordcount

Hadoop集群的部署方式方式分为三种，分别是独立模式（Standalone mode）、伪分布式模式（Pseudo-Distributed mode）、完全分布式模式（Cluster mode），具体介绍如下。（1）独立模式：又称为单机模式，在该模式下，无需运行任何守护进程，所有的程序都在单个JVM上执行。独立模式下调试Hadoop集群的MapReduce程序非常方便，所以一般情况下，该模式在学习或者开发阶段调试使用。（2）伪分布式模式：Hadoop程序的守护进程运行在一台节点上，通常使用伪分布式模式

VMware安装centos7（用于分布式Hadoop集群部署）1.安装VMware Workstation Pro 15下载安装2.安装Centos7下载功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1.安装VMware Wo

爬虫概论

从零开始学Python一、安装Python二、基本操作三、基本运算四、判断控制语句四、循环语句五、定义函数一、安装Python推荐初学者安装Anaconda。安装时选择Python 2.7版本。对于熟悉Matlab或者R的初学者，推荐使用Anaconda中的Jupyter和Spyder作为python的编译器。二、基本操作1.输出到屏幕Python中print函数可以将结果输出到屏幕。在Python 2.7中，以下两种方式皆可。print "Hello SofaSofa!"print('He

安装GNOME和KDE图形化桌面1.使用CD/DVD介质配置本地Yum源2.安装GNOME图形化桌面2.1 安装GNOME：2.2 设置在系统启动时进入图形化桌面3.安装KDE图形化桌面3.1 安装KDE：3.2 设置在系统启动时进入图形化桌面环境准备：最小化安装的Centos7系统1.使用CD/DVD介质配置本地Yum源首先在 VMware Workstation 中添加 CD/DVD 虚拟光驱并使用 CentOS ISO 镜像文件，然 后在 CentOS 中挂载光驱，命令如下：mkdir /mn

密码是我们登录系统的凭证，但有时我们可能会忘记密码。在 Windows 中，如果我们忘记了登录密码，那么可以使用 PE 系统来轻松地重置密码，而在 Linux 中我们并不能同样使用 PE 系统来重置密码，可以使用 Linux 的 emergency 模式来重置密码，操作步骤如下所述。1. 重新启动系统重新启动系统后，在如图所示的界面中可以在 5 秒内通过键盘方向键来阻止系统正常启动，然后通过键盘方向键移动到第 1 行并按 E 键来编辑系统的启动参数。2. 进入 emergency 模式通过键盘方向

1.安装VMware Workstation Pro 15VMware Workstation是一款功能强大的桌面虚拟计算机软件，提供用户可在单一的桌面上同时运行不同的操作系统，和进行开发、测试 、部署新的应用程序的最佳解决方案。1.1 下载本次使用的版本是VMware Workstation Pro 15。下载的方法不多介绍，百度搜索VMware 15。可参考此链接(随着时间流逝可能会失效)。1.2 安装双击打开安装包：接受许可，点击下一步；修改安装目录到D盘，勾选增强型键盘驱动程序：

创建类和方法的注释模板(通过快捷键使用)类注释File->Settings->Editor->Live Templates->Class/** * @Description: TODO * @author: yourname * @date: $DATE$ $TIME$*/配置成功后，在编辑框输入cls就可联想到，如下图：敲击回车按键即可：方法注释** @Description: TODO* @author: yourna.

CentOS7最小化安装1.1 下载CentOS7镜像1.2 创建虚拟机1.3 系统安装1.1 下载CentOS7镜像下载Centos7镜像地址：下载链接，链接中有不同的镜像，自行选择选择DVD版的镜像进行下载：1.2 创建虚拟机打开VMware Workstation Pro 15（安装教程），点击创建新的虚拟机，选择自定义安装。选择Workstation 15.x，点击下一步选择 稍后安装选择Linux -> Centos 7 64位，根据自己要安装的系统类型进行选择，

Xshell、Xftp的下载和安装教程1. 下载2. Xshell的使用3. Xftp的使用Xshell 介绍：Xshell是一个功能强大的终端模拟器,支持SSH,SFTP、TELNET、远程登录命令连接，让本地和服务器之间产生连接。Xftp 介绍：Xftp是一个灵活和轻量级SFTP / FTP客户端用户需要安全地通过网络传输文件。让本地和服务器之间进行文件交换(上传和下载)。1. 下载https://www.netsarang.com/zh/all-downloads/选择下载Xshell和X

CentOS7系统安装后的基本配置1. 修改主机名2. 网络配置3. 配置防火墙和SELinux4. 更换国内Yum源5. 配置系统时间同步1. 修改主机名方法一：hostname命令一次性修改，重启后恢复切换用户或重新打开终端就可以看到主机名已经修改，重启系统后恢复。方法二：hostnamectl命令永久修改，会修改/etc/hostname的内容方法三：修改主机名配置文件（需要重启，永久修改）主机名配置文件中写入主机名：2. 网络配置进到桌面后，再桌面点击右键，选择最下面“打

使用MobaXterm远程连接Centos71. 下载MobaXterm2. 使用MobaXterm连接服务器3. 遇到的问题Linux 大多用于服务器，而服务器不可能像个人计算机一样被放在办公室，它们是被放在IDC 机房的，通常我们是没有权限进入机房的，即使我们能进入机房，也不会希望每次操作都要去一趟机房，所以可以远程登录 Linux 进行相关操作。比如，我们在服务器提供商那里购买了服务器后，服务器提供商会提供服务器的 IP 地址和密码给我们，这样就可以远程登录到服务器上进行操作而无须知道服务器在哪个机

1.下载安装包下载地址：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar上传到 /home 目录下2.解压安装包tar -xf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /home/mysql/3.查询并卸载系统自带的Mariadbrpm -qa | grep mariadbrpm -e --nodeps 文件名4.查询并卸载系统

CentOS7安装mysql1.查看是否已安装2. 下载源4. 安装4.1 安装mysql4.2 修改密码策略4.3 修改密码4.4 设置远程访问4.5 配置默认编码为utf8官方安装教程：https://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html1.查看是否已安装rpm -qa | grep mysql如果已安装则删除 MySQL 及其依赖的包yum -y remove mysql-libs.x86_64

Scala环境搭建&创建项目工程&工程的基本配置一、Scala环境搭建1.1 下载1.2 安装scala1.3 IDEA编辑器Scala插件安装二、创建Scala项目工程2.1 创建IDEA项目工程2.2 关联Scala源码2.3 官方编程指南一、Scala环境搭建1.1 下载下载地址：https://www.scala-lang.org/download/scala2.html下载两个文件：安装包和源码包源码包用于在代码中关联源码。1.2 安装scala（1）首先确保JDK

Kafka集群部署安装及使用一、安装部署1.1集群规划1.2 jar包下载1.3 部署1.4 Kafka命令行操作二、Kafka API的使用2.1 Producer API2.1.1 消息发送流程2.1.2 异步发送API2.2 Consumer API2.2.1 自动提交offset2.2.2 手动提交offset一、安装部署1.1集群规划hadoop100hadoop101hadoop102zookeeperzookeeperzookeeperkafkakafk

flume概述、安装、入门案例一、Flume概述1.1 Flume定义1.2 Flume基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event二、Flume入门2.1 Flume安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume入门案例2.2.1 监控端口数据官方案例2.2.2 实时监控单个追加文件2.2.3 实时监控目录下多个新文件2.2.4 实时监控目录下的多个追加文件一、Flume概述1.1 Flume定义Flu

Jupyter Notebook的安装与使用一、简介二、安装2.1 安装Anaconda2.2 pip安装三、启动Jupyter Notebook四、Jupyter Notebook的使用4.1 创建新文件4.2 两种模式4.3 Jupyter中的魔法函数一、简介Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也会直接在代码块下显示。保存的文档后缀名为.ipynb的JSON格式文件，不仅便于版本控制，也方便与他人共享。文档还可以导出为：HTML

pycharm下载安装及创建工程1. 下载2. 创建工程PyCharm是一种Python IDE（Integrated Development Environment，集成开发环境），带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制1. 下载网址：https://www.jetbrains.com/pycharm/download/#section=windows选择社区版本：安装过程省略注意：u