效率

[hadoop00@hadoop00 newdata2]$ pip3 show geosName: geosVersion: 0.2.3Summary: Map server to view, measure and print maps in a web browserand to display maps as an overlay in google earth.Home-page: https://github.com/grst/geosAuthor: Gregor SturmAutho

目录一、安装MongoDB二、遇到的问题：1、config server的数量2、启动mongos后闪退3、addshard时报错:does not have a master.If this is a replica set, ensure that it has a health...4、启动shard分片后显示mongo child process started successfully, parent exiting5、addShard时显示：use replica set url format三

目录一、文件流实验1.监听HDFS文件系统并进行词频统计1.1 命令行监听 HDFS 文件系统1.2 编写独立应用程序，监听HDFS 文件系统并进行词频统计2、监听本地 Linux 文件系统并进行词频统计2.1监听本地Linux文件系统2.2监听本地的linux文件系统并进行词频统计二、套接字流实验三、参考一、文件流实验使用SparkStreaming 监听文件系统（即目录），在设定的时间间隔内有文件变化，则会读取数据进行处理。步骤：1.监听HDFS文件系统并进行词频统计1.1 命令行监听 H

二、解压安装包时显示磁盘空间不足解压spark安装包时显示：cannot mkdir: No space left on device1.先了解内存和磁盘的作用和区别Linux简介（5）–内存与磁盘2.解决办法针对内存用free -h查看，若内存不足可以（1）释放缓存（2）增加swap虚拟内存（没试过但网上能查到教程）针对磁盘用df -h查看，若磁盘空间不足可以（1）删除日志文件、不重要的大文件查找大文件：du --max-depth=1 -h、du -h --max-depth=1 /h

一、下载二、解压tar -zxvf mongodb-linux-x86_64-rhel70-5.0.3.tgzmv ./mongodb-linux-x86_64-rhel70-5.0.3 ./mongodb5三、配置conf与目录进入mongodb5目录，执行以下代码：mkdir -p ./data/dbmkdir -p ./logstouch ./logs/mongodb.log通过命令vim mongodb.conf创建conf文件：#端口号port=27017#db目录

cp conf/log4j.properties.template conf/log4j.properties编辑log4j.properties：# Set everything to be logged to the consolelog4j.rootCategory=INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.target=System.errlog4

目录一、在mysql建立数据库和表二、下载mysql的jdbc驱动三、启动pyspark，连接数据库，读写数据一、在mysql建立数据库和表1.启动mysql[ root@hadoop00 mysql5.7]#service mysql start[ root@hadoop00 mysql5.7]#./bin/mysql -u root -p #启动mysql2.建立数据库和表mysql> create database spark;mysql> use spark;mys

一、安装mysql5.7.35参考：Linux系统（CentOS7）安装mysql(5.7.25)二、解压安装包时显示磁盘空间不足：cannot mkdir: No space left on device1、先了解内存和磁盘的作用和区别：Linux简介（5）–内存与磁盘2、由此可知，针对内存用free -h查看，若内存不足可以（1）释放缓存（2）增加swap虚拟内存（没试过但网上能查到教程）针对磁盘用df -h查看，若磁盘空间不足可以（1）删除日志文件、不重要的大文件（查找大文件：du -

一、基于Hadoop安装spark单机版1.解压spark相关版本的tgz包到指定目录2.安装后，还需要修改Spark的配置文件spark-env.shcp ./conf/spark-env.sh.template ./conf/spark-env.sh在spark-env.sh添加：export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)作用：使spark可以读写HDFS上的数据。3.为方便在全局使用spa

CentOS 7 搭建伪分布式集群+HADOOP2.7参考：超详细！CentOS 7 + Hadoop3.0.0 搭建伪分布式集群坑：1.CentOS7与6在网卡ens33中的配置有微妙的不同，需要加入DNS地址2.自动分配了ip地址（不懂为什么会这样，在ifcfg-ens33中配了IPADDR但ip addr查看的地址还是不同）3.记得改/etc/hosts4.恢复快照后需要重启才能ping通5.namenode格式化前记得快照（；；）否则重新格式化需要删除文件（之后查）。格式化时显示