
大数据
数学工具构造器
这个作者很懒,什么都没留下…
展开
-
部署常见的大数据组件
安装Hadoop下载安装 Hadoop# 下载,移动目录wget https://apachemirror.sg.wuchna.com/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gztar -xzvf hadoop-3.1.4.tar.gzsudo mv hadoop-3.1.4/ /usr/local/ sudo ln -sf /usr/local/hadoop-3.1.4 /usr/local/hadoopsudo chown -R tqc原创 2021-01-21 21:16:12 · 280 阅读 · 0 评论 -
gRPC
Java视频教程完整的gRPC课程(The complete gRPC course)原创 2021-01-18 19:05:34 · 231 阅读 · 0 评论 -
快速掌握Scala
import java.awt._ // 引入包内所有成员 def handler(evt: event.ActionEvent) { // java.awt.event.ActionEvent ... // 因为引入了java.awt,所以可以省去前面的部分}import java.awt.{Color, Font} // 重命名成员import java.util.{HashMap => JavaHashMap} // 隐藏成员import java.util.{..原创 2020-12-29 16:44:19 · 237 阅读 · 0 评论 -
做一个大数据工具的使用者
spark运维问题记录启动HDFS, yarn$ start-all.sh # NameNodeStarting namenodes on [0.0.0.0]0.0.0.0: Warning: Permanently added '0.0.0.0' (ECDSA) to the list of known hosts.# DataNodeStarting datanodeslocalhost: Warning: Permanently added 'localhost' (ECDSA) to原创 2020-12-29 15:29:19 · 440 阅读 · 0 评论 -
MongoDB使用笔记
Linux下安装原创 2020-12-13 20:54:59 · 241 阅读 · 0 评论 -
用conda安装PG
因为我瞎搞把apt-get弄坏了,导致我没法用apt-get安装软件但是我发现了新大陆,conda貌似可以安装大部分常用软件,包括redis,mongodb,postgresql等conda activate askconda install -c conda-forge postgresql -ypg_ctl -D /home/tqc/miniconda3/envs/ask/var/po...原创 2020-04-07 11:08:17 · 416 阅读 · 0 评论 -
deepin吐血安装mongodb
下个mongodb,但只用客户端:http://downloads.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1604-v4.2-latest.tgzexport PATH=$PATH:/usr/local/hive/binexport MONGODB_HOME=/usr/local/mongodb export PATH=$PATH:$...原创 2020-02-09 16:39:33 · 440 阅读 · 0 评论 -
python hdfs
https://blog.youkuaiyun.com/fuck487/article/details/80859581hdfs-site.xml <property> <name>dfs.http.address</name> <value>0.0.0.0:50070</value...原创 2020-02-05 16:44:27 · 275 阅读 · 0 评论 -
hive 试坑
https://mvnrepository.com/artifact/mysql/mysql-connector-javahttps://www.cnblogs.com/xiaolan-Lin/p/11358901.html原创 2020-01-26 18:33:20 · 296 阅读 · 0 评论 -
通过docker镜像建立hdfs与spark集群
在vscode中,安装xml-tools后按Cltr-Alt-L可以格式化xmlRUN apt install openjdk-8* -y,jdk路径为export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"获取某个容器的ipimport jsonimport osfrom pathlib import Pathif __name_...原创 2020-01-05 13:29:56 · 402 阅读 · 0 评论 -
scala语法
var x=if(true){1}else{2} for(x <- 1 until 10 if x !=8;y<-1 to 10 if y!=8 ;if x+y!=8){ println(x,y) } var list=List(1,2,3,4,5,6) for(l<-list){ println(l) } ...原创 2019-10-09 23:16:34 · 253 阅读 · 0 评论 -
haoop下运行程序时出现错误:Hadoop HDFS Wrong FS: hdfs:/ expected file:///
原代码 Path output = new Path(args[1]); FileSystem fs = FileSystem.get(conf); if (fs.exists(output)) { fs.delete(output, true); }修改后 Path output = ne...原创 2019-10-04 13:20:12 · 569 阅读 · 0 评论 -
给centos的阿里云安装Hadoop
安装Java8https://blog.youkuaiyun.com/zdxxinlang/article/details/84616438修改/usr/local/hadoop/etc/hadoop/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk"修改/usr/local/hadoop/etc/hadoop/yarn-s...原创 2019-10-03 15:34:51 · 263 阅读 · 0 评论 -
在Idea中用Maven配置Scala
我的Scala版本为2.13,但是我还是按2.12来配置<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ...原创 2019-09-27 00:37:12 · 407 阅读 · 0 评论 -
启动Spark
su hadoopstart-dfs.shstart-yarn.shsu tqcstart-master.shstart-slaves.sh原创 2019-09-26 23:25:56 · 252 阅读 · 0 评论 -
hadoop wordcount
找不到类的错误https://blog.youkuaiyun.com/hongxiao2016/article/details/88919176Maven依赖https://blog.youkuaiyun.com/a_____lan/article/details/94339946原创 2019-09-18 21:00:51 · 260 阅读 · 0 评论