使用vscode远程连接hdfs(linux系统上搭建的hdfs)

最新推荐文章于 2023-11-14 22:17:27 发布
原创 最新推荐文章于 2023-11-14 22:17:27 发布 · 2.4k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #ssh #hdfs #ide

本文详细介绍如何通过VSCode使用SSH远程连接，包括检查SSH安装、安装OpenSSH、配置环境变量、验证配置及VSCode远程连接操作流程。适用于需要进行远程开发的程序员。

远程连接步骤

1.检查是否已经安装SSH

以管理员身份运行cmd,输入命令

ssh

C:\Windows\system32>ssh
'ssh' 不是内部或外部命令，也不是可运行的程序
或批处理文件

----->说明没有系统中目前没有安装SSH

2.安装OpenSSH

①下载OpenSSH压缩包,下载地址如下:
OpenSSH-Win64.zip
②在C:\Program Files目录下创建文件夹OpenSSH
③将压缩包赋值到C:\Program Files\OpenSSH 文件夹下,并解压,解压后可删除压缩包

3.配置OpenSSH的系统环境变量

桌面的计算机图标---->右键---->属性----->高级系统设置----->环境变量----->系统变量----->
找到PATH---->编辑----->在环境变量的哪一串文本的最后加上 C:\Program Files\OpenSSH; 记得最后需要加一个 分号,------>一路确定即可

4.验证环境变量配置是否成功

①以管理员身份运行cmd
②输出命令:


                

                
                
        

    

  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
HDFS学习04-Vscode+Java+hdfs的环境配置，通过代码来操作HDFS

				
			

			

				

					xhhgffd的博客
				

				

					12-04
					
					4279
					
				

			

		

		

			
				
使用vscode来编写maven项目的java代码，从而以代码接口的方式来操作hdfs，这里需要对宿主机和虚拟机进行一些环境配置，使得开发环境能够利用虚拟机上的maven来构建项目。

			
		

	



                

            
              



	

		

			

				
					
python hdfs远程连接以及上传文件，读取文件内容，删除文件

				
			

			

				

					水w的博客
				

				

					11-17
					
					5677
					
				

			

		

		

			
				
python hdfs远程连接以及上传，读取，删除文件

			
		

	



              


  
  
              

                


	

		

			

				
					
vscode远程提交代码至Hadoop集群

				
			

			

				

					qq_37957939的博客
				

				

					11-15
					
					2420
					
				

			

		

		

			
				
Hadoop 安装
配置单机版和伪分布式


首先去各自官网下载jdk和hadoop，我这里下载的是oracle jdk 1.8 和 hadoop 3.3.0


配置环境变量
无论是编辑/etc/profile 还是 ~/.bashrc都可以，只不过一个是系统环境变量一个是用户环境变量，一个配置好后各个用户下都会有配置的环境变量，一个只有当前用户有。
添加如下代码，记得替换/path/to/jdk
export JAVA_HOME=/path/to/jdk
export JAVA_JRE=$JAVA_HO

			
		

	





	

		

			

				
					
HDFS技术之IDEA远程连接（二）

				
			

			

				

					RivenDong
				

				

					09-06
					
					1125
					
				

			

		

		

			
				
文章目录1. IDEA远程连接1.1 实验需求：1.2 创建项目1.3 配置Modules
1. IDEA远程连接
1.1 实验需求：

IDEA
hadoop2.6_Win_x64-master
/bin 目录下需要还有

对于该文件我已上传到我的优快云下载页：hadoop-wins

1.2 创建项目

【file】
【new project】
【java】
【选择自己的JDK】
【next...

			
		

	



		

			
		



	

		

			

				
					
window本机远程连接虚拟机的hdfs

				
			

			

				

					e5bb96的博客
				

				

					12-20
					
					2665
					
				

			

		

		

			
				
服务器ip：192.168.66.128
测试主机能否连接虚拟机
ping 192.168.66.128

修改虚拟机hadoop中core-site.xml
vim ./etc/hadoop/core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.66.128:9000</value>
</property>

启动hadoop

			
		

	





	

		

			

				
					
HdfsClient-在本地开发环境使用Java远程连接操作HDFS

				
			

			

				

					super_man_1995的博客
				

				

					06-30
					
					1632
					
				

			

		

		

			
				
一、pom.xml配置


<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac

			
		

	





	

		

			

				
					
vs code插件

				
			

			

				

					callmeCassie的博客
				

				

					04-10
					
					310
					
				

			

		

		

			
				
1.AutoFileName    引用的时候自动补全文件的名称
2.Path Intellisense  自动感应引入文件的路径
3.Import Cost    显示引入包的大小
4.vscode-wechat    微信小程序的插件，可以预览小程序
5.Python   Python语言的插件
6.Go   Go语言的插件
7.npm   支持执行定义在package.json文件中的脚本，...

			
		

	





	

		

			

				
					
云计算实验——Hadoop安装与HDFS基础实践

				
			

			

				

					123-wqy的博客
				

				

					08-20
					
					2789
					
				

			

		

		

			
				
实验目的

（1）掌握Hadoop的伪分布式安装方法；

（2）理解HDFS在Hadoop体系结构中的角色；

（3）熟练使用HDFS操作常用的Shell命令；

（4）熟悉HDFS操作常用的Java API。

实验环境

操作系统：Linux（Ubuntu 18.04 LTS）；

Hadoop版本：Hadoop 3.1.3；

JDK版本：1.8及11；

Java IDE：VSCode。

实验内容与完成情况

1、安装Linux系统（Ubuntu 18.04 LTS）





2、创建hadoo

			
		

	





	

		

			

				
					
VSCode远程开发入门：在云端编写代码的全攻略

				
			

			

				

					
				

			

		

		

			
				
![VSCode远程开发入门：在云端编写代码的全攻略](https://imgopt.infoq.com/fit-in/3000x4000/filters:quality...本文首先概述了VSCode远程开发的概念，随后详细介绍了远程开发环境的搭建与配置，包括服务器的选择、远

			
		

	





	

		

			

				
					
基于WSL2与Vscode搭建Hadoop和Spark开发环境

				
			

			

				

					
				

			

		

		

			
				
而Vscode作为一款功能强大、插件生态丰富的轻量级代码编辑器，通过其“Remote - WSL”扩展插件，可以直接连接并操作WSL中的文件系统和终端，实现在Windows图形界面下编写代码、调试程序，并远程提交任务到运行在WSL...

			
		

	





	

		

			

				
					
VsCode插件整理（小结）

				
			

			

				

					08-29
				

			

		

		

			
				
主要介绍了VsCode插件整理（小结），小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

			
		

	





	

		

			

				
					
史上最全VSCode插件，怪不得写代码头疼，VSCod安装与配置（适合小白）

				
			

			

				

					01-08
				

			

		

		

			
				
文章目录一、什么是VSCode？二、版本三、下载四、安装五、插件安装1.Codelf2、View In Browser3、Color Highlight4、Bracket Pair Colorizer5、Highlight Matching Tag6、Path Intellisense7、Prettier – Code formatter8、Auto Close Tag9、Auto Rename Tag10、HTML Snippets11、HTML CSS Support12、indent-rainbow13、change-case六、总结
一、什么是VSCode？
VS Code的全称是Vi

			
		

	





	

		

			

				
					
vscode插件合集（20190814）part1

				
			

			

				

					08-15
				

			

		

		

			
				
vscode最新插件合集（20190814）part1，共2个分包（part1/2），都下载后用命令“copy /b extensions.zip.rm1+extensions.zip.rm2 extensions.zip”合并再解压。
包合以下插件：
wholroyd.jinja-0.0.8
daltonjorge.scala-0.0.5
eriklynd.json-tools-1.0.2
truman.autocomplate-shell-0.1.1
sensourceinc.vscode-sql-beautify-0.0.4
danields761.dracula-theme-from-intellij-pythoned-0.1.4
gerane.theme-druid-0.0.2
luqimin.forgive-green-0.2.1
mohsen1.prettify-json-0.0.3
chrmarti.regex-0.2.0
kalitaalexey.vscode-rust-0.4.2
ZakCodes.rust-snippets-0.0.1
itryapitsin.scala-0.1.7
itryapitsin.scalasnippets-0.1.7
vahidk.tensorflow-snippets-0.3.3
formulahendry.terminal-0.0.10
qub.qub-xml-vscode-1.2.8
waderyan.nodejs-extension-pack-0.1.9
jasonnutter.search-node-modules-1.3.0
christian-kohler.path-intellisense-1.4.2
christian-kohler.npm-intellisense-1.3.0
josephtbradley.hive-sql-0.0.4
magicstack.magicpython-1.1.0
ms-python.anaconda-extension-pack-1.0.1
mooman219.rust-assist-0.2.3
slevesque.vscode-hexdump-1.7.2
coenraads.bracket-pair-colorizer-1.0.61
bibhasdn.django-snippets-1.1.1
bibhasdn.django-html-1.3.0
octref.vscode-json-transform-0.1.2
xabikos.javascriptsnippets-1.7.2
jithurjacob.nbpreviewer-1.2.2
kondratiev.sshextension-0.5.0
humy2833.ftp-simple-0.7.0
batisteo.vscode-django-0.19.0
fwcd.kotlin-0.1.13
reditorsupport.r-lsp-0.1.0
ms-vsts.team-1.149.2
donjayamanne.jupyter-1.1.5
rust-lang.rust-0.6.1
grapecity.gc-excelviewer-2.1.32
vscjava.vscode-java-pack-0.7.1
ms-toolsai.vscode-ai-0.5.1
dbaeumer.vscode-eslint-1.9.0
ms-vscode.azure-account-0.8.4
rogalmic.bash-debug-0.3.5
donjayamanne.python-extension-pack-1.6.0
redhat.vscode-yaml-0.4.1
adisreyaj.swagger-snippets-0.0.1
alefragnani.bookmarks-10.4.4
arjun.swagger-viewer-2.2.2
dotjoshjohnson.xml-2.5.0
fisheva.eva-theme-0.7.7
vscjava.vscode-java-dependency-0.5.1
deerawan.vscode-hasher-1.0.1
vscjava.vscode-java-debug-0.20.0
scala-lang.scala-0.3.4
eg2.vscode-npm-script-0.3.8
vscjava.vscode-maven-0.18.1
ms-vscode.go-0.11.4
lextudio.restructuredtext-113.0.0
pkief.material-icon-theme-3.8.1
ms-azuretools.vs

			
		

	





	

		

			

				
					
IDE Development Tools for GNU/Linux Install Introduction（为GNU/Linux安装IDE工具，搭建Hadoop编译环境）

				
			

			

				

					千里猫的博客
				

				

					11-14
					
					264
					
				

			

		

		

			
				
新手篇——IDE Development Tools for GNU/Linux Install Introduction（为GNU/Linux安装IDE工具，搭建Hadoop编译环境）

			
		

	





	

		

			

				
					
40+个精选的VSCode前端插件，总有一款适合你

				
			

			

				

					前端达人
				

				

					08-20
					
					8204
					
				

			

		

		

			
				
有句话，事半功倍，其必然是借助了某些思想和工具。VSCode是我们前端开发的武器，本文40+精选插件，让其更加锋利，无坚不摧！！必备的下面这些必备的我就不说了代码段JavaScript \...

			
		

	





	

		

			

				
					
远程连接hdfs的客户端工具HDFSExplorer&HadoopIntellijPlugin

				
			

			

				

					thethefighter的专栏
				

				

					06-19
					
					2627
					
				

			

		

		

			
				
远程连接hdfs的客户端工具



HDFS Explorer









port是yarn的ResourceManager的管理界面接口（可能是通过界面获取其他配置信息，不需要本地环境和配置文件设置）



可以上传下载查看远程hdfs文件





如果报无法连接localhost:50075端口,需要在hdfs-site.xml配置dfs.client.use.datanode.hostname=true，使用主机名访问。



idea的hadoop插件

下载HadoopInte...

			
		

	





	

		

			

				
					
vs code 连接远程服务器

				
			

			

				

					qq_43192537的博客
				

				

					12-09
					
					2639
					
				

			

		

		

			
				
windows上必须安装了Open SSH（win10默认安装过了）

windows下
1. 测试

以管理员的身份打开cmd 输入以下命令

ssh


否则进行安装连接
2. 打开vs code后调出Extensions(快捷键ctrl + shift + x)后输入
remote-ssh
# 选择对应的版本进行安装


3.安装完毕后侧边栏会出现新的图标

4. 按ctrl + shif...

			
		

	





	

		

			

				
					
使用Hadoop的JAVA API远程访问HDFS

					
热门推荐

				
			

			

				

					cjf_wei的博客
				

				

					02-10
					
					1万+
					
				

			

		

		

			
				
之前分别介绍了使用Hadoop的C API操作HDFS和使用Hadoop的Java API操作HDFS，在介绍Java访问方式时（C API不存在这样的问题），程序是部署在Hadoop安装环境的，这具有一定的局限性，因为客户端不可能总是运行在Hadoop安装节点上。本文介绍以Java方式远程访问/操作HDFS。

在Hadoop安装环境中和远程访问的主要区别在于Hadoop环境配置的获取和程序的执...

			
		

	





	

		

			

				
					
visual studio code实用插件推荐、vscode插件推荐

				
			

			

				

					CongJiYong的博客
				

				

					03-17
					
					1475
					
				

			

		

		

			
				
1、chinese //换成国内的娘们
2、live server //直播更新live
3、CSS Peek //html与css关联
4、Icon Fonts //图标集 类似bootstrap类名提示
5、Auto Rename //改头标签尾部标签自动更改
6、Boilerplate //html模板
7、color info //颜色选择
8、html css support //类名填...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 4

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值