data_curd的博客

​准备虚拟机用户名:root密码:123456IP: 192.168.100.100主机名: node01修改虚拟机IP地址:vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:29:61:02:ECTYPE=EthernetUUID=78ce60bd-12ff-4f76-9783-c1ddba997090ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=static

Impaly环境的搭建：1：单机环境服务器规划：node01前提条件：启动kafka节点安装部署：1：上传压缩包2：解压缩：tar -xvzf imply-3.0.4.tar.gz -C ../servers3：删除安装目录下的conf配置文件夹4：上传“conf-quickstart.zip”5：解压缩conf-quickstart.zip6：修改conf-quickstart/druid/_common/common.runtime.properties 文件 6.1：修

**在web/conf/**vim azkaban.propertiesAzkaban Personalization Settingsazkaban.name=Testazkaban.label=My Local Azkabanazkaban.color=#FF3601azkaban.default.servlet.path=/indexweb.resource.dir=web/default.timezone.id=Asia/ShanghaiAzkaban UserManager

关于：：：**Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 报错问题的解决方案如出现跟上图一样的报错信息，应修改Hadoop的NativeIO.java源码C:\U...

执行任务时，卡在（state:ACCEPTED）这一直不动，20/09/09 11:15:16 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED)20/09/09 11:15:17 INFO yarn.Client: Application report for application_1599648117906_0004 (state: ACCEPTED)20/09/09

此篇内容较简单干练，看不懂，欢迎关注加好友一起讨论，一起钻研打通大数据那个组件的通道val df: DataFrame = spark.sql("select * from merchantinfo ") df.write.mode(SaveMode.Overwrite).format("jdbc").option("url","jdbc:mysql://192.168.200.241:3306").option("dbtable","test_superset.test1").option(

第一类配置：需要在/etc/hadoop/下配置四个.xml文件1》.hadoop-env.sh需要配置 export java_home=/export/servers/java2》core-site.xml 指定hadoop所使用的文件系统schma，有hdfs，file，fds等等，端口号是指namenode的地址，现在用8020，以前用9000，两个都可以用，但是只能选一个<property> <name>fs.defaultFS</n