WCL0520的博客

window pycharm下用spark连接hive操作数据一、在/opt/soft/spark234/conf下导入hive-site.xml二、把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars三、sbin下 ./start-all.sh 启动spark服务bin下 ./pyspark 开启软件四、执行命令 df = spark.sql(“select * from dws_ev

一、项目打包方式Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码：<plugin> <groupId>org.scala-tools</groupId>

一、进去hadoop安装目录[root@vwmaster hadoop]# pwd/opt/bigdata/hadoop/hadoop260/etc/hadoop二、继上步，编辑hadoop-env.sh[root@vwmaster hadoop]# vi hadoop-env.shexport JAVA_HOME=/opt/bigdata/java/jdk180export HADOOP_PID_DIR=/opt/bigdata/hadoop/hadoop260/data/pids三、编

错误：java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z如果在执行hadoop项目时出现此处问题，主要有三个方法：方法一：在hadoop的安装目录下：E:\hadoop\hadoop260\bin，增加两个文件winutils.exe和hadoop.dll，然后重新执行即可。方法二：方法一如果解决不了问题，那也有可能是你hadoo

一、Elasticsearch基础概要1、非关系型数据库（1）元素库：索引 index 一个index中只能有一个type表：类型 type（2）特点：倒排索引 ① we are family ② we will lost the only chansce ③ are you happy ④ lost meybe not mean lost we 1-1 2-1 are 1-2 3-1 family 1-3 will 2-2 lost 2-3 4-1 4-5

注：在虚拟机下安装Linux系统此处不再赘述，详情可见以往博客一、在下载及解压文件之前建议建好文件夹，方便存放，统一管理如：（1）opt/install 安装源文件    （2）opt/bigdata 安装目录二、压缩+解压缩（1）压缩格式① zip / unzip② gzip / gunzip③ tar ④ tar.gz⑤ tar.xz（2）文件解压① xxx.tar tar -xvf xxx.tar -C path② xxx.tar.gz tar -zxvf xxx.t

一、Mybatis 1、半自动化ORM框架（1）编写SQL语句 手写（2）参数动态映射 自动2、Mybatis配置（1）依赖jar包① mysql driver<!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</

一、新建web项目并配置（简易版，详情可见以往博客）二、创建成功后进行项目配置1.Project Structor中配置如下2.Add Configuration 中配置tomcat，配置如下：（详细步骤见以往博客）三、如果有提前写好的，或需要用的maven包提前导入pom.xml，完成准备工作,位置如下图所示，具体maven包可以该网站获取：https://mvnrepository.com/四、在web.xml中配置web版本，以及导入相关maven包的基础配置，比如此处，我会添加侦

普通 jar 包的导出1.点击 file 中的project.structor=>选择Artifacts=>+=>选择 jar+=>选择from modules with dependencies2.如果你的 jar 包具有主函数main，即为可执行jar包则需要在下图所示处，输入主函数位置，点击右边文件夹，选择主函数即可3.选择好后点击OK，切记下一步需要先应用在OK4.导出成功后点击Builder=>build artifacts=>build/rebu

JSP基础知识简介  一、JSP：Java Server Page：HTML+JAVA ------以.isp结尾  二、java.web    1.MVC    （1）model：数据持久化 base(jdbc)(面向所有表) + dao(jdbcseal)（面向单张表） + biz(business)    （2）control：控制层 servlet/control （数据+页面）    （3）view：视图层 xxx.jsp    三者控制关系入下图所示：  三、servlet