ITwangxiaoxu的博客

原创 sqoop配置

一.简介 Sqoop是一种旨在在Hadoop与关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统（RDBMS）或大型机导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据导出回RDBMS 。 sqoop官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 二.安装 1、解压sqoop [root@master app]# pwd /root

原创 mysql和hive安装

hive概述 Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已经存储的数据上。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。数据仓库 hive官网：https://hive.apache.org/ 一，安装mysql 1、mysql解压 [root@master mysql]# mkdir /usr/local/src/mysql [root@master mysql]# tar -xvf mysql-5.7.28-1

原创 Java Web实训项目：西蒙购物网3

（九）准备图片资源 在web目录里创建images目录，存放项目所需图片文件： （十）CSS样式文件 在web目录里常见css子目录，在里面创建main.css文件： /* 样式 */ body { margin: 0px; text-align: center; background: url("../images/frontBack.jpg") no-repeat;...

原创 利用hive进行分析，将hive分析结果利用sqoop技术存储到mysql数据库中，可视化结果

flume监听hive日志文件并写入hdfs 修改hive默认日志文件夹 进入conf文件夹cp hive-exec-log4j2.properties.template hive-log4j2.properties vi hive-exec-log4j2.properties 将日志文件夹修改 回到根目录创建logs目录（mkdir logs） Flume介绍 Flume是Apache基金会组织的一个提供的高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类

原创 hive进入报错

连接MySQL数据库出现 解决办法 进入mysql 1.修改wait_timeout的参数值 查看wait_timeout的值，命令：show global variables like 'wait_timeout'; 注意这里带上global这个是全局的。 修改wait_timeout值，命令： set global wait_timeout=86400; 检查是否修改成功，继续输入命令show global variables like 'wait_timeout';到这里就修改成功了。

原创 使用scrapy框架爬取前程无忧

** 项目要求 ** 利用python编写爬虫程序，从招聘网上爬取数据，将数据存入到MongoDB中，将存入的数据作一定的数据清洗后分析数据，最后做数据可视化。 工具软件 python 3.7 pycharm 2020.1.2 具体知识点 python基础知识 scrapy框架知识点 pyecharts 1.5 MongoDB 爬取字段 职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容（岗位职责）、任职要求（技能要求） 数据存储 将爬取到的数据保存在MongoDB中 数据分析与可视化

原创 Spark通用集群计算系统

Apache Spark是一个快速的通用集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。 官网文献：http://spark.apache.org/docs/2.0.0/programming-guide.html 进入spark spark-shell 读取hdfs文件 scala> val textFile = sc.textFile("README.md") 路径/user/root/README.md 查看文件.

原创 Java Web实训项目：西蒙购物网2

八）控制层（XXXServlet） 在src里创建net.hw.shop.servlet包，在里面创建各种控制处理类。 1、登录处理类LoginServlet package net.wx.shop.Servlet; import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import...

原创 Java Web实训项目：西蒙购物网1

一.实现步骤 创建MySQL数据库simonshop，包含四张表：用户表（t_user）、类别表（t_category）、商品表（t_product）和订单表（t_order） 创建数据库表sql代码如下 /* Navicat MySQL Data Transfer Source Server : hwsql Source Server Version : 50518...

原创 安装mysql后登陆时出现ERROR 1698 (28000): Access denied for user 'root'@'localhost'的解决方法

mysql安装完成后，登录mysql的时候就出现了如下错误： 解决办法：编辑配置文件my.cnf 在/etc/my.cnf中【mysqld】下面添加 skip-grant-tables保存退出。 重启MySQL服务 service mysql restart 在终端上输入mysql -u root -p，遇见输入密码的提示直接回车即可,进入mysql后，分别执行下面三句话： 1.use ...

原创 连接MySQL数据库时会出现Authentication plugin 'caching_sha2_password' cannot be loaded的错误

Navicat Premium 12连接MySQL数据库时会出现Authentication plugin ‘caching_sha2_password’ cannot be loaded的错误。 连接不上的原因是客户端不支持caching_sha2_password的密码加密方式。 解决方法如下 管理员权限运行命令提示符，登陆MySQL mysql -u root -p password ...

原创 Linux7安装Hadoop3集群（三台虚拟机）

1.vim /etc/hostname修改主机名，重启后修改成功 2.添加域名映射 3.停用防火墙 4.设置三台虚拟机相互免密登录（先找到登录密钥，将密钥分别复制到3台虚拟机），三台虚拟机都要弄一遍 5.测试免密登录成功没有 6.查看jdk安装情况，（如果没有安装，现将jdk的rpm包传到相应文件夹运用rpm -ivh解压安装，javac查看安装成功没有 7.查看jdk安装路径（如...

原创 采用纯JSP实现登录功能

采用纯JSP实现登录功能 添加项目对应用服务器库的依赖 1、在web目录下创建login.jsp页面 2、将login.jsp设置为项目首页文件 4、创建登录处理页面do_login.jsp 5、创建登录成功页面success.jsp 6、创建登录失败页面failure.jsp 7、启动服务器，查看运行效果 ...

原创 在使用idea写jsp时Tomcat出现的问题

问题一： IDEA There is no configured/running web-servers found! Please, run any web-configuration and hit the Refresh button! 初次使用使用IDEA搭建web application，习惯性的右键jsp页面在选择浏览器浏览，以为会想webstorm一样自动启动谷歌，结果提示 本来以...

原创 Java实训-----学生管理系统（4）

GUI部分 （1） 创建应用程序类Application，存放全局数据 此时，由于三个窗口界面类还未创建，因此程序会报错。不要运行代码，创建3个窗口界面类，LoginFrame、MainFrame与RegisterFrame。分别为登录窗口，监听器窗口，注册窗口 因为程序运行不是从登录窗口跳转过来的，所以登录窗口对象Application.loginFrame是空的。 2.窗口 声明变量 实...

原创 Java实训------学生管理系统（3）

接着上次的讲 把剩余的studentdaoimpl实现类方法写进test测试类中，运行代码进行测试，测试teststudentdaoimpl结果如下 如上方法将实现类Userdaoimpl写入test测试类testUserdaoimpl中运行的 创建service文件夹，创建CllegeService,StatusService,StudentService及UserService接口 接口...

原创 Java实训-------学生管理系统（2）

今天补充昨天的代码，完善了数据访问接口实现类的代码，改了一些BUG。 创建test包，在test包中创建创建测试类（只完成了前两个，第三个太多还没理顺逻辑） 第一个测试类运行正常，成功运行出结果。 测试TestStatusDaoImpl 运行testFindById()方法，结果如下： 运行testUpdate()方法，结果如下： 今天就到这里了 ...

原创 Java实训项目-----学生管理系统

1.创建数据库表t_student、t_user、t_college、t_status。 2.创建Java项目，并在项目里创建help，image，lib文件夹，在lib文件夹添加MySQL驱动包 作为库添加到项目里（Add as Library…）作为整个项目的库 3.在文件夹image中添加图片，在help文件夹中加入chm格式的帮助文档 4，创建bean包创建数据库表对应的实体类 ...

原创 实训任务

原创 打印购物清单

原创 我的第一篇博文-希望各位多多关照

** 我的第一篇博文-希望各位多多关照 **这是一个自我介绍（姑且是吧！）的脑图。