TINANP的博客

原创 爬取招聘网站数据分析数据，可视化，flume，hive，sqoop，mysql

一、爬取数据 ①qiancheng.py ②pipelines.py ③sitting ④items 二、数据储存 1、把MongoDB数据导出为csv文件 在E:\MongoDB\bin下cmd mongoexport.exe --csv -f _id,name,salary,gongsi,didian,jingyan,xueli,neirong,jineng -d qiancheng -c Table -o Test.csv 2、上传数据 3、利用flume收集日志 （1）创建age

原创 Centos7关闭防火墙

#查看防火墙状态 firewall-cmd --state #关闭防火墙 systemctl stop firewalld.service #永久关闭防火墙 systemctl disable firewalld.service

原创 创建虚拟机，安装linux系统

一、创建虚拟机 新建一个虚拟机，选择自定义配置 直接点下一步 选择稍后安装操作系统 选择linux操作系统 配置完成，启动虚拟机，选择语言 软件选择 选择安装位置，就默认设置，直接点完成 选择网络和主机名，可以修改主机名 然后开始安装，设置root密码 创建用户可以不用创建，安装完成重启就可以了。 ...

原创 Scrapy应对反爬虫策略

一、设置用户代理 设置User Agent模拟浏览器，在Scrapy框架中，有四种方法设置User Agent。 1、在settings.py中·直接设置User Agent。 2、在settings.py中设置Scrapy的默认请求headers。 3、直接在爬虫代码中为scrapy.Request添加headers参数。 4、在中间件自定义headers。 二、设置下载延迟、Cookies及使用代理ip 1、设置下载延迟 在settings.py中找到#DOWNLOAD_DELAY = 3,去掉注释。D

原创 2019年下半年JAVA实训 - 西蒙购物网（下）

（十三）展现层页面 1、登录页面login.jsp 在web.xml文件里将login.jsp设置为首页文件 重启服务器 不输入用户名与密码，单击【登录】按钮 登录管理员账号 登录普通用户 登录未注册的用户 2、注册页面register.jsp 点击注册 什么都不输入 只输入用户名 输入用户名、密码和电话 注册成功 单击【确定】按钮，跳转到登录页面 查看数据库...

原创 2019年下半年JAVA实训 - 西蒙购物网

一、判断用户登录是否成功 1、成功 2、失败 二、更新用户数据 1、成功 2、失败 三、添加用户 1、成功 2、失败 四、利用id删除用户 1、成功 2、失败 五、利用id查询信息 1、成功 2、失败 六、利用姓名查询 1、成功 2、失败 七、查询所有信息 ...

原创 动态网页web项目LoginDemo

一、利用Intellij创建Web项目 1、创建Java项目 2、添加Web服务器配置

原创 Java实训第四天总结

主界面窗口点击X可以选择是否退出窗口，是则退出窗口，否则重新启动一个窗口 注册窗口 登录窗口 点击取消则关闭窗口 输入用户名和密码，错误则出现提示窗口。正确则进入学生管理系统。 点击注册则打开注册窗口，关闭注册窗口则重新打开一个登录窗口。 日期：2019年...

原创 Java实训项目学生管理系统结构视图

原创 Java计算一元二次方程

package lesson03; import java.util.Scanner; public class SolveEquation { public static void main(String[] args) { //输出部分 double a,b,c,delta,x1,x2; Scanner sc=new Scanner(System.in); //输出部分 Sys...

原创 Java计算三角形面积

package lesson02; import java.awt.*; import java.util.Scanner; /** 功能：计算三角形面积 作者：盘洪林 日期：2019年3月19日 */ public class area { public static void main(String[] args) { //声明部分 double a, b, c,d, s; Sca...

原创 Java 学生基本信息

package net.hw.lesson01; /** 功能：打印输出”学生基本信息“ 作者：盘洪林 日期：2019年3月10日 */ import java.applet.Applet; import java.awt.Color; import java.awt.Font; import java.awt.Graphics; public class StudentInfo extend...

原创 Java 购物清单

package net.hw.lesson01; /** 功能：打印输出“购物清单” 作者：盘洪林 日期：2019年3月10日 */ public class ShoppingList { public static void main(String[] args) { System.out.println(" \t购物清单" ); System.ou...