java期末复习

xiangminghan — Fri, 27 May 2022 17:44:48 +0800

考试题型 30（选择题）+15（基本编程）+15（面向对象编程）+10（文件编程）+30（综合编程）综合编程题 1.JDBCDruidutils里面的几个参数，最基本的4大参数 driverClassName=com.mysql.cj.jdbc.Driver//注册加载驱动类 url =jdbc:mysql://localhost:3306/ttt//数据库连接地址 username=root//数据库用户名 password=123456//数据库密码其他参数 initialSize=5//初始化连

SQL SERVER实验指导（第三版）实验题答案——实验一、二、三

xiangminghan — Thu, 11 Nov 2021 08:42:32 +0800

实验一 1. 用交互式方法创建数据库mybase，要求：数据文件存储的文件夹是：D:\mytestbase 数据存放在两个文件组中：group1、group2 2. 修改数据库mybase属性，要求：文件最大大小：100MB 文件增长比例：20% create database mybase on (name=group1,filename='D:\mytestbase\group1.mdf', maxsize=100MB,--2.1文件最大大小：100MB filegrowth=20%)—2.2文件

org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession.

xiangminghan — Mon, 14 Sep 2020 18:40:11 +0800

在学习过程中，前两节没有什么问题，但是到了第三届，就组件出现问题，直到最后，第三节的插入记录、更新记录、删除记录都出现了相同的问题。运行出现相同报错：配置文件mybtis-config.xml代码

python爬取前程无忧网站并可视化分析

xiangminghan — Wed, 15 Jul 2020 08:02:08 +0800

要求：利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化。 1.分析网页，我选择全部在详情页爬取爬取字段：岗位名称，薪资水平，招聘单位，工作地点，工作经验，学历要求编写items.py import scrapy class Qcwy01Item(scrapy.Item): # define the fields for your item here like: # name =

pyhton爬取拉勾网数据保存到MongoDB

xiangminghan — Tue, 14 Jul 2020 09:51:30 +0800

利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化。 1.分析网页，我选择全部在详情页爬取爬取字段：岗位名称，薪资水平，招聘单位，工作地点，工作经验，学历要求编写items.py import scrapy class Lagou01Item(scrapy.Item): # define the fields for your item here like: # name = sc

spark--环境配置

xiangminghan — Sun, 12 Jul 2020 15:13:19 +0800

下载网址 https://archive.apache.org/dist/spark/spark-2.4.4/ 链接：https://pan.baidu.com/s/1BC8HRX5i-4smWKKhEj0W4g 提取码：ap5h 1.解压安装包 [root@bigdata101 software]# tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /opt/module/ 2.进入spark的conf里面重命名：spark文件名 [root@bigdata101 m

flume安装和配置

xiangminghan — Sun, 12 Jul 2020 15:12:22 +0800

上传flume安装包链接：https://pan.baidu.com/s/1EU3dEf6ebHsK1x0ZBubebA 提取码：4rmb 1.解压安装 2. 在conf目录下，创建一个配置文件，比如template.conf（名字不固定） 3. 配置agent组件 #配置Agent a1的组件 #配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 (可以配置多个，以空格隔开，名字自己定） a1.sinks=s1 (可以配置多个，以空格隔开，名字自己定） #描述/配置a

kafka完全分布式搭建

xiangminghan — Thu, 02 Jul 2020 09:56:07 +0800

1.下载安装包链接：https://pan.baidu.com/s/197hhr1HzjuBFY99bZh8gKA 提取码：h0n5 2.zookeeper参考博客 3.三台主机，主机IP映射信息如下 192.168.1.101 bigdata101 192.168.1.102 bigdata102 192.168.1.103 bigdata103 4.解压压缩包到/opt/module/ [root@bigdata101 config]# tar -zxvf kafka_2.10-0.10.0.1.t

hbase--环境配置

xiangminghan — Fri, 19 Jun 2020 21:37:05 +0800

HBase官网 https://hbase.apache.org/ 链接：https://pan.baidu.com/s/1woeVPNUKHNQxmyz3Fv4CVw 提取码：bw2j 复制这段内容后打开百度网盘手机App，操作更方便哦安装 1、解压 [root@bigdata101 software]# tar -zxvf hbase-0.98.17-hadoop2-bin.tar.gz -C /opt/module/ 2、进入hbase-1.2.0/conf，写hbase-site.xml [r

Hadoop-zookeeper环境配置

xiangminghan — Fri, 19 Jun 2020 16:13:33 +0800

安装包下载链接：https://pan.baidu.com/s/10L21P0HvQBlTGVUdk86Nlw 提取码：xkkx 复制这段内容后打开百度网盘手机App，操作更方便哦主机IP映射 [root@bigdata101 module]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.local

使用Scrapyd部署爬虫

xiangminghan — Tue, 09 Jun 2020 11:43:24 +0800

使用Scrapyd部署爬虫 Scrapyd：一个部署和运行Scrapy爬虫的应用程序，它使用户能在网页查看正在执行的任务，能通过JSON API部署（上传）工程和控制工程中的爬虫，如新建爬虫任务、终止爬虫任务等。 1.要使用Scrapyd部署，需要安装Scrapyd pip install scrapyd 2.运行Scrapyd >scrapyd 默认情况下，Scrapyd监听0.0.0.0:6800端口，用浏览器开：http://localhost:6800/,就能看到Scrapyd已经成功运

scrapy_redis实现分布式爬虫

xiangminghan — Tue, 09 Jun 2020 11:19:32 +0800

Redis的安装 1.redis的下载 1.1Linux和Mac操作系统

重装MongoDB报错

xiangminghan — Fri, 05 Jun 2020 22:59:08 +0800

重装MongoDB报错 Service ‘MongoDB Server’ (MongoDB) failed to start. Verify that you have sufficient privileges to start system services 想着睡觉前来看看我的数据库——MongoDB 没想到它来不起了。之前描述里写的是系统找不到指定文件，想着肯定是什么时候手欠，动了不该动的。就打算重新安装，然后就报错看了很多博客，试了很多方法，最后有效的是以管理员身份运行cmd，然后执行sc

sqoop的安装及指令&解决连接不上数据库的问题

xiangminghan — Thu, 04 Jun 2020 14:27:48 +0800

sqoop介绍 sqoop是Apache提供的工具用于hdfs和关系型数据库之间数据的导入和导出可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs sqoop安装 1.准备sqoop安装包，官网http://sqoop.apache.org 链接：https://pan.baidu.com/s/1B5aGRP6JHDtibb-DTwP4kA 提取码：kp9h 2.配置jdk环境变量和Hadooop的环境变量。因为sqoop在使用是会去找环境变量对应的路径，从而完整工作 3.解压

MongoDB的安装&爬取数据保存到MongoDB

xiangminghan — Tue, 02 Jun 2020 19:49:13 +0800

MongoDB:非关系型数据库，给予Key-Value形式保存数据，与Python的字典格式类似。它能够轻松应对爬虫字段的变化等情况，也可以轻松的横向扩展、分片和集群，非常适合存储大规模爬虫数据。一.MongoDB的安装 1.下载页面：https://www.mongodb.com/ 2.步骤：software——>community Server——>download MongoDB——>选择对应的版本、系统、package(msi)——>Download 4.安装过程一路ne

初始化hive出错

xiangminghan — Wed, 27 May 2020 16:18:59 +0800

美好的一天就这样从找错开始！一开始初始化hive就出错了~~~~~~，之前看了现在记录一下我的心酸历程先进入mysql 授权注意：by后面的是我密码（不要复制） mysql> grant all privileges on *.* to root@'%' identified by '!xmh123456'; 这里报错了，提示如下： ERROR 1819 (HY000): Your password does not satisfy the current policy requireme

centos7上安装mysql-5.7.27

xiangminghan — Mon, 25 May 2020 17:59:46 +0800

mysql安装包链接：https://pan.baidu.com/s/1IOhXIqc6y7nY3ZZTxreeIw 提取码：qds3 1.1解压mysql安装包 [root@bigdata101 usr]# cd local/src/mysql [root@bigdata101 mysql]# tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /usr/local/src/mysql/ 1.2在Mysql解压路径下删除依赖包 [root@bigd

Python SSL异常：Can't connect to HTTPS URL because the SSL module is not available

xiangminghan — Thu, 09 Apr 2020 12:04:10 +0800

最近因为一个异常，搞的心情都不美妙了在爬一个网站的过程中出现了一个错同时我发现我的conda打不开。。。（不到迫不得已的时候不建议重装大好法，我重装了之后还是打不开）闪现一下就没有然后了，然后我又去找原因，为什么conda会打不开，大部分都提到了conda update anaconda-navigator，当然还有下面这种但最终我的问题还是没有解决。（只是没有解决我的问题，不代表没用） ...

CKEditor在线编辑器

xiangminghan — Thu, 09 Jan 2020 20:06:02 +0800

创建Web项目CKEditorDemo 从网上下载ckeditor，添加到web目录在web目录里创建upload子目录，在里面创建一个测试文件在web目录里创建上传页面upload.jsp <%@ page contentType="text/html;charset=UTF-8" language="java" %>

xiangminghan的博客