韩韩的博客-优快云博客

原创 Kaggle心脏病数据集为例学习机器学习的可解释性分析

最近在B站看视频的时候，偶然看到同济子豪兄发的关于机器学习可解释性的视频，因为之前学习机器学习也是学习机器学习的算法以及调库、调参，而模型的内部还是感觉是一个黑箱子。废话不多说：直接上代码。需要安装的工具包pip install numpy pandas matplotlib seaborn wheel pandas_profiling jupyter notebook -i https://pypi.tuna.tsinghua.edu.cn/simplepip install graphviz p

2020-05-25 13:13:13 8697 4

原创深度学习入门论文（必看）

自己在看的一些深度学习的入门的必读论文分享给大家。链接：链接提取码：ijub复制这段内容后打开百度网盘手机App，操作更方便哦

2020-02-06 14:00:31 2663

原创 VMware Workstation pro无法在无法在Windows上运行的解决方案

是由于微软的更新程序引起的问题，只要将最近的一次更新程序卸载然后重启即可。操作如图所示：找到控制面板->程序->程序与功能，然后点击卸载程序。找到最新的一次微软的更新，然后将这个更新卸载，重启即可使用。如图：将选中的卸载即可。...

2019-10-07 14:53:05 124967 115

原创 jsp连接数据库实现注册登陆（超级详细）

要求tomcat8.0、mysql需要一个mysql的驱动器，放在WEB-INFO的lib。版本号如下：数据库文件在mysql数据库中建立一个名字叫db_01的数据库。在数据库的建立一个名字叫tb_user的表，表格的字段为UName,Pwd。index.jsp<%@ page language="java" import="java.util.*" pageEncoding=...

2019-04-13 16:26:34 46210 19

原创关于jupyter notebook闪退解决方案（亲测好用）

找到jupyter notebook的快捷方式，然后右键属性，找到‘目标’,然后去掉%XXX%里的内容，保存即可。

2018-11-28 19:40:17 12523 12

原创 python爬虫之scrapy框架命令行(超级详细)

知识点1.创建项目scrapy startproject testproject# testproject是项目的名称可以自己命名输出结果为：C:\Users\qs418>scrapy startproject testprojectNew Scrapy project 'testproject', using template directory 'd:\\pyth...

2018-08-02 13:04:53 8298 1

原创 python爬虫之pool.map()

pool = Pool() # 创建进程池 pool.map(main, [i*10 for i in range(10)])# 将数组中的每个元素提取出来当作函数的参数，创建一个个进程，放进进程池中# 第一个参数是函数，第二个参数是一个迭代器，将迭代器中的数字作为参数依次传入函数中作用：这是多进程的创建，应用在爬虫中主要目的是提高爬取的效率，实现秒爬...

2018-08-01 17:18:56 15528 4

原创 python爬虫错误之json.dumps（)方法产生中文乱码问题解决方法

json.dumps（）方法是将字典型数据转化成字符串型数据，而json.dumps （）方法对中文默认使用的ascii编码.如果要输出中文需要指定ensure_ascii=False：具体猫眼电影程序如下：可能各位在爬取猫眼程序时会出现错误：这可能是猫眼电影的反爬虫，不过等一段时间再去爬就可以了。import requestsimport reimport jsonfrom r...

2018-08-01 16:38:16 3678

原创 python爬虫之selenium库之'list' object has no attribute 'send_keys'错误

# 元素的交互操作from selenium import webdriverimport timebrowser = webdriver.Chrome()browser.get('https://www.taobao.com')input = browser.find_elements_by_id('q') # 找到搜索框的id为qinput.send_keys('IPhone')...

2018-07-31 20:17:22 27971 9

原创机器学习之房价预测程序

import numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falsex, y = [], []for sample in open('D:/MLData/prices.txt',"r"):#...

2018-07-29 20:48:00 2064 1

原创 python爬虫之cookie的HTTPCookieProcessor

通过阅读源码我们可以知道，我们在调用urllib2.urlopen(url)的时候，其实urllib2在open函数内部创建了一个默认的opener对象。然后调用opener.open()函数。但是默认的opener并不支持cookie。那么我们先新建一个支持cookie的opener。urllib2中供我们使用的是HTTPCookieProcessor。创建HTTPCookiePro...

2018-07-28 21:47:48 4144

原创连接mysql出现‘mysql执行错误1251'的解决方法

本人新手，只为解决问题。我是用mysql-font做的数据库可视化，因为还是大一，所以刚刚接触数据库。什么都不懂，如有问题，请提出并提供解决方案，谢谢。出现执行错误的原因是由于mysql版本的问题，mysql8.0版本，与mysql5.0版本的加密方式不同，导致错误产生。首先进入mysql的控制台。输入数据库密码。再按照以下命令输入。ALTER USER 'root'@'l...

2018-07-27 20:44:00 11869 16

原创背单词java程序设计

山东科技大学济南校区程序设计功能要求：可以读入一个单词表文本文件，能够将背错的单词重复记忆，直到全记住。package java课程设计;import java.io.*;import java.util.*;public class word14T { public static void main(String[] args) { // TODO ...

2018-07-12 23:00:35 7177 13

原创 Docker版 Linux百度网盘备份工具

一些必须要知道的事：这个镜像的主要目的是为了将服务器或者群晖等linux场景中的资料备份到百度网盘中容器的基础镜像为ubuntu镜像。容器的备份周期为每天的凌晨两点。具体步骤如下：下载镜像。docker pull hanhongyong/baidu_backup:latest生成容器。docker run -it -d --name=baidu -v /root/Docker_Microsoft365_E5_Renew_X/:/baidupy hanhongyong/baidu

2022-03-04 18:29:31 2903

原创 Docker版 E5续订的E5调用API续订服务：Microsoft 365 E5 Renew X

本文是基于作者SundayRX提出的E5 调用API续订服务：Microsoft 365 E5 Renew X的基础上提出的Docker版本的E5调用API续订服务。基础的账号注册等过程见SundayRX的博客：https://blog.youkuaiyun.com/qq_33212020/article/details/119747634本文主要是让小白轻松部署自己的E5续订服务。优点：镜像小，仅仅225M，可以轻松部署在任何配置的服务器上，占用资源小。部署方便，仅仅使用一行命令即可完成部署。等等。

2022-02-11 21:09:45 24394 17

原创电子书下载网站汇总

网站名称地址简介语言推荐指数备注Book4Uhttp://www.book4you.sk/外文下载网站斯洛伐克语⭐⭐⭐BookYardshttps://www.bookyards.com/en/welcome主要面向教师的门户网站，其中的书籍，教育材料，信息和内容都是免费提供，以教辅资料最多。英语★★★搬书匠http://www.banshujiang.cn/主要提供编程类书籍的下载中文★★★Z-Libraryhttps://z-...

2021-08-17 08:53:47 11118

原创 22岁-时光如河，浮生为鱼

时光如河，浮生为????。还没有学会告别，四年就这样悄悄过去了。如往年今日一样，依旧写些懒懒散散的文字致敬这一年的时光。 ????22岁生日快乐。???? 22岁是大学四年的结束，也是新的一个开始。本来想了很多内容想去记录下来，但思绪像断掉的珍珠项链，却怎么也连不起来。既然如此，那就随便写写这四年吧。生活往往对你特别有意思。有时你想彻底放弃，但是总会有一只手要准备捞你一下。你呢？也很乖巧，也愿意顺着这根稻草想要爬一下，即使稻草断了也甘心。没错，我的高三就是这样。我记得当时我的成绩

2021-08-10 18:15:04 448 3

原创 python调用IP摄像头

利用RTSP+opencv就可以实现网络摄像头的调用rtsp是实时流传输协议，是基于TCP/IP协议体系中的一个应用层协议，可以控制声音或者影像的多媒体串流协议。但是不同品牌的摄像头有不同的RTSP地址。下面先简单列一下常用的摄像头的RSTP的地址。各种摄像头品牌的RTSP地址利用RTSP+opencv就可以实现网络摄像头的调用3S4XEMA-MTKABSAbsolutronACTIAcumenAirlink101AirLiveALinkingALLIEDEAsanteAsoniAviosysAVSA

2021-01-17 09:33:17 10760 1

原创 readlink /var/lib/docker/overlay2: invalid argument的解决方案

发生这种情况是因为在运行Docker映像之间重新启动了docker，该映像已损坏。我重新启动系统，然后运行以下命令。docker-compose build --no-cachedocker-compose up您还可以找到损坏的图像，并对图像使用以下命令：docker build -t <镜像名> -f Dockerfile . --no-cache...

2020-07-14 16:58:41 5293

原创 el表达式取不到值

在jsp页面中有可能出现el表达式取不到值的问题，但是反复检查代码，跑断点都没有问题，这是因为jsp忽略了el表达式。所以只要加上下面一行代码就可以了。<%@ page isELIgnored="false" %>

2020-05-08 20:30:55 1012 1

原创 mongodbtamplate使用程序创建mongdb索引的解决方案

话不多说，直接上代码： public boolean createMapNameIndex() { IndexOptions indexOptions=new IndexOptions(); indexOptions.background(true); //设置索引名 indexOptions.name("hanhan_index_...

2020-04-30 17:40:29 899

原创一篇文章彻底理解二分搜索树（附代码实现）

本文使用JAVA语言进行描述。其实本质上什么语言描述数据结构都是可以的。二叉树基础二叉树的根节点二叉树递归结构：上面是一个满二叉树。但是实际中也有二叉树不是满的。二分搜索树二分搜索树也不一定是满的。所以使用二分搜索树需要具备的条件：存储的元素必须有可比较性。树结构的定义代码实现：/** * Created by hongyonghan on 2020/4/19....

2020-04-26 20:41:08 470

原创 mongodb template 计算mongodb日期的解决方案

mongodb由于特殊的日期格式（存在-8时区的问题），所以在使用java程序解决日期计算问题就会有点麻烦，其实也很简单，就是先将日期改变时区，然后转成带有格式String类型的日期，然后在java里面的将String转化成date类型即可。上代码： public List<DateToString> findTime() { ProjectionOperation...

2020-04-26 10:04:40 1096

原创 template操作mongodb数据库（更新方法大全）

本文是使用JAVA程序操作MongoDB数据库。里面提供了各种更新数据的方法，查询的各种方法会在后面进行更新。本文只是提供了数据库更新操作的一些方法。数据库数据和字段如下：对于更新数据，我将更新数据的方法抽象出来成为单独一个方法，方法如下：private int execUpdate(Query query, Update update,boolean isMany) { ...

2020-04-16 21:00:09 3492

原创 JAVA程序（MongoTemplate）操作mongodb数据库常用方法（超级详细）

这里使用的是Spring+MongoTemplate来操作mongodb数据库。如果有不了解spring的同志先去了解一下spring为好，这里给出实现的一些方法。主要有：查询增加修改删除多字段增加模糊查询嵌套子文档修改。/** * Created by hongyonghan */@Component("studentDaoImpl")public class Stu...

2020-04-12 21:03:56 1817

原创 JAVA数据结构之数组详细教程

本文整理了java数据结构的数组操作。希望对刚入门数据结构的同志们有帮助。java数组非常简单。只要有JAVA语言基础就可以看这篇博文。大家不要害怕。。。非常简单。。整理博客真的很花费时间，如果对大家有帮助，麻烦点赞评论，让我有动力继续更新下去，谢谢大家。数组基础数组的结构如下：我们在存数据的时候，存在数组里面，以索引来读取数据。可以通过数组名【索引】的形式访问。每一个格子都存放一个数据...

2020-04-12 20:47:49 850 1

原创实时数据可视化系统的搭建（含代码）

之前一直在做别的事情，就忘记整理系统的文档了。现在正好闲下来，开始整理吧！本系统是基于肺炎疫情的实时数据可视化系统。界面图如下：网站如下：网站地址该网站使用的技术和工具有：python网络爬虫、docker技术、Flask、Ajax等。我这里爬取的是腾讯的疫情数据。代码如下：#return:返回历史数据和当天的详细数据import requestsimport jsonimpor...

2020-04-12 17:11:58 4822 11

原创一篇文章入门spring

Spring笔记1在之前我们对象的创建都是我们自己new出来的，比如Student stu=new Student（）,但是我们现在有了spring,我们将对象的创建的工作交给spring来处理。那么spring是怎么创建对象的呢，创建对象之后有时保存在哪里的呢？不知道大家清不清楚反射的概念。spring就是利用反射来进行创建对象。就是我们给定一个字符串,在spring这里给定的字符串是你...

2020-03-31 20:54:39 213

原创另一个程序已锁定文件的一部分，进程无法访问打不开磁盘“.vmdk”或它所依赖的某个快照磁盘的解决方案

今天打开虚拟机突然。。。。。然后百度了一下问题是虚拟机在运行的时候，会锁定你的虚拟机的文件，防止系统被更改，如果系统突然崩溃了的话，那么虚拟机没法给已经锁定的文件解锁，那么在启动的时候就没法使用虚拟机。解决方法：1.找到虚拟机所在的文件夹，删除所有以.lck结尾的文件。注意，在一个虚拟机里面可能有1多个lck文件。删除之后再尝试开虚拟机即可。...

2020-03-21 17:56:45 18185 17

原创一句话理解hadoop合并和归并的关系

合并是指combiner的过程，combiner是对重复的key合并在一起，减少冗余信息。是对key的操作。归并是两个有序文件合并成一个有序文件，是对文件的操作。...

2020-03-15 09:03:48 3627

原创一句话搞懂hadoop分区分组的不同

分组发生在reducetask阶段，分组是针对同一个区的数据进行分组。分组的目的是为了让不同组的数据进入reduce进行处理。分区发生在maptask阶段，分区的目的是为了让数据进入哪个reducetask。...

2020-03-15 08:58:42 675

原创 Hadoop中shuffle的详细过程

hadoop的shuffle详细过程如下：（1）从maptask中收集我们的map方法输出的kv数据对，放到内存缓冲区中（2）从内存缓冲区不断溢出本地磁盘文件，但是由于内存缓冲区的大小，可能会多次溢出，也就会溢出多个文件。（3）多个溢出文件会被合并成大的溢出文件。（4）在溢出过程和合并过程中，都要调用Partitioner进行分区和针对key进行排序。（5）ReduceTask根据自己的...

2020-03-14 07:58:15 1176

原创 Hadoop的单词个数统计程序（可复现）

（1）在文件夹下写定一个hello.txt文件。python hellojava pythonc++ javapython php(2)然后编写一个入门级的mapreduce程序。一个mapreduce程序分为Mapper、Reducer、Driver。本程序使用maven.pom.xml代码如下。<dependencies> <dependency>...

2020-03-10 22:07:34 552

原创白话理解Hadoop的NameNode和SecondaryNameNode工作机制

NameNode里的元数据是用来找到DataNode的，但是这些元数据是存储在哪里的呢？元数据的存储位置无非是存储在内存里或者硬盘里，但是存在硬盘里，主机访问的时候时间太长，放在内存里，会明显提高访问的效率，但是存在内存里也有一个坏处，就是一旦设备断电，内存里的元数据也会消失，所以需要对元数据进行持久化。元数据持久化有两种方式:一种是fsimage，一种是edit日志。fsimage是edit...

2020-03-08 14:25:30 277

原创搭建onedrive个人网盘（详细步骤）

1.安装宝塔面板。yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh这是服务全部开启的样子。然后自动生成一个账号和密码。登录上面Bt-Panel的网址：然后安装nginx和php.下载one...

2020-03-07 10:00:29 11523 1

原创 hadoop集群关机shell脚本

该shell脚本仅学习使用，在网络中运行有可能有泄露密码的风险。#!/usr/bin/env bashssh -t hadoop201 "echo \"123456\" | sudo -S shutdown -h now"ssh -t hadoop202 "echo \"123456\" | sudo -S shutdown -h now"ssh -t hadoop203 "echo \...

2020-03-05 22:24:14 690

原创 centos7设置硬件时间和系统时间同步

修改/etc/sysconfig/ntpd 文件增加内容如下：SYNC_HWCLOCK=yes

2020-03-04 16:19:03 1326

原创 Hadoop运行环境搭建（本地模式）

1.在/opt目录下创建文件夹（1）在/opt目录下创建module、software文件夹，module文件夹是放解压出来的软件，software是原压缩包。$ sudo mkdir module$ sudo mkdir software（2）修改module、software文件夹的所有者sudo chown centos:centos module/ software/2....

2020-03-03 21:33:12 227

原创 Notepad++添加NppFTP插件

很多时候我们需要在linux上面修改文本内容，常用的方法是直接在linux上使用vim或者vi命令，但是这样对于较大的文件来说未免有点不方便。所以使用nodepad的NppFtp插件远程连接到linux里面，修改里面的文件内容。1.点击插件，然后插件管理2.在搜索框里面添加nppftp点击下一个3.点击下载4.进入你本机的notepad++的安装目录，到如下文件夹。然后会有一个Np...

2020-03-03 21:19:44 1299

原创大数据技术生态体系

图中涉及的技术名词解释如下：1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2）Flume：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚...

2020-03-02 22:07:41 495