- 博客(55)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 《软件设计师教程（第5版）》第一章 计算机系统知识
知识点计算机安全包括物理安全和逻辑安全。物理安全是指对计算机硬件设备、机房环境等的安全保护；逻辑安全主要涉及软件系统、数据安全等方面。安全威胁包括人为威胁（如黑客攻击、恶意软件）和自然威胁（如火灾、地震等）。安全策略包括访问控制策略（如自主访问控制、强制访问控制）、加密策略、备份策略等。考点区分物理安全和逻辑安全的具体措施和保护对象。识别常见的安全威胁类型，如根据描述判断是哪种网络攻击方式（如病毒、蠕虫、木马等）。
2025-01-08 18:57:14
852
原创 【软件设计师】软考中级备考资料-学习目录
《软件设计师教程（第 5 版）》开篇讲解计算机系统知识，为后续奠基，程序设计语言基础与数据结构章节，分别剖析语言原理、呈现关键构建要素。操作系统、软件工程等章节，涵盖进程管理、开发流程等要点。面向对象技术、算法设计带来新思路与实用算法，数据库、网络安全、标准化等知识一应俱全，最后以软件系统分析与设计收尾。
2025-01-08 18:54:51
741
原创 Vue页面CPU占用率过高卡死
标题一开始是这样的，项目中某个Elment组件出现 Unknown custom element:[xxxx...的问题，于是使用npm i element-ui -S命令重新安装了一下，清除缓存重启后组件可以正常使用，但是页面打开不久即卡死，且CPU占用率过高。于是使用（此命令将安装软件包及其依赖的任何软件包。）npm install试试，报错：error Failed at the node-sass@4.7.2 postinstall script.解决1、安装cnpm，输入以下
2021-12-31 09:28:44
4515
原创 Vue项目创建与项目结构解析
一、新建项目前置条件：打开命令行查看是否有需要的环境。node环境：（若无则安装：npm install -g cnpm –registry=https://registry.npm.taobao.org）vue-cli:（若无则安装：npm install --global vue-cli）切换到power shell：新建一个放项目文件夹并进入：vue init webpack 项目名说明：Vue build ==> 打包方式，回车即可；Install vue-rou
2021-11-02 16:23:44
1371
原创 Spring Boot多数据源配置
前言沿用上一篇入门的项目结构：Spring Boot 入门案例新建一个数据库名为test2，test2中下的user表的数据：相比上个入门案例项目整体结构改为（添加了取User用户表的功能）1、pom.xml中添加dynamic-datasource-spring-boot-starter如果你的maven显示找不到依赖项。可以去阿里云仓库搜索地址https://maven.aliyun.com/mvn/search搜索你要找的依赖,下载下来放到你本地的jar路径。 <
2021-09-10 10:38:40
356
原创 Vue中不建议v-for与v-if一起用
以下是示例代码，第一个用法会被ESLint插件变红警告，我们可以用计算属性先筛选数组再返回。官方文档参考链接：Vue风格指南<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" conten
2021-09-10 08:52:39
252
原创 Spring Boot 入门案例
Spring Boot 入门案例总体步骤新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入总体步骤建立数据表和实体类，要与数据表字段保持一致建立mapper类，定义操作数据库的动作建立mapper的xml文件，写具体
2021-09-08 16:03:34
604
1
原创 循环神经网络 – Recurrent Neural Network | RNN
卷积神经网络CNN已经足够强大，为什么还需要RNN？RNN的独特价值卷积神经网络 – CNN 和普通的算法大部分都是输入和输出的一一对应，也就是一个输入得到一个输出。不同的输入之间是没有联系的。比如下图中的X1和X2互换一下位置，对结果是没有任何影响的。可是还存在这样场景，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。如白雪和雪白就是两种不同的意思。基于序列的模型可以用在很多领域中。在音乐中，一首曲子的下一个音符肯定取决于前面的音符，而在视频领域，电影中的下一帧肯定
2020-11-25 17:38:37
244
原创 pandas 使用小技巧
最近有用pandas制作报表和数据分析的需求，在此记录下一些小技巧：1、加载excel文件pandas.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, usecols=None, squeeze=False, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skiprows=None, nrows=None,
2020-09-21 16:40:27
460
原创 selenium——爬取qq空间说说
采用可见即可爬的方法模拟登录抓取说说内容自己的个人说说网址：https://user.qzone.qq.com/你的qq号/311一、打开登录界面切换iframe1.由于登录按钮是在iframe上，所以第一步需要把定位器切换到iframe上2.用switch_to_frame方法切换，此处有id属性，可以直接用id定位切换<iframe id="login_frame" name="login_frame" height="100%" scrolling="no" width
2020-09-06 22:28:09
1014
原创 用python进行网络爬虫（三）—— 数据抓取
在上一篇用python进行网络爬虫（一）—— 编写第一个爬虫我们构建了一个爬虫，但是却不够实用，因为爬虫在下载网页后就将结果丢弃了。现在我们需要从每个网页中抽取一些数据，然后实现某些事情，这个也称为 抓取 。分析网页要理解一个网页结构如何，可以使用查看网页源代码（view page source）的方法。一般来说大多数浏览器，在网页中右键鼠标就可以看到这个选项。不过这样有时候并不适合阅读。我们可以选择检查元素来查看：抓取网页方法1、正则表达式正则表达式用起来比较复杂，如果不熟悉的话，建议先
2020-08-29 21:25:12
645
原创 用python进行网络爬虫（二）快速上手——requests
requests模块快速上手使用编码保存图片(二进制响应内容)响应状态码Cookie自定义cookie定义请求头发送 GET 请求发送 POST 请求错误证书处理重试处理参考使用# 导入模块import requests# 定义请求地址url = 'http://www.baidu.com'# 发送 GET 请求获取响应response = requests.get(url)# 获取响应的 html 内容html = response.textresponse.text 返回响应内容，
2020-08-28 21:57:34
316
原创 MySQL存储过程
文章目录简介优点缺点编写第一个MySQL存储过程调用存储过程要调用存储过程，可以使用以下SQL命令：MySQL存储过程的变量声明变量分配变量值变量范围(作用域)删除存储过程存储过程的参数MySQL存储过程参数示例1、IN参数示例2、out输出参数MySQL存储过程返回多个值MySQL存储过程条件语句1）if-then-else语句2）case语句循环语句MySQL游标使用游标参考简介MySQL 5.0 版本开始支持存储过程。存储过程（Stored Procedure）是一种在数据库中存储复杂程序，以便
2020-08-27 16:39:43
631
原创 Hotel booking demand 酒店预订需求分析
数据集下载地址：https://www.kaggle.com/jessemostipak/hotel-booking-demand该数据集包含城市酒店和度假酒店的预订信息，包括预订时间、停留时间，成人/儿童/婴儿人数以及可用停车位数量等信息。适用场景：社会科学、旅行、酒店、用户行为，不具有明显的行业标识，可进行常规用户行为分析。数据量：32列共12W数据量。可以定义的问题：1)基本情况：城市酒店和假日酒店预订需求和入住率比较；2)用户行为：提前预订时长、入住时长、预订间隔、餐食预订情况；3)
2020-08-26 23:23:11
3329
原创 爬取淘宝商品评论——2020-8月
本文具有时效性，指不定哪天失效时间：2020-8网页分析一般来说，请求的数据 会有几种可能：1、很简单的html页面（静态网页），就直接requests就可以请求成功；2、js渲染的页面 ，很常见，requests请求一堆js数据；3、需要登录才能获取，登录后，把cookie 加入请求；4、json数据显然淘宝不是静态网页，直接打开某个商品（我们这里选择Nike旗舰店的一双鞋），选择评论页面，按F12进入调试页面页面，选择network，然后点击评论的下一页观察页面请求放大看一下显然
2020-08-18 22:55:30
1810
6
原创 Hadoop2.0到Hadoop3.0简述
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
2020-08-17 11:32:17
2362
2
原创 基于Hadoop（3.1.3）的数据仓库Hive（3.1.2）
环境java 1.8Ubuntu18.04Hadoop 3.1.3下载安装hive下载之前我们要先看对应的版本，打开这个网址查看:http://hive.apache.org/downloads.html由于我们之前安装的是Hadoop3.1.3所以这里我们可以下载3.1.2版本：清华镜像源hive安装sudo tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/local/ #解压到/usr/localcd /usr/local/sudo
2020-08-16 22:53:46
5209
1
原创 MySQL数据库引擎
什么是数据库引擎数据库引擎是用于存储、处理和保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。当你访问数据库时，并不是直接读写数据库文件，而是通过数据库引擎去访问数据库文件。MySQL支持的存储引擎在数据库命令行页面输入： show engines；即可显示数据库支持的引擎mysql> show engines;+---
2020-08-15 16:02:58
254
原创 MapReduce——理论到编程
前言对于大数据处理，传统的企业解决方式是：一个企业将有一个计算机存储和处理大数据。对于存储而言，程序员会自己选择的数据库厂商，如Oracle，IBM等的帮助下完成，用户交互使用应用程序进而获取并处理数据存储和分析。特点：这种方式对结构化数据的处理非常方便，如今，每天网络上都会产生非常庞大的数据量。这些数据有很大一部分是由**关系数据库管理系统（RDBMS）**来处理的。通过应用实践证明，关系模型非常适合于客户服务器编程，如今它是结构化数据存储在网络和商务应用的主导技术。但是，当代典型的关系数据库
2020-08-14 22:56:24
1048
1
原创 用Excel做一次数据分析（二）——一次简单的分析
接上一篇：用Excel做一次数据分析（一）——爬取前程无忧（51job）的招聘信息得到了数据后，接下来可以开始数据清洗和分析的工作了：总体步骤：数据获取——这里用python爬取前程无忧的招聘信息；明确分析目的——你拿这数据要得到什么信息，解决什么问题；观察数据——各个数据字段的含义，中英文释义；数据清洗——无效值、缺失值、重复值处理，数据结构是否一致等；分析过程——围绕目的展开分析；制作可视化——做图表做可视化报告一、明确目的数据分析的大忌是不知道分析的方向和目的，拿着一堆数据不知所措
2020-08-13 21:31:25
662
原创 用Excel做一次数据分析（一）——爬取前程无忧（51job）的招聘信息
前言本文分为两步：数据的获取 （python爬虫，以广州，数据分析师为例）数据分析（这里先不用python，而是excel）总体步骤：数据获取——这里用python爬取前程无忧的招聘信息；明确分析目的——你拿这数据要得到什么信息，解决什么问题；观察数据——各个数据字段的含义，中英文释义；数据清洗——无效值、缺失值、重复值处理，数据结构是否一致等；分析过程——围绕目的展开分析；制作可视化——做图表做可视化报告。爬取数据网址首页：https://www.51job.com/搜索后
2020-08-12 15:49:00
1562
原创 selenium简单安装与使用教程
Selenium是一个用电脑模拟人操作浏览器网页，可以实现自动化，用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。安装pip install selenium安装驱动以谷歌浏览器为例：https://sites.google.com/a/chromium.org/chromedriver/downloads地址栏输入：Chrome://versions，查看浏览器版本并下载解压得到一个chromedriver.exe文件，将其放置在浏览器的安装
2020-08-11 18:10:17
1981
原创 三分钟理解Python—— lambda
这篇主要是复习一下进入标题，lambda是什么？为什么要使用lambda？lambda表达式是一种匿名函数，对应python中的自定义函数def。定义func函数，计算给定数x的平方def func(x):return x*x等价于func = lambda x: x*x可以看到，lambda只不过是定义函数的一种高级写法，lambda简化了函数定义的书写形式。代码更为简洁。对于有些函数我们只用一次的，用lambda就十分友好，连函数名都没有。lambda与map(), filte
2020-08-09 21:47:44
440
原创 特征工程——特征选择（Feature Selection）,特征关联
特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。可参考这篇文章：结合Scikit-learn介绍几种常用的特征选择方法常用方法分类Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。 （去掉取值变化小的特征 Removing
2020-08-09 20:01:51
4448
原创 Hbase是什么？
HBase 是一个开源的、分布式、版本化、高可靠、高性能、面向列、可伸缩的NoSQL 数据库（也即非关系型数据库），它利用 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）提供分布式数据存储。与传统的关系型数据库类似，HBase 也以表的形式组织数据，表也由行和列组成；不同的是，HBase 有列族的概念，它将一列或者多列组织在一起，HBase 的每一个列都必须属于某个列族。但HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另
2020-08-09 11:22:23
1547
原创 浅谈NoSQL
这篇文章旨在让大家快速了解NoSQL的基本知识。文章目录NoSQL概述Big Data发展历史关系型数据库分布式系统简介分布式计算的优点分布式计算的缺点非关系型数据库分类NoSQL的特点CAP定理（CAP theorem）BASENoSQL适用场景Key-Value数据模型关键技术问题典型的关键问题如下:实战演练--MongoDB数据库MongoDB简介基本概念（1）文档（2）集合（3）数据库安装NoSQL概述NoSQL是对不同于传统的关联式资料库的数据库管理系统的统称。”Not Only SQL
2020-08-08 23:28:12
1111
原创 HBase2.2.2安装和编程实践指南
承接上一篇：分布式文件系统HDFS上机实践文章目录@[toc]分布式数据库HBase一、HBase介绍运行环境：二、安装并配置HBase2.2.22.1单机模式配置1. 配置/usr/local/hbase/conf/hbase-env.sh 。2. 配置/usr/local/hbase/conf/hbase-site.xml3. 测试运行。2.2 伪分布式模式配置1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：2.配置/usr/local/hbase/conf/
2020-08-08 23:00:38
899
原创 分布式文件系统HDFS上机实践
分布式文件系统HDFS接着前面的文章：（一）Ubuntu18.04,Hadoop3.1.3伪分布式环境搭建，（二）hadoop 分布式文件系统HDFS这节是HDFS的实践。实验环境：Ubuntu18.04Hadoop3.1.3文章目录分布式文件系统HDFS一、利用Shell命令与HDFS进行交互1.目录操作2.文件操作二、利用Web界面管理HDFS三、利用Java API与HDFS进行交互(一) 在Ubuntu中安装Eclipse(二）在Eclipse创建项目(三）为项目添加需要用到的JA
2020-08-07 22:04:02
1493
原创 Ubuntu(18.04)下安装eclipse
由于直接通过自带的软件中心安装的eclipse安装后启动失败，出现java.lang.ClassNotFoundException: org.eclipse.core.runtime.adaptor.EclipseStarter的错误，所以这里采用手动安装。环境操作时间: 2020-08Ubuntu 18.04jdk 1.8 （假设你已经安装好了jdk）1、软件的下载有三种方法，建议直接使用第二种方式就行：（一）你可以到 http://eclipse.stu.edu.tw/technology
2020-08-06 23:17:04
1521
原创 hadoop 分布式文件系统HDFS
HDFS这里在网上参考了一下文章的各种解释，以及林子雨老师的大数据处理技术应用我把它整理了一下，并且加了一些自己的理解。简介：HDFS是Hadoop Distribute File System 的简称，也就是 hadoop 分布式文件系统，可以储存超大容量文件（GB甚至TB，PB级别），其最主要的作用是作为 Hadoop 生态中各系统的存储服务。分布式文件系统分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群与之前使用多个处理器和专用高级硬件的并行化处理装置不
2020-07-31 22:27:58
610
原创 Ubuntu18.04,Hadoop3.1.3伪分布式环境搭建
大数据处理架构Hadoop摘要: 在Linux 环境搭建Hadoop伪分布式集群，并对HDFS进行基本的操作。文章目录大数据处理架构Hadoop简介核心架构特性版本Hadoop项目结构Hadoop基本安装配置：环境创建hadoop用户更新apt安装SSH、配置SSH无密码登陆安装 Hadoop3.1.3Hadoop伪分布式配置实验步骤：Hadoop配置文件说明运行Hadoop伪分布式实例1、单词出现次数统计案例：2、正则表达式单词抓取案例：简介（先来大概了解一下Hadoop）总的来说，Hadoop
2020-07-31 21:56:45
1033
原创 数据分析案例——航空公司客户价值分析
特征构造原始数据包含四十多个特征，如何利用这些特征？由于特征数较多，我们并不需要利用上所有的特征。１、RFM模型本项目的目标是客户价值分析，即通过航空公司客户数据识别不同价值的客户，识别客户价值应用最广泛的模型是RFM模型。R（Recency）指的是最近一次消费时间与截止时间（采集数据）的间隔。F（Frequency）指顾客在某段时间内所消费的次数。M（Monetary）指顾客在某段时间内所消费的金额。2、RFM模型结果解读RFM模型包括三个特征，使用三维坐标系进行展示，如图所示。X
2020-07-18 17:49:58
5212
1
原创 用python进行网络爬虫（一）--编写第一个爬虫
本文是一个python3爬虫入门教程，需要注意的是你需要有python基础，掌握简单的语法即可。网络爬虫被用于许多领域，收集不太容以其他格式获取的信息。需要注意的是，网络爬虫当你抓取的是现实生活中真实的公共的公共数据，在合理的使用规则下是允许转载的。相反，如果是原创数据或是隐私数据，通常受到版权显示，而不能转载。 请记住，自己应当是网络的访客，应当约束自己的抓取行为，否则会造成不良后果。我们将从零开始，逐步完善一个高级网络爬虫。.下载网页重试下载设置用户代理网络地图爬虫ID遍历爬虫链
2020-07-14 11:12:01
396
原创 SQL基础指南，在FAQ中学习MySQL
本文通过对MySQL进行表查询来学习MySQL的基本操作。MySQL:（MySQL的SQL不区分大小写）登录：mysql -u root -p查看数据库show databases;选择数据库use table_name;查看选定数据库的表show tables;创建数据库（删除将create 改为drop)create database 数据库名;创建表(删除：DROP TABLE table_name ;）create table table_name (colum
2020-07-11 23:05:24
351
原创 用Python放一场烟花秀
只需一点可视化技巧，100余行Python代码和程序库Tkinter，最后我们就能达到下面这个效果通过让画面上一个粒子分裂为X数量的粒子来模拟爆炸效果。粒子会发生“膨胀”，意思是它们会以恒速移动且相互之间的角度相等。这样就能让我们以一个向外膨胀的圆圈形式模拟出烟花绽放的画面。经过一定时间后，粒子会进入“自由落体”阶段，也就是由于重力因素它们开始坠落到地面，仿若绽放后熄灭的烟花。Tkinter，它是Python的标准 GUI 库，广泛应用于各种各样的项目和程序开发，在Python中使用 Tkinter
2020-07-04 21:13:06
730
原创 C++反转一个整数
*Given a 32-bit signed integer, reverse digits of an integer.Example 1:Input: 123Output: 321思路：如果是一个正数，不断的取÷10的余数再10,再加上新的余数。比如:123，第一次123%10=3，然后123÷10=12第二次12%10=2，然后12÷10=1第三次1%10=1，然后1÷10=0 ，等于0停止循环这样从上到下我们就得到了3，2，1想要得到321则需要3100+210+1，即在得到.
2020-07-04 20:50:49
655
原创 动态规划经典例题，C++解决01背包，车间资源分配，硬币兑换问题
在M件物品取出若干件放在空间为W的背包里，每件物品的体积为W1，W·2……Wn，与之相对应的价值为P1,P2……Pn。求出获得最大价值的方案。注意：在本题中，所有的体积值均为整数。 01背包问题是最基本的背包问题，它包含了背包问题中设计状态、方程的最基本思想，另外，别的类型的背包问题往往也可以转换成01背包问题求解。故一定要仔细体会上面基本思路的得出方法，状态转移方程的意义，以及最后怎样优化的空间复杂度。//01背包#include<iostream>using namespa.
2020-07-04 20:24:24
838
原创 53行C++代码打印一个会跳动的爱心
效果截图：源码比较简短，直接看吧：#include <math.h>#include <windows.h>#include <tchar.h>float f(float x, float y, float z) { float a = x * x + 9.0f / 4.0f * y * y + z * z - 1; return a * a * a - x * x * z * z * z - 9.0f / 80.0f * y * y * z * z *
2020-07-04 20:18:38
7030
2
原创 与或图搜索问题--Grundy博弈
博弈，类似于象棋这样的游戏问题。特点：双人博弈，对垒双方轮流走步信息完备，对垒双方得到的信息一样零和，即对一方有利的棋，对另一方肯定是不利的。对弈的结果是一方输，另一方赢；或者双方和棋，即结果零和。Grundy博弈这是一个分钱钱币游戏。有一堆数目为N的钱币，由两个选手轮流分堆。要求：每位选手每次只把其中一堆分成数目不等的两小堆，直到有一位选手无法再把钱币分成不相等的两堆就得认输。设初始状态为（7，MIN），则该问题的状态空间图如下图：取胜方的目标是设法使棋局发展为结束在对方走步时的终
2020-06-21 15:53:41
2577
原创 关联分析(Association Analysis)--挖掘啤酒与尿布的关联规则
通过本文我们将了解：x->y的含义挖掘关联分析规则的两个步骤aproori原理算法优化–剪枝如何生成频繁项集没有重复的k-项候选集如何产生—>剪枝–>计数–频繁k-项集关联分析规则的评估指标什么是关联分析关联分析是一种简单、实用的分析技术，就是发现存在于大量数据集中的关联性或相关性，从而描述了一个事物中某些属性同时出现的规律和模式。关联分析是从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。该过程通过发现顾客放人其购物篮中
2020-06-19 22:36:59
4426
大数据调查研究--交通领域最终版.docx
2020-06-12
局域网内视频聊天及文件传输工具
2020-06-12
数据库新技术与新应用--mongodb.docx
2019-12-14
用python爬取网页并用mongodb保存.docx
2019-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人