<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[SWZHENG97的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/SWZHENG97</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; SWZHENG97]]></copyright><item><title><![CDATA[爬取微博评论数据]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/119843938</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/119843938</guid><author>SWZHENG97</author><pubDate>Sat, 21 Aug 2021 19:42:59 +0800</pubDate><description><![CDATA[常见的两种商业爬虫：
	论坛文章评论数据的采集：微博、知乎、贴吧、推特
    电商网站的数据采集：京东、淘宝、。

import requests
import pprint
import time
import openpyxl

workbook = openpyxl.Workbook()
sheet = workbook.active
# 1-10
# 循环爬取10页留言
for i in range(1,10):
    
    url = ''
    print(url)
    respo]]></description><category></category></item><item><title><![CDATA[机器学习7.21]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/119010109</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/119010109</guid><author>SWZHENG97</author><pubDate>Fri, 23 Jul 2021 12:02:08 +0800</pubDate><description><![CDATA[昨日内容回顾


K近邻模型代码实战
# 标准化处理
	统一量纲
    
# 哑变量处理
	字符&gt;&gt;&gt;数值



朴素贝叶斯模型
# 高斯贝叶斯分类器
	
# 多项式贝叶斯分类器

# 伯努利贝叶斯分类器



SVM模型
# 超平面

# 分隔带

# 线性可分

# 线性不可分



K均值聚类
# 典型的无监督学习算法模型

# K值选择
	拐点法
    交叉验证法



今日内容概要


K均值聚类代码实战


DBSCAN聚类分析模型


GBDT模型
难度较难 复杂度较高
]]></description><category></category></item><item><title><![CDATA[机器学习7.20]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118938861</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118938861</guid><author>SWZHENG97</author><pubDate>Tue, 20 Jul 2021 16:38:21 +0800</pubDate><description><![CDATA[昨日内容回顾


Logistic回归模型
对线性回归模型的公式做了Logit变换 转换成了[0,1]之间的概率值

有监督与无监督机器学习
"""针对每个模型 最好都记住一个该模型的实际案例"""



决策树与随机森林
树结构
	是计算机底层较为常见的一种数据结构
    	二叉树、红黑树、B+树...

决策树
	根节点与枝节点都是某个条件 只有叶子节点是最终的数据
 
随机森林
	其实就是由多颗决策树组织而成
"""针对面试不会的问题 一定要在面试之后记录下来并查找答案"""



K近邻模型
以未]]></description><category></category></item><item><title><![CDATA[机器学习7.19]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118929168</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118929168</guid><author>SWZHENG97</author><pubDate>Tue, 20 Jul 2021 16:37:54 +0800</pubDate><description><![CDATA[本周安排


前三天算法模型


后面改为下午考试加复习
python编程
	编程题为主
MySQL数据库
	查询题为主
    python与MySQL结合操作
网络爬虫
	案例实战
    python、文件操作、mongodb...
综合理论题
	知识点的口头表达能力
'''过程中也可以不断的投递简历 有面试就去面试没有则听课(同步进行)'''
有面试就去面试 没有面试尽量来学校复习(在家里可能没有学习的氛围)



内容回顾


线性回归模型
1 如何判断两个变量之间是否存在线性关系
	绘制散点图
]]></description><category></category></item><item><title><![CDATA[数据分析案例]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118884693</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118884693</guid><author>SWZHENG97</author><pubDate>Sun, 18 Jul 2021 22:35:37 +0800</pubDate><description><![CDATA[数据分析案例
数据分析案例要求
电商数据分析案例
电商数据分析案例
一.数据集介绍

此次的数据集来自kaggle的关于在线零售业务的交易数据，该公司主要销售礼品，大部分出售对象是面向批发商。

二.数据集字段介绍

数据包含541910行，8个字段，字段内容为：

InvoiceNo: 订单编号，每笔交易有6个整数，退货订单编号开头有字母’C’。
StockCode: 产品编号，由5个整数组成。
Description: 产品描述。
Quantity: 产品数量，有负号的表示退货
InvoiceDate:]]></description><category></category></item><item><title><![CDATA[机器学习7.09]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118642099</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118642099</guid><author>SWZHENG97</author><pubDate>Sat, 10 Jul 2021 22:39:28 +0800</pubDate><description><![CDATA[昨日内容回顾


ssh配置
管理的机器比较多 需要频繁校验用户名密码的情况下
可以考虑使用ssh公钥私钥的方式

1.先生成自己的公钥私钥
2.将自己的公钥发送给目标机器
3.通过私钥直接完成链接交互



集群单点启动与集体启动
Hadoop所有的启动命令基本都在sbin目录下



定时任务
crontab  # linux自带的

* * * * *
分时日月周

crontab -e  # 添加定时任务
crontab -l  # 查看定时任务
crontab -r  # 删除定时任务



时间]]></description><category></category></item><item><title><![CDATA[Hadoop7.08]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118642083</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118642083</guid><author>SWZHENG97</author><pubDate>Sat, 10 Jul 2021 22:39:07 +0800</pubDate><description><![CDATA[昨日内容概要


Hadoop环境准备
1.解压hadoop压缩包(2.X版本)
2.配置环境变量并重新加载
3.检测是否正常启动



Hadoop目录结构
bin
	程序文件
etc
	配置文件
share
	说明文档
sbin
	操作命令
readme
	产品说明



Hadoop官网案例
1.grep过滤案例
	hadoop jar share/....  grep  目标文件  输出位置
2.wordcount统计案例
	hadoop jar share/....  word  目标文件  输出]]></description><category></category></item><item><title><![CDATA[Hadoop7.07]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118642052</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118642052</guid><author>SWZHENG97</author><pubDate>Sat, 10 Jul 2021 22:38:14 +0800</pubDate><description><![CDATA[昨日内容回顾


Hadoop组件详细介绍
多看几遍 争取能说出个大概即可



虚拟机环境准备
1.克隆多台虚拟机
	链接克隆
    完整克隆
2.依次修改克隆出来的机器ip地址和主机名
	ip地址修改
    	vim /etc/sysconfig/network-scripts/ifcfg-eth0
        systemctl restart network
    host主机名
    	hostnamectl set-hostname hadoop01
        bash
3.修]]></description><category></category></item><item><title><![CDATA[Hadoop7.06]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118532772</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118532772</guid><author>SWZHENG97</author><pubDate>Wed, 07 Jul 2021 01:10:23 +0800</pubDate><description><![CDATA[昨日内容回顾


大数据四大特征
1.海量数据
	数据的容量非常的大
    	1024GB = 1TB 1024TB = 1PB...
2.高增长率
	短时间内数据的增长速度特别快
    	天猫双十一
3.多样性
	数据的种类非常的多样
    	结构化数据 非结构化数据
4.低价值密度
	数据量越大从中获取到有效的数据效率越低(一定的前提条件)



大数据应用场景
应用在生活的方方面面
人工智能
	自动驾驶汽车 机器人 ...
金融
房地产
商品营销
...



大数据仓库之Hadoop
2006]]></description><category></category></item><item><title><![CDATA[Hadoop7.05]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118496622</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118496622</guid><author>SWZHENG97</author><pubDate>Wed, 07 Jul 2021 01:10:15 +0800</pubDate><description><![CDATA[课程安排


大数据之Hadoop
面试可以说一说 	真正的数据分析过程中可能接触的不多
但是数据分析岗位与大数据岗位很相似 所以最好先掌握个大概
ps:其实也就是一款数据库软件而已



机器学习算法模型
主要是为了了解每个算法的内部本质
工作中有现成的软件和代码能够直接实现算法 不需要你自己再写公式



面试指导
如何攥写个人简历
如何与HR沟通交流



Hadoop理论
大数据的四大特征
1.数据量一定要大
	容量
    eg:1PB 1EB
2.短时间内数据的增长速度特别快
	eg:双十一 一]]></description><category></category></item><item><title><![CDATA[linux7.02]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118422249</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118422249</guid><author>SWZHENG97</author><pubDate>Fri, 02 Jul 2021 19:49:09 +0800</pubDate><description><![CDATA[昨日内容回顾


文件编辑命令
vi		linux系统自带的
vim		需要额外的下载
# 可以使用yum命令下载
yum install vim -y

语法结构
vi	文件名  # 文件不存在自动创建



vi快捷方式
命令行模式
编辑模式
视图块模式(批量操作)

切换方式及识别方法
	就看文件的最底部 如果什么都没有显示则为命令行模式
    如何有--XXX--显示则为其他模式
    	--insert--插入模式 编辑模式
        --vistul block--视图块模式 批量操作]]></description><category></category></item><item><title><![CDATA[linux7.01]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118422261</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118422261</guid><author>SWZHENG97</author><pubDate>Fri, 02 Jul 2021 19:48:43 +0800</pubDate><description><![CDATA[昨日内容回顾


命令行快捷方式
课下一定要自己多练习几遍



目录结构相关
linux所有的路径都是从根开始
windows则是分不同的盘符管理

ps:在linux中操作的时候一定要明确你当前在哪路路径下	pwd
   
.  当前目录
..  上一次目录
多级目录需要使用斜杠分割  ../..

mkdir 默认只能创建单级 加上参数-p可以创建多级



文件操作相关
1.创建文件
	touch
2.查看文件内容
	cat
3.拷贝文件
	cp
4.剪切文件
	mv
5.删除文件/目录数据
	rm]]></description><category></category></item><item><title><![CDATA[linux6.30]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118371258</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118371258</guid><author>SWZHENG97</author><pubDate>Wed, 30 Jun 2021 22:46:55 +0800</pubDate><description><![CDATA[昨日内容回顾


安装操作系统
需要有一个该操作系统的镜像文件(.iso)

前期不熟练的情况下可以参考截图一步步做 之后要做到独立完成
1.虚拟网络设置
2.网卡文件名称修改
	ens33  &gt;&gt;&gt; eth0
3.网络配置
	ip地址 端口号 子网掩码 DNS服务器(域名解析)
    # 所有的网址其实内部本质都是对应着一串数字(IP:PORT)
4.其他相关配置 软件 时间 ...
5.设置管理员密码及普通用户
6.需要重启才能生效




安装远程操作软件
xshell # win]]></description><category></category></item><item><title><![CDATA[linux6.29]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118345792</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118345792</guid><author>SWZHENG97</author><pubDate>Wed, 30 Jun 2021 22:46:44 +0800</pubDate><description><![CDATA[昨日内容回顾


服务器的作用
1.数据保存在服务器上面更加的安全可靠
2.24小时不间断提供服务
3.提升用户体验
# 运维人员的职责



服务器的种类
1.云服务器
	很多小公司使用的都是云服务器(成本低 不需要自己建造管理和维护)
2.物理主机服务器
	机架服务器
    刀片服务器
    塔式服务器



服务器的品牌
戴尔
IBM(联想收购thinkserver)
浪潮



服务器的尺寸
用来描述服务器长宽的单位是U
1U 2U 4U



服务器内部主要组成部分
1.电源
	要保证服务器2]]></description><category></category></item><item><title><![CDATA[linux6.28]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118326549</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118326549</guid><author>SWZHENG97</author><pubDate>Tue, 29 Jun 2021 22:53:23 +0800</pubDate><description><![CDATA[爬虫复习
1.python基础
	python基础语法
    流程控制
    函数封装
2.防爬措施
	整体防爬
    	User-Agent
        referer
        IP代理池
        Cookie代理池
    各自防爬
    	数据内部动态加载
        网页设置有干扰项标签
        数据加密解密
3.课程中爬取过的网站
	红牛分公司数据
    链家二手房数据
    历史天气数据
    汽车之家新闻数据
    京东商品数据
    豆瓣电影]]></description><category></category></item><item><title><![CDATA[网络爬虫06.25]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118279065</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118279065</guid><author>SWZHENG97</author><pubDate>Mon, 28 Jun 2021 09:44:29 +0800</pubDate><description><![CDATA[昨日内容回顾


爬取商品数据并保存
selenium模块
bs4模块
openpyxl模块



爬取电影排行并保存
requests模块
bs4模块
openpyxl模块
# 针对电影详情数据有两种获取方式
	1.直接处理简介内容
    2.二次爬取更深层次的网页
'''豆瓣是有检测IP访问频率的机制'''

ps:我们平时在编写代码的时候可以创建一个tests.py文件用于测试相当于我们写数学题目的草稿纸



爬取贴吧图片并保存
requests模块
lxml模块
文件操作
'''有检测IP访问频]]></description><category></category></item><item><title><![CDATA[网络爬虫06.24]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118293590</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118293590</guid><author>SWZHENG97</author><pubDate>Mon, 28 Jun 2021 09:44:17 +0800</pubDate><description><![CDATA[昨日内容回顾


京东多页及函数封装
1.多页思路
	研究url规律
    直接查找下一页链接
2.代码封装
	什么是函数 函数的作用 为什么封装



openpyxl模块
pandas模块
	内部封装了openpyxl
    	pd.read_excel()
        pd.read_csv()
openpyxl模块
	WorkBook
    load_workbook
xlrd与xlwt模块
	百度查找相应文档
 
excel版本问题
	.xls
    .xlsx

1.创建excel文]]></description><category></category></item><item><title><![CDATA[网络爬虫06.23]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118191704</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118191704</guid><author>SWZHENG97</author><pubDate>Thu, 24 Jun 2021 18:33:47 +0800</pubDate><description><![CDATA[昨日内容回顾


selenium基本选择器
find_element_by_...		 # 单个
find_elements_by_...     # 多个
'''支持css选择器和xpath选择器'''



selenium常用操作
click()
send_keys()
send_keys(模拟键盘按键)
text()
get_attribute()
'''更多其他操作可参考笔记即可 无需过多记忆'''



Xpath选择器
'''功能非常强大的一款选择器'''
//*
//div/a
//div]]></description><category></category></item><item><title><![CDATA[网络爬虫06.22]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118117432</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118117432</guid><author>SWZHENG97</author><pubDate>Thu, 24 Jun 2021 16:43:41 +0800</pubDate><description><![CDATA[昨日内容回顾


二手房数据局部查找
今日再独立完成代码编写

代码函数封装



爬取天气数据
有时候页面上的数据是通过js代码动态加载的
需要我们通过浏览器检测请求代码
	network
查找js代码请求的url地址
"""
有一类url我们在发送请求的时候不会给我们返回一个HTML页面
而是一些json格式的数据
这种类型的url我们习惯称之为&gt;&gt;&gt;:接口
"""



爬取新闻数据
网页的HTML中参杂了干扰项需要我们通过if判断筛选避免

针对分页 针对新闻详情页如何爬取



]]></description><category></category></item><item><title><![CDATA[贪吃蛇代码]]></title><link>https://blog.youkuaiyun.com/SWZHENG97/article/details/118119677</link><guid>https://blog.youkuaiyun.com/SWZHENG97/article/details/118119677</guid><author>SWZHENG97</author><pubDate>Tue, 22 Jun 2021 22:23:52 +0800</pubDate><description><![CDATA[贪吃蛇代码
# -*- coding: utf-8 -*-
import pygame
import random
import copy

'''
    首先设置蛇的一个运行方向  接下来判断键盘事件在决定蛇的运行方向
    蛇可以运行起来了  那么接下来就是 吃食物增加自己的长度 和 不吃食物在不同的位置显示
'''
# 初始小蛇方向
move_up = False
move_down = False
move_left = False
move_right = True

# 1.1 游戏初始化
]]></description><category></category></item></channel></rss>