椿湫づ゛-优快云博客

原创 linux模板机

linux模板机： 1. ip 动态ip =》静态ip 1.内网 2.学习方便 2.关闭防火墙： 1-65535 关闭防火墙 3.额外的安装包： 1.jdk =》卸载掉 2.mysql =》 mysql自带的额外包【安装mysql 去掉就行】【superset mysql自带的额外包】ip： 1.win =》 vmware ： ...

2022-04-18 16:25:24 163

原创 linux知识

tar ： linux 处理归档文件的命令归档文件：普通文件：1.log 1m归档文件：1.log.tar 1m压缩文件：1.log.tar.gz 0.9m1.普通 =》压缩归档文件 1.log =》1.log.tar.gztar -zcvf xxx.tar.gz file... -cf => 创建一个新归档 + 使用归档文件 z => 压缩 gz v =》详细地列出处理的文件eg: ...

2022-04-18 16:24:14 197

原创基本命令代码

基本命令：1.mv + cp 1.mv 剪切 2.cp 复制 mv =》文件个数始终是1分 cp =》文件个数始终是2分 1.移动 [root@sygy10 bigdata]# mv 1.log ../1.log [root@sygy10 bigdata]# cp ~/1.log ./ 2.改名字 [root@sygy10 ~]# mv 1.log 1.log_blk ...

2022-04-18 16:23:22 393

原创数理统计知识

数理统计： 1.描述统计 2.推断统计1.描述统计 1.什么是描述统计？描述统计从数据中提取变量的主要信息 2.从数据中提取变量的主要信息 =》【指标】统计量统计量： 1.频率与频数 2.集中趋势分析：均值、中位数、众数、分位数 3.离散程度分析：极差、方差、标准差 4.分布形状：偏度、峰...

2022-04-18 16:20:49 430

原创 Linux相关概念及基本指令

linux ：1.概述 1.为什么要使用linux ？ java、前端、大数据、算法 =》 app 服务器 =》 linux 2. 2.linux 概述： 1.文件操作系统：层级式的文件操作系统 linux 最顶层目录：/ 3.linux版本：广义： ubuntu、小红帽、centos、debian、等基于linux 内...

2022-04-12 21:23:41 109

数据处理：算子 map filter groupby apply数据切片pandas ： 1.官网 https://pandas.pydata.org/ 2.概述： pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, 【pandas就是一个数据分析的工具】 3...

2022-04-07 15:14:45 2122

原创机器学习相关概念

机器学习： 1.概念 Simple and efficient tools for predictive data analysis 【预测数据分析结果】用机器代替人做决策数据集 =》训练 =》模型 2.Built on NumPy, SciPy, and matplotlib、pandas2.机器学习里面的常用术语： 1.数据集准备色泽= 绿色、根=弯曲、敲声 = 浑浊 =》熟的 ...

2022-04-07 15:14:04 152

原创爬虫基础知识

网络爬虫：爬虫一般指网络爬虫，又名网页蜘蛛，蠕虫等，是一种按照一定等规则，自动抓取网页内容的程序或者脚本。爬虫的原理：传统的网络爬虫从一个或多个网页的初始url开始，获取这些初始url内容中的新的url，在抓取网页的过程中，不断的从当前页面上抽取出新的url放入到url列列中，直到满足预定的条件时停止。一些具有特定策略的爬虫工作流程较为复杂，例如聚焦爬虫，他们会根据一定的网页分析算法过滤和主题无关的连接，只保留那些跟主题相关的连接放入到url队列中，然...

2022-04-02 12:23:32 769

原创 PYTHON相关概念

Python: 1.概述： 1.语言 2.开发起来简洁 =》 java 2.使用场景： 1.数据分析 =》 numpy 、pandas 2.web 开发 =》用的不多、百度 3.游戏开发 =》用的不多 4.AI （机器学习、深度学习） 5.爬虫 1.部署安装： 1.安装： 1.python 原生的安装包 www.pyt...

2022-04-02 11:14:34 463

原创函数相关概念

1.函数：函数 =》方法【区别不大】 scala 【有区别】 1.内置函数【常用类的api】 1.数学相关的【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】 1.内置函数【常用类的api】 print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3]))...

2022-04-02 11:13:31 105

原创爬虫的相关概念

.爬虫是否合法？ 1.法律允许 2.有法律风险的3.统一规定？【法律界限】 robots.txt协议4.爬虫的分类： 1.获取一整张页面【通用爬虫】 2.获取一整张页面部分数据【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据【增量式爬虫】5.爬虫的规则： 1.反爬策略：门户网站通过技术手段防止爬虫程序对页面爬取数据 2.反反爬策略爬虫程序通过技术手段对页面爬取数据...

2022-04-02 11:12:33 647

原创爬虫的框架

scrap ：1.An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式2.安装部署3.基本使用 1.创建一个项目 scrapy startproject test_scrapy 1.项目目录：...

2022-04-02 11:10:47 1679

原创大数据找工作相关问题

面试：linux： tail -f F 区别hadoop：读写流程、yarn、mapreduce【不会问的、shuffle】 hdfs：小文件如何解决 nn ha yarn hahive： 1.sql 2.调优： 1.数据倾斜=》 join group by 2.使用过哪些参数flume：tail -f F 区别 1.架...

2022-04-01 08:37:02 83

原创爬虫相关知识

1.爬虫： 1.百度百科 2.自己理解：通过代码、模拟浏览器上网然后抓取数据的过程数据解析2.爬虫是否合法？ 1.法律允许 2.有法律风险的3.统一规定？【法律界限】 robots.txt协议4.爬虫的分类： 1.获取一整张页面【通用爬虫】 2.获取一整张页面部分数据【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据【增量式爬虫】5.爬虫的规则： 1.反爬策略： ...

2022-04-01 08:35:47 112

weixin_52707424的博客