- 博客(14)
- 收藏
- 关注
RSS订阅原创 Linux模板机
linux模板机： 1. ip 动态ip =》静态ip 1.内网 2.学习方便 2.关闭防火墙 ： 1-65535 关闭防火墙 3.额外的安装包 ： 1.jdk =》 卸载掉 2.mysql =》 mysql自带的额外包【安装mysql 去掉就行】 【superset mysql自带的额外包】ip： 1.win =》 vmware...
2022-04-22 13:11:48
202
原创 数理统计基本知识
数理统计： 1.描述统计 2.推断统计1.描述统计 1.什么是描述统计？ 描述统计 从数据中提取 变量的主要信息 2.从数据中提取 变量的主要信息 =》 【指标】 统计量 统计量： 1.频率与频数 2.集中趋势分析： 均值、中位数、众数、分位数 3.离散程度分析： 极差、方差、标准差 4.分布形状： 偏度、峰...
2022-04-22 13:09:28
1727
原创 Linux基本命令
基本命令：1.mv + cp 1.mv 剪切 2.cp 复制 mv =》 文件个数 始终是1分 cp =》 文件个数 始终是2分 1.移动 [root@sygy10 bigdata]# mv 1.log ../1.log [root@sygy10 bigdata]# cp ~/1.log ./ 2.改名字 [root@sygy10 ~]# mv 1.log 1.log_blk ...
2022-04-22 13:00:22
116
原创 Linux概念及基本指令
linux ：1.概述 1.为什么要使用linux ？ java、前端、大数据、算法 =》 app 服务器 =》 linux 2. 2.linux 概述： 1.文件操作系统： 层级式的文件操作系统 linux 最顶层目录：/ 3.linux版本： 广义 ： ubuntu、小红帽、centos、debian、等 基于linux 内...
2022-04-22 12:56:29
159
原创 数据处理知识
数据处理 ： 算子 map filter groupby apply数据切片pandas ： 1.官网 https://pandas.pydata.org/ 2.概述： pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, 【pandas就是一个数据分析的工具】 3...
2022-04-22 12:49:22
140
原创 python机器学习
机器学习： 1.概念 Simple and efficient tools for predictive data analysis 【预测数据分析结果】 用机器代替人做决策 数据集 =》 训练 =》 模型 2.Built on NumPy, SciPy, and matplotlib、pandas2.机器学习里面的常用术语 ： 1.数据集准备 色泽= 绿色 、根=弯曲 、 敲声 = 浑浊 =》 熟的 ...
2022-04-22 12:45:09
3255
原创 Python爬虫框架
爬虫的框架：scrap ：1.An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式2.安装部署3.基本使用 1.创建一个项目 scrapy startproject test_scrapy 1...
2022-04-08 10:58:05
1548
1
原创 大数据专业面试知识
大数据专业：面试：linux： tail -f F 区别hadoop： 读写流程、yarn、mapreduce【不会问的、shuffle】 hdfs： 小文件如何解决 nn ha yarn hahive： 1.sql 2.调优： 1.数据倾斜=》 join group by 2.使用过哪些参数flume：tail -f F ...
2022-04-08 10:57:34
2171
原创 Python爬虫知识
爬虫： 1.百度百科 2.自己理解： 通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析2.爬虫是否合法？ 1.法律允许 2.有法律风险的3.统一规定？ 【法律界限】 robots.txt协议4.爬虫的分类： 1.获取一整张页面 【通用爬虫】 2.获取一整张页面 部分数据 【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】5.爬虫的规则： 1.反爬策略： 门户...
2022-04-08 10:57:07
103
原创 Python函数知识
1.函数： 函数 =》方法 【区别不大】 scala 【有区别】 1.内置函数 【 常用类的api】 1.数学相关的 【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】 1.内置函数 【 常用类的api】 print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3]))...
2022-04-08 10:56:41
136
原创 Python基础知识
Python: 1.概述： 1.语言 2.开发起来简洁 =》 java 2.使用场景： 1.数据分析 =》 numpy 、pandas 2.web 开发 =》 用的不多 、 百度 3.游戏开发 =》 用的不多 4.AI （机器学习、深度学习） 5.爬虫 1.部署安装： 1.安装： 1.python 原生的安装包 www.pyt...
2022-04-08 10:55:53
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人