- 博客(8)
- 收藏
- 关注
RSS订阅原创 VM命令2
基本命令：1.mv + cp 1.mv 剪切 2.cp 复制 mv =》 文件个数 始终是1分 cp =》 文件个数 始终是2分 1.移动 [root@sygy10 bigdata]# mv 1.log ../1.log [root@sygy10 bigdata]# cp ~/1.log ./ 2.改名字 [root@sygy10 ~]# mv 1.log 1.log_blk ...
2022-04-14 23:41:50
844
原创 VM基本命令
1.基本命令 1.pwd 当前光标所在目录的位置 [root@sygy10 ~]# pwd /root 2.ls 【查看】当前光标所在目录的 下面有什么东西 [root@sygy10 ~]# ls ls 显示文件夹和文件名字 ls -l 显示文件夹和文件名字 详细信息 ls -l -a 显示文件夹和文件名字 详细信息 显示隐藏文件【 文件或者文件夹 以.开头的文件 】 ls ...
2022-04-12 22:05:52
9360
原创 numpy基础
机器学习： 1.概念 Simple and efficient tools for predictive data analysis 【预测数据分析结果】 用机器代替人做决策 数据集 =》 训练 =》 模型 2.Built on NumPy, SciPy, and matplotlib、pandas2.机器学习里面的常用术语 ： 1.数据集准备 色泽= 绿色 、根=弯曲 、 敲声 = 浑浊 =》 熟的 ...
2022-04-06 21:32:12
1542
原创 scrapy
爬虫的框架：scrap ：1.An open source and collaborative framework for extracting the data you need from websites.In a fast, simple, yet extensible way. 1.开源的爬虫框架 2.快速、简单、高效的方式2.安装部署3.基本使用 1.创建一个项目 scrapy startproject test_scrapy ...
2022-04-06 08:27:57
123
原创 scrapy爬虫命令
1.创建项目：scrapy startproject test_scrapy2. 找目录：cd .\test_scrapy\3.创建一个模板： scrapy genspider python01 www.xxx.com4.运行模板，看好使不：scrapy runspider .\test_scrapy\spiders\python01.py5.两种命令都试试： scrapy crawl python016.改参数，让它只报错：7.生成json文件:scrapy crawl pyt
2022-04-06 08:26:18
1387
原创 python1
1.函数： 函数 =》方法 【区别不大】 scala 【有区别】 1.内置函数 【 常用类的api】 1.数学相关的 【math 包下的】 2.自定义函数 3.匿名函数【没有名字的函数】 1.内置函数 【 常用类的api】 print(abs(-10)) #绝对值 print(max(1, 2, 3, 4, 5)) print(min(1, 2, 3, 4)) print(sum([1, 2, 3]))...
2022-03-31 21:27:37
346
原创 python2
爬虫： 1.百度百科 2.自己理解： 通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析2.爬虫是否合法？ 1.法律允许 2.有法律风险的3.统一规定？ 【法律界限】 robots.txt协议4.爬虫的分类： 1.获取一整张页面 【通用爬虫】 2.获取一整张页面 部分数据 【聚焦爬虫】 3.检查页面更新、获取页面最新的更新的数据 【增量式爬虫】5.爬虫的规则： 1.反爬策略： 门户...
2022-03-31 21:27:05
74
原创 大数据专业：
面试：linux： tail -f F 区别hadoop： 读写流程、yarn、mapreduce【不会问的、shuffle】 hdfs： 小文件如何解决 nn ha yarn hahive： 1.sql 2.调优： 1.数据倾斜=》 join group by 2.使用过哪些参数flume：tail -f F 区别 ...
2022-03-31 21:24:09
1784
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人