- 博客(20)
- 收藏
- 关注
RSS订阅原创 spark9-30
rdd: 初代rdd: 存储的是真实数据的分区信息，还有是针对单个分区的读取方法。血统的顶层。 子代rdd: 存储初代rdd到底做了什么才会产生自己，初代rdd的引用，血统的下层。 只是记录数据，什么时候执行呢 .collect() 这是action，在执行任务的时候才会从上往下读，开始真正执行操作。之前只是记录。 不是存的数据，是存的分区。 ...
2020-09-30 14:20:59
264
原创 爬虫
爬取： 安装scrapy,anaconda。 在爬取列表类网站时候，找共性共同点，把不一样的地方改成一样的可以将整个网站爬取。 问题： 分别爬取得数据如何对应上，即 存在数据库或者是csv 男的是xpath yijson格式输出 Excel的编码格式 yield类似于递归，当next没有时就不再爬取。 阿加斯请求， 表单请求 爬虫找工作：会反爬 ...
2020-09-29 20:15:24
308
原创 爬虫
什么是爬虫： 请求网站并提取数据的自动化程序。 基本流程： 1.发起请求：web前端与后端如何交互，就是靠请求。 2获取相应内容 3解析内容：常用正则表达式，得到的内容可能是HTML。如何在众多标签里面的到数据。字典与json的格式是一样的， 4.保存数据 什么是request 和response？ 请求和响应 网络三次握手 request包含什么》 1.请求方式：GET:从服务器端拿数据，get请求会写在URL上面。 post：从我这里给服务器数据，服务器用来新增数据，用户注册。后台新增数据 put:更
2020-09-28 19:20:05
885
原创 2020-09-21
C:\Users\石悦政> C:\Users\石悦政>cd f 系统找不到指定的路径。 C:\Users\石悦政>cd F: F:\ C:\Users\石悦政>ipython Python 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSC v.1900 64 bit (AMD64)] Type ‘copyright’, ‘credits’ or ‘license’ for more information IPy
2020-09-21 09:40:22
1307
原创 9-21 pandas
引包： In [1]: import pandas as ps In [2]: import pandas as pd In [3]: from pandas import Series In [4]: from pandas import DataFrame 一维数组：Series In [5]: s1 = Series(range(5)) In [6]: s1 Out[6]: 0 0 1 1 2 2 3 3 4 4 dtype: int64 返回0-.
2020-09-21 09:13:11
305
原创 web前端---列表
<title>第二个网页【列表】</title> </head> <body> <h3>列表</h3> <!--type符号的类型，start起始位置--> <ol type='A' start="3"> <li>不</li> <li>要</li> <li>吃</li> <li>嘿嘿&l...
2020-09-18 10:56:49
237
原创 web前端-表格
表格元素 <!--cellspacing:单元格之间距离，一般改为0 cellpadding:单元格内部边际 border：外边框的宽度 --> <body> <table border="5px" cellspacing="0" cellpadding="10px"> <tr> <th>序号</th> <th>姓名</th> <th>性别...
2020-09-18 10:55:33
741
原创 web--超链接
嗨史努比！你好呀！颜色为红色蓝色 加粗 斜体 语文 数学 english 你好，这是我的第二次web前端课，上节课我们写了一个 网页 哈哈哈 奥利给 </pre> <ol> <li>我</li> <li>好</li> <li>喜</li> <li>欢</li> <li>...
2020-09-18 10:51:53
319
原创 操作系统理论课第一次
操作系统的形成过程 批处理操作系统: 1.作业内含:用户在一次上级活东中要求计算机系统所做的一切工作的集合。 外延:进行计算 2.脱机处理，在外围机的作用下把纸袋计算。输入输出不经过主机。 3批处理是指用户作业呗分批处理。在批处理过程中不允许用户与计算机发生交互。不允许用户干预程序。好处效率高， ...
2020-09-17 08:13:01
286
2
原创 泰迪杯第一次课
1，数据分析技能赛： 主要以工具为主，可视化的工具。 2、考试时间：早八点到晚六点。 3****.数据清洗：**** kettle:软件使用 csv:以逗号为分隔符的文本文件。 主要涉及CSV文件的导入导出， （1）输入： CSV文件输入： excel输入： 1.注意细节：比如给出格式数据为03年的格式，要求结果数据为97格式的。 2.在工作表中，获取工作表名称，有的文件包含三个工作表，选择需要的数据表，有sheet1，sheet2，sheet3. 3.注意将字段里的时间都换成date类型，否则以后用不了
2020-09-16 20:08:51
443
原创 spark第一周
1.Ctrl+p:打印成pdf版本 创建目录，输入文件内容， 数据准备 (1) 输入pwd命令查看是否处于登录用户目录下 使用mkdir data—>命令 创建数据文件夹 然后cd data进入到 data 文件夹内,再使用pwd命令查看当前目录。 （2）.使用vim data.txt命令创建文本，并输入如下Word，输入完成后按下esc键：wq！保存退出。 （3）. 输入ll查看当前目录： 2.输入pyspark启动spark： 3.通过如下命令先读取数据： lines=sc.tex
2020-09-16 15:12:22
308
原创 web前端--1.如何将图片放到网站左上角? 2.如何设置网站图标？
第一节课：  <!DOCTYPE html> //
2020-09-16 13:30:02
5727
1
原创 出现Permission denied的解决方法
当出现Permission denied时，在虚拟机里写上： hadoop fs -chmod -R 777 /user/shi 即可。
2020-06-18 11:06:41
6406
原创 大数据 sqoop
1.查看所有的数据库：（MySQL） sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456 2.查看某个数据库的所有表 sqoop list-tables --connect jdbc:mysql://localhost:3306/sqoopdb --username root --password 123456 3.在MySQL里面插入数据 drop table if
2020-06-17 15:37:17
169
原创 **HBASE里如果IP改变如何修改文件？**
HBASE里如果IP改变如何修改文件？ 1、cd hadoop/etc/hadoop 2、vi core-site.xml 3、cd 4、cd hbase/conf 5、vi hbase-site.xml 6、cd /etc/ 7、sudo vi hosts //使用管理员身份更改
2020-05-19 09:40:45
459
原创 Python-ipython+random
ipython: 在Terminal中输入ipython print('hello,world!') （2）导入Python的random库： import random #生成0-1的随机浮点数 random.random() #Out[8]: 0.3790487620246493 #生成1-9的随机整数： random.randint(1,9) # Out[11]: 2 #生成a-b...
2019-10-14 13:37:12
230
原创 用Python绘制小猪佩奇！
小猪佩奇！ """ 绘制小猪佩奇 """ from turtle import * def nose(x,y): """画鼻子""" penup() #将海龟移动到指定的坐标 goto(x,y) pendown() #设置海龟的方向（0-东、90-北、180-西、270-南） setheading(-30) begin_fill(...
2019-10-12 14:55:24
330
原创 Python学习
基础：hello，world！## print('hello,world!') #输出结果：hello，world！ #print("你好，世界！") print('你好','世界') #输出结果：你好 世界 中间空格隔开 print('hello','world',sep=',',end='!') #输出结果：hello,world! 中间，结尾！ print('goodbye,world'...
2019-10-12 12:59:47
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人