- 博客(20)
- 收藏
- 关注
RSS订阅原创 spark9-30
rdd:初代rdd:存储的是真实数据的分区信息，还有是针对单个分区的读取方法。血统的顶层。子代rdd:存储初代rdd到底做了什么才会产生自己，初代rdd的引用，血统的下层。只是记录数据，什么时候执行呢.collect()这是action，在执行任务的时候才会从上往下读，开始真正执行操作。之前只是记录。不是存的数据，是存的分区。...
2020-09-30 14:20:59
216
原创 爬虫
爬取：安装scrapy,anaconda。在爬取列表类网站时候，找共性共同点，把不一样的地方改成一样的可以将整个网站爬取。问题：分别爬取得数据如何对应上，即存在数据库或者是csv男的是xpathyijson格式输出Excel的编码格式yield类似于递归，当next没有时就不再爬取。阿加斯请求，表单请求爬虫找工作：会反爬...
2020-09-29 20:15:24
240
原创 爬虫
什么是爬虫：请求网站并提取数据的自动化程序。基本流程：1.发起请求：web前端与后端如何交互，就是靠请求。2获取相应内容3解析内容：常用正则表达式，得到的内容可能是HTML。如何在众多标签里面的到数据。字典与json的格式是一样的，4.保存数据什么是request 和response？请求和响应网络三次握手request包含什么》1.请求方式：GET:从服务器端拿数据，get请求会写在URL上面。post：从我这里给服务器数据，服务器用来新增数据，用户注册。后台新增数据put:更
2020-09-28 19:20:05
829
原创 2020-09-21
C:\Users\石悦政>C:\Users\石悦政>cd f系统找不到指定的路径。C:\Users\石悦政>cd F:F:\C:\Users\石悦政>ipythonPython 3.6.5 |Anaconda, Inc.| (default, Mar 29 2018, 13:32:41) [MSC v.1900 64 bit (AMD64)]Type ‘copyright’, ‘credits’ or ‘license’ for more informationIPy
2020-09-21 09:40:22
1229
原创 9-21 pandas
引包：In [1]: import pandas as psIn [2]: import pandas as pdIn [3]: from pandas import SeriesIn [4]: from pandas import DataFrame一维数组：SeriesIn [5]: s1 = Series(range(5))In [6]: s1Out[6]:0 01 12 23 34 4dtype: int64返回0-.
2020-09-21 09:13:11
234
原创 web前端---列表
<title>第二个网页【列表】</title></head><body> <h3>列表</h3> <!--type符号的类型，start起始位置--> <ol type='A' start="3"> <li>不</li> <li>要</li> <li>吃</li> <li>嘿嘿&l...
2020-09-18 10:56:49
199
原创 web前端-表格
表格元素 <!--cellspacing:单元格之间距离，一般改为0 cellpadding:单元格内部边际 border：外边框的宽度--><body> <table border="5px" cellspacing="0" cellpadding="10px"> <tr> <th>序号</th> <th>姓名</th> <th>性别...
2020-09-18 10:55:33
693
原创 web--超链接
嗨史努比！你好呀！颜色为红色蓝色 加粗 斜体 语文 数学 english 你好，这是我的第二次web前端课，上节课我们写了一个 网页 哈哈哈 奥利给 </pre> <ol> <li>我</li> <li>好</li> <li>喜</li> <li>欢</li> <li>...
2020-09-18 10:51:53
283
原创 操作系统理论课第一次
操作系统的形成过程批处理操作系统:1.作业内含:用户在一次上级活东中要求计算机系统所做的一切工作的集合。外延:进行计算2.脱机处理，在外围机的作用下把纸袋计算。输入输出不经过主机。3批处理是指用户作业呗分批处理。在批处理过程中不允许用户与计算机发生交互。不允许用户干预程序。好处效率高，...
2020-09-17 08:13:01
225
2
原创 泰迪杯第一次课
1，数据分析技能赛：主要以工具为主，可视化的工具。2、考试时间：早八点到晚六点。3****.数据清洗：****kettle:软件使用csv:以逗号为分隔符的文本文件。主要涉及CSV文件的导入导出，（1）输入：CSV文件输入：excel输入：1.注意细节：比如给出格式数据为03年的格式，要求结果数据为97格式的。2.在工作表中，获取工作表名称，有的文件包含三个工作表，选择需要的数据表，有sheet1，sheet2，sheet3.3.注意将字段里的时间都换成date类型，否则以后用不了
2020-09-16 20:08:51
388
原创 spark第一周
1.Ctrl+p:打印成pdf版本创建目录，输入文件内容，数据准备(1) 输入pwd命令查看是否处于登录用户目录下使用mkdir data—>命令 创建数据文件夹然后cd data进入到 data 文件夹内,再使用pwd命令查看当前目录。（2）.使用vim data.txt命令创建文本，并输入如下Word，输入完成后按下esc键：wq！保存退出。（3）. 输入ll查看当前目录：2.输入pyspark启动spark：3.通过如下命令先读取数据：lines=sc.tex
2020-09-16 15:12:22
253
原创 web前端--1.如何将图片放到网站左上角? 2.如何设置网站图标？
第一节课：<!DOCTYPE html> //
2020-09-16 13:30:02
5561
1
原创 出现Permission denied的解决方法
当出现Permission denied时，在虚拟机里写上：hadoop fs -chmod -R 777 /user/shi即可。
2020-06-18 11:06:41
6163
原创 大数据 sqoop
1.查看所有的数据库：（MySQL）sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 1234562.查看某个数据库的所有表sqoop list-tables --connect jdbc:mysql://localhost:3306/sqoopdb --username root --password 1234563.在MySQL里面插入数据drop table if
2020-06-17 15:37:17
127
原创 **HBASE里如果IP改变如何修改文件？**
HBASE里如果IP改变如何修改文件？1、cd hadoop/etc/hadoop2、vi core-site.xml3、cd4、cd hbase/conf5、vi hbase-site.xml6、cd /etc/7、sudo vi hosts//使用管理员身份更改
2020-05-19 09:40:45
411
原创 Python-ipython+random
ipython:在Terminal中输入ipython print('hello,world!')（2）导入Python的random库： import random#生成0-1的随机浮点数random.random()#Out[8]: 0.3790487620246493#生成1-9的随机整数：random.randint(1,9)# Out[11]: 2#生成a-b...
2019-10-14 13:37:12
156
原创 用Python绘制小猪佩奇！
小猪佩奇！"""绘制小猪佩奇"""from turtle import *def nose(x,y): """画鼻子""" penup() #将海龟移动到指定的坐标 goto(x,y) pendown() #设置海龟的方向（0-东、90-北、180-西、270-南） setheading(-30) begin_fill(...
2019-10-12 14:55:24
287
原创 Python学习
基础：hello，world！##print('hello,world!')#输出结果：hello，world！#print("你好，世界！")print('你好','世界')#输出结果：你好 世界 中间空格隔开print('hello','world',sep=',',end='!')#输出结果：hello,world! 中间，结尾！print('goodbye,world'...
2019-10-12 12:59:47
260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人