- 博客(42)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 在QT的Widget中显示OSG：自建osgQt类并显示模型和earth文件
说明：之前学的osg代码都是在win32控制台上运行，使用viewer.run()直接显示模型；也在MFC上成功尝试了osgEarth。最近由于项目需要，需要把osgearth的三维地球重新显示到Qt环境中。但是MFC跟QT在显示的模式上感觉还是有很多不同，特别是在QT上显示的时候大多会使用osgQt这个库，但是从github上下载了之后始终无法编译成功，基本上看了网上所有关于osgQt的博客和使用方法，基本都没有走通，所以自己就想了一个死办法，自建了一个类，在不报错的情况下，把osgQt的源码给复制了一遍
2020-07-26 10:32:56
4124
4
原创 自动生成python项目的requirements.txt项目
自动生成python项目的requirements.txt项目我们为什么要使用requirements.txt呢？主要使用目的：任何应用程序通常需要设置安装所需并依赖一组类库来满足工作要求。要求文件是指定和一次性安装包的依赖项具体一整套方法。安装requirements.txt依赖requirements.txt文件格式：requests==1.2.0 Flask==0.10.1使用下面代码可以安装requirements.txt依赖pip install -r requirements
2020-08-02 20:29:23
295
原创 osgEarth用户手册-笔记
以下笔记来自《osgEarth用户手册》优快云分享：目录1. osgEarth 安装1.1 获取源码1.2 准备工作1.3 编译osgEarth1.4 测试2. 建立地图2.1 地图文件元素索引2.2.1 简单图像文件1. osgEarth 安装1.1 获取源码github下载osgEarth源码比较方便1.2 准备工作准备osgEarth依赖的第三方库：GDAL CURL GEOS SQLite 3 LibZIP1.3 编译osg
2020-07-31 20:22:08
2353
原创 OSG 与 OSGEarth 开发相关技术博客
OSG 与 OSGEarth 开发的相关技术博客索引osgViewer::Viewer和osgViewer::CompositeViewerhttps://blog.youkuaiyun.com/L_Andy/article/details/107418324：向用户说明应该使用哪个Viewer
2020-07-30 15:56:49
483
原创 哑变量与逻辑回归
哑变量与逻辑回归数据部分数据：admit,gre,gpa,rank0,380,3.61,31,660,3.67,31,800,4,11,640,3.19,40,520,2.93,41,760,3,21,560,2.98,10,400,3.08,21,540,3.39,30,700,3.92,20,800,4,40,440,3.22,11,760,4,10,700,3.08,21,700,4,1导入库numpy: Python的语言扩展，定义了数字的数组和矩阵
2020-07-29 19:34:06
3136
2
原创 pandas DataFrame操作（2）
pandas DataFrame操作（2）1. 读取csv格式数据pd.DataFrame.from_csv(“csv_file”)或pd.read_csv(“csv_file”)2. 读取 Excel 数据集pd.read_excel("excel_file")3. 将 DataFrame 直接写入 CSV 文件如下采用逗号作为分隔符，且不带索引：df.to_csv("data.csv", sep=",", index=False)4. 基本的数据集特征信息df.info
2020-07-29 19:15:35
276
原创 pandas DataFrame操作（1）
pandas DataFrame操作（1）导入库import pandas as pdimport numpy as np构建DataFrametuples = [('a', 'v1'), ('a', 'v2'), ('b', 'v1'), ('b', 'v2')]index = pd.MultiIndex.from_tuples(tuples)columns = ['c1', 'c2']values = np.arange(8).reshape(4, 2)df = pd.DataFra
2020-07-29 19:12:27
292
原创 numpy和pandas的一些函数和方法
numpy和pandas的一些函数和方法导入库：import numpy as npimport pandas as pd1. 读取csv或xlsx数据，生成DataFrame数据格式代码：f = open(r'data/example_data_1/stormofswords.csv')df = pd.read_csv(f)2. np.union1d求数组并集，返回一个list格式数据代码： test = np.union1d([-1, 0, 1], [-2, 0, 2])
2020-07-29 19:09:41
352
原创 lamba函数的使用
lamba函数的使用匿名函数lambda的用法Python中，lambda函数也叫匿名函数，及即没有具体名称的函数，它允许快速定义单行函数，类似于C语言的宏，可以用在任何需要函数的地方。这区别于def定义的函数。lambda与def的区别：def创建的方法是有名称的，而lambda没有。lambda会返回一个函数对象，但这个对象不会赋给一个标识符，而def则会把函数对象赋值给一个变量（函数名）。lambda只是一个表达式，而def则是一个语句。lambda表达式” : “后面，只能有一个表达
2020-07-29 19:07:42
780
原创 使用matplotlib绘制图表
使用matplotlib绘制图表绘制误差折线图下图绘制的误差折现图可以定义上下误差说明：%matplotlib inline 加上这句话之后，可以在jupyter notebook上把绘制的图显示出来，否则只能得到一个内存地址绘制出来的图表保存示例：plt.savefig(‘D:/test.png’)plt.errorbar()函数:plt.errorbar( x, # x坐标 y, # y坐标 yerr=None, # 数据误差范围 xerr=None,
2020-07-29 19:05:08
915
原创 二维表排序
二维列表排序方法1 使用 lambda 关键词辅助对二维列表进行排序# 假设有一个学生列表存储了学号，姓名，年龄信息：students = [[3, 'Jack', 12], [2, 'Rose', 13], [1, 'Tom', 10], [5, 'Sam', 12], [4, 'Joy', 8]]# 按学号顺序排序：students_processed = sorted(students, key=(lambda x: x[0]))print(students_pr
2020-07-29 18:59:42
1043
原创 10-使用pipeline和不使用pipeline来分别实现推荐系统 pyspark
首先不使用pipeline实现模型的训练from pyspark.mllib.recommendation import Rating # Rating模块from pyspark.mllib.recommendation import ALS # ALS模块# 读取文件 u.data# 数据字段分别为：用户id，项目id，评分，日期，并以\t作为分隔符data_path = '../测试数据/spark/ml-100k/u.data'raw_user_data = sc.text
2020-07-29 18:49:51
498
原创 09-独立程序求学生的平均成绩
问题：编写独立应用程序实现求平均值问题 每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。Algorithm成绩：小明 92小红 87小新 82小丽 90Database成绩：小明 95小红 81小新 89小丽 85Python成绩：小明 82小红 83小新 94小丽 91平均成绩如下： (小红,83
2020-07-29 18:45:59
5002
原创 08-案例：学生与课程统计
1. 数据下面这种数据结构，节选了几条数据：Aaron,OperatingSystem,100Aaron,Python,50Aaron,ComputerNetwork,30Aaron,Software,94Abbott,DataBase,18Abbott,Python,82Abbott,ComputerNetwork,76Abel,Algorithm,30Abel,DataStructure,38Abel,OperatingSystem,38Abel,ComputerNetwork,
2020-07-29 18:42:38
1122
原创 07-案例：销售图书
题目：给定一组键值对(“spark”, 2)(“hadoop”, 6)(“hadoop”, 4)(“spark”, 6)，键值对的key表示图书名称，value表示某天的图书销量，请计算每个键对应的平均值，也就是计算每种图书的每天平均销量下面利用scala实现：环境是在jupyter notebook中的运行，使用scala语法：命令1：val rdd = sc.parallelize(Array(("spark", 2), ("hadoop", 6), ("hadoop", 4), ("spar
2020-07-29 18:31:20
398
原创 06-推荐引擎
在docker中安装numpy命令：apk add py3-numpy更改pyspark的python版本，根据02的描述其他人提供的一种方法：1.docker exec -it spark-master /bin/sh2.echo http://mirrors.aliyun.com/alpine/v3.7/main/ >> /etc/apk/repositories #配置阿里镜像源3.apk update
2020-07-29 18:26:23
225
4
原创 05-特征抽取：TF-IDF-pyspark实现
from pyspark.ml.feature import HashingTF, IDF, Tokenizerfrom pyspark.sql import SparkSessionspark = SparkSession.builder.master("local").appName("Word Count333").getOrCreate()sentenceData = spark.createDataFrame([ (1, "I heard about Spark and I lov
2020-07-29 18:24:04
514
原创 03-更改pyspark的python版本
把pyspark的python解释器更改为python3找到文件 spark-env.sh.template：docker exec -it spark-master bashcd spark/conf 注：我的spark文件都放在docker中，所以命令对docker进行的操作创建文件命令：touch x.txt删除文件命令：rm x.txt对spark-env.sh.template操作复制并重命名文件cp spark-env.sh.template spark-env.sh
2020-07-29 18:15:36
1290
原创 03-Spark MLib
构建一个机器学习流水线：以逻辑斯蒂回归为例查找出所有包含“spark”的句子，即将包含spark的句子的标签设为1，没有spark的句子标签设备0下面是完整代码，之后分步骤对代码进行解析1. 需要使用SparkSession对象Spark2.0以上的pyspark在启动时会自动创建一个名为spark的SparkSession对象当需要手工创建时，SparkSession可以由其伴生对象的builder()方法创建出来// python代码from pyspark.sql import Spar
2020-07-29 17:35:02
427
原创 02- RDD编程基础
RDD创建从文件系统中加载数据创建RDDspark采用**textFile()**方法来从文件系统中加载数据创建RDD该方法吧文件的URI作为参数，这个URI可以是：本地文件系统的地址或者是分布式文件系统HDFS的地址或者是Amazon S3的地址等等(1)从本地文件系统加载数据创建RDD例如scala代码：注意是3条斜杠scala> val lines = sc.textFile("E:///1-研究生/01-课程/大数据分析应用与实践/运行代码的测试文件/textFile.t
2020-07-29 17:28:14
588
原创 01-启动spark shell
启动spark shellSpark 和 Hadoop的交互Spark部署模式包括：Local 模式：单机模式Standlone模式：使用Spark自带的简单集群管理器YARN 模式：使用YARN作为集群管理器Mesos 模式：使用Mesos作为集群管理器启动spark shell在SPAEK-SHELL中运行代码Spark Shell提供了简单的方式来学习Spark APISpark Shell 可以以实时、交互的方式来分析数据Spark Shell 支持Scala和Pytho
2020-07-29 17:19:02
1418
原创 5. 数据可视化的流程与框架
本文是对浙江大学的陈为老师所讲授的可视化导论课程的笔记。数据可视化基础（上）1. 可视化基本流程1. 可视化基本流程数据可视化，就是用图形化的手段，处理数据，并发现数据中潜在的模式。...
2019-10-12 09:48:45
5949
原创 BeautifulSoup库的学习（2）：BeautifulSoup库的基本元素
BeautifulSoup库的基本元素1. BeautifulSoup库的理解2. BeautifulSoup库的解析器3. Beautiful Soup类的基本元素4. 使用代码获取HTML基本元素1. BeautifulSoup库的理解BeautifulSoup库是解析、遍历、维护“标签树”的功能库。BeautifulSoup库的引用BeautifulSoup库，也叫beautif...
2019-10-08 20:58:34
616
原创 BeautifulSoup库的学习（1）：库安装与简单使用
BeautifulSoup库学习1. BeautifulSoup的安装2. 获取网页源代码3. 简单使用BeautifulSoup库1. BeautifulSoup的安装BeautifulSoup库一般用来解析网页。安装方法：打开cmd控制台，输入pip install beautifulsoup4BeautifulSoup库的安装测试打开pycharm（我使用的python编译...
2019-10-08 20:19:26
243
原创 案例5：IP地址归属地的自动查询
IP地址查询网站：http://ip138.com查询的url接口是：http://m.ip138.com/ip.sap?ip=ipaddress实现代码：import requestsurl = 'http://m.ip138.com/ip.asp?ip='try: r = requests.get(url + '202.204.80.112') # 增加查询的IP r...
2019-10-08 19:56:14
1418
3
原创 案例4：网络图片的爬取和存储
爬取网上的图片文本使用的图片链接：http://s1.bdstatic.com/r/www/cache/mid/static/xueshu/img/logo_4b1971d.gifimport requestsimport osif __name__ == "__main__": # 爬取的全代码 root = 'D://picutre//' # 设置根目录 ...
2019-10-08 19:50:46
553
原创 案例3：百度/360搜索关键词提交
百度的关键词接口： http://www.baidu.com/s?wd=keyword360的关键词接口： http://www.so.com/s?q=keywordimport requestsif __name__ == "__main__": # 全代码：爬取百度 keyword = 'Python' try: kv = {'wd':...
2019-10-08 19:45:28
556
原创 案例2：亚马逊商品页面的爬取
本节使用Requests库对亚马逊商品的某一个页面进行爬取。爬取代码如下：import requestsif __name__ == "__main__": url = 'https://www.amazon.cn/gp/product/B01M8L5Z3Y' try: # 由于网页会察觉到因为python爬虫的原因而无法访问，使用下面代码更改头信息，模拟一个浏览器...
2019-10-08 11:24:48
2316
原创 案例1：京东商品页面的爬取
本节使用Requests库对京东商品的某一个页面进行爬取。目标网址链接：https://item.jd.com/100002795959.htmlimport requestsif __name__ == "__main__": # 下面是是爬取京东商品页面的全部代码 url = 'https://item.jd.com/100002795959.html' # P30手机...
2019-10-08 11:19:27
3603
原创 Robots协议
Robots协议1. Robots协议基础2.Robots协议的遵守方式1. Robots协议基础Robots协议，即Robots Exclusion Standard 网络爬虫排除协议。作用：网站告知网络爬虫哪些页面可以爬取，哪些不能爬取形式：在网站根目录下的robots.txt文件例：京东的Robots协议http://www.jd.com/robots.txt可以看到京东对爬虫...
2019-10-08 11:11:54
1848
原创 2. 视觉感知和认知
本文是对浙江大学的陈为老师所讲授的可视化导论课程的笔记。1. 视觉感知与认知感知：指客观事物通过人的感觉器官在人脑中形成的直接反映。视觉感知：看到的输入信号的本质。认知：指人们获得知识或应用知识的过程，或信息加工的过程。记忆在人类认知过程中起着至关重要的作用，但工作记忆容量非常有限。可视化可以作为外部辅助来增强工作记忆。感知系统基于相对判断，而非绝对判断。使用相同的参照物或者相互对...
2019-10-07 23:36:37
8886
原创 Requests库学习(3)：Requestests库主要方法解析
1. 主要方法requests.request(method, url, **kwargs)method：请求方式，对应get/put/post等七种url：拟获取页面的url链接** kwargs：控制访问的参数，共13个注：以下两个语句作用完全相同# 1:r = requests.request('GET', 'http://www.baidu.com')# 2:r =...
2019-10-07 16:48:40
261
原创 Requests库学习(2)：爬取页面的通用代码框架
网络连接有风险，异常处理很重要1. 理解Requests库的异常异常说明requests.ConnectionError网络连接错误异常，如DNS查询失败，拒绝连接等requests.HTTPErrorHTTP错误异常requests.URLRequiredURL缺失requests.TooManyRedirects超过最大重定向次数，产生重定向异...
2019-10-07 16:01:10
290
原创 Requests库学习(1)：Requests库基础
the website is APIRequests：自动爬取HTML页面，自动网络提交请求1. Requests库的安装打开控制台，输入：pip install requests更多安装库的方法可见请求库的安装：https://blog.youkuaiyun.com/yu1069153913/article/details/1021593542. Requests库的主要方法Request...
2019-10-07 15:49:14
350
原创 3. 可视化深入理解与掌握
本文是对浙江大学的陈为老师所讲授的可视化导论课程的笔记。本节对可视化的三个分支（信息可视化，科学可视化，可视分析学）进行深入理解（主要内容，实用工具）。科学可视化呈现实测或仿真的科学数据中的特征、模式和演化规律。科学可视化主要可分为3类： 标量场可视化 向量场可视化 张量场可视化标量场数据来源扫描或测量设备计算机或机器仿真标量：一阶张量向量：二阶张量信...
2019-10-06 13:50:39
706
原创 1. 可视化的前世今生
本文是对浙江大学的陈为老师所讲授的可视化导论课程的笔记。16世纪：可视化萌芽可视化于16世纪萌芽，并被广泛应用于地图，科学与工程制图，统计图表等应用。图1：第一幅交通图——罗马交通图17世纪：物理测量17世纪产生了基于真实测量数据的可视化方法。制图学被迅速完善和发展。图2：第一幅太阳黑子变化图（1626年）图3：第一幅天气图（1686年）18世界：图形符号18世纪进入统计...
2019-10-06 13:19:17
2650
原创 2.4 会话和Coolies
在浏览网站的过程中，有些页面需要登录才能访问，而且登录之后可以连续访问很多次网站。但是有时候过一段时间就需要重新登录。这些都设计会话（Session）和Cookies的相关知识。2.4.1静态页面和动态页面1. 静态页面一个HTML代码实例：<!DOCTYPE html><html lang="en"><head> <meta cha...
2019-10-05 19:32:19
149
原创 2.3 爬虫的基本原理
2.3.1 爬虫概述爬虫就是获取网页并提取和保存信息的自动化程序一般有4个步骤：获取网页提起信息保存数据自动化程序1. 获取网页获取网页就是获取网页的源代码。源代码里面包含了网页的部分有用信息，只要把源代码获取下来，就能从中提取有用信息。Python提供了许多库来帮助我们实现这个功能，如urllib,requests等。2. 提取信息最常用的方法是采用正则表达式进行提取...
2019-10-05 19:26:28
183
原创 2.2 网页基础
2.2.1 网页的组成网页可以分为3个部分：HTMLCSSJavaScript1. HTMLTML是用来描述网页的一种语言，全称：Hyper Text Markup Language，即超文本标记语言。不同类型的元素通过不同类型的标签来表示，如图片用img标签表示，视频用video标签表示，段落用p表示，它们之间的布局通过布局标签div嵌套组合而成。2. CSSCSS，全称 ...
2019-10-05 19:21:56
232
原创 2.1 HTTP基本原理
2.1.1 URI 和 URLURI : 统一资源标志符（Uniform Resource Identifier）URL : 统一资源定位符（Uneverial Resource Locator）例： https://github.com/favicon.ico 是 GitHub 的网站图标链接，它是一个URL，也是一个URI。URL 是 URI 的子集，也就是说每个URL都是URI，但不...
2019-10-05 19:14:54
482
osgEarth用户手册.pdf
2020-07-31
osgQt的三个类.rar
2020-07-31
MFC 基于单文档 地图投影绘制
2017-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人