- 博客(53)
- 收藏
- 关注
RSS订阅转载 python学习笔记（四）：pandas基础
pandas 基础seriseimport pandas as pdfrom pandas import Series, DataFrameobj = Series([4, -7, 5, 3])obj0 41 -72 53 3dtype: int64obj.valuesarray([ 4, -7, 5, 3], dtype=int64)...
2018-05-11 22:26:00
233
转载 python学习笔记（三）：numpy基础
Counter函数可以对列表中数据进行统计每一个有多少种most_common(10)可以提取前十位from collections import Countera = ['q','q','w','w','w']count = Counter(a)count.most_common(1)[('w', 3)]countCounter({'q': 2, 'w': 3})...
2018-03-04 15:42:00
260
转载 python学习笔记（二）：基础知识点
python基本元素7 // 237 % 31# 取商以及余数divmod(7,3)(2, 1)1j*1j(-1+0j)10/33.3333333333333335'3,''1.00e2''3,1.00e2''3,' + '1.00e2''3,1.00e2''na'*3'nanana''na'[0:1]'n'w = ''if w: pri...
2018-02-28 23:32:00
362
转载 python学习笔记（一）：基础知识点
defaultdict函数将所有值初始化为指定类型from collections import defaultdicta = defaultdict(int)a[0]''python按照引用传递a = [1,2,3]b = aa.append(4)b[1, 2, 3, 4]isinstance函数检查对象是否为某个特定的类型a = 7isinsta...
2018-02-27 22:29:00
182
转载 SQL学习笔记：分块提取查询结果
实践中，数据库中可能有数十亿条记录。查询结果有可能达到千万条。如果用dbGetQuery( ) 一次性取出所有查询结果，内存可能吃不消。但是，如果容许分块处理数据来完成任务，那么下述方法不失为一个好的选择。library(DBI)library(RSQLite)con <- dbConnect(SQLite(), "example1.sqlite")res <- db...
2018-01-23 14:00:00
336
转载 SQL学习笔记：函数
SQL函数AVGselect AVG(col) AS avgvalue from tablenameselect col2 from tablename where col1>(select AVG(col1) from tablename)COUNT 返回值不包含空值select COUNT(*) from tablename 返回行数select COUNT(DI...
2018-01-22 21:53:00
111
转载 SQL学习笔记：高级教程
SQL语法LIMITselect col from table limit numberselect * from table limit numberLIKEselect * from table where col LIKE '%in%'select * from table where col NOT LIKE '%in%'通配符通配符必须与LIKE一起使用%...
2018-01-22 16:47:00
102
转载 SQL学习笔记：基础教程
SQL语法在表中选择列select 列名 from 表名选择所有列select * from 表名返回唯一值select distinct 列名 from 表名whereselect * from 表名 where city = 'beijng'select * from 表名 where year = 1993OR ANDselect * from 表名 whe...
2018-01-22 15:53:00
105
转载 R语言学习笔记（二十一五）：如何如何提升R语言运算的性能以及速度
在R中获得快速运行代码的方法使用向量化运算R语言的并行计算可以用parallel和foreach包加快R运行速度还可以使用cmpfun（）函数即字节码编译器再者就是在R中调用C或C++同时还可以利用Rprof()来寻找代码的瓶颈利用分块或者R包来管理内存转载于:https://www.cnblogs.com/xihehe/p/8318919.html...
2018-01-19 21:35:00
1151
转载 R语言学习笔记（二十四）：plyr包的用法
plyr 这个包，提供了一组规范的数据结构转换形式。Input/Outputlistdata framearraylistllply()ldply()laply()data framedlply()ddply()daply()arrayalply()adply()aaply()一个简单的例子普通做法iris.set &...
2018-01-18 21:41:00
707
转载 R语言爬虫：穿越表单
使用rvest包实现实现穿越表单以及页面的跳转formurl <- "http://open.xmu.edu.cn/oauth2/authorize?client_id=1010&response_type=code"session <- html_session(formurl) #创建会话form <- html_form(session) #得到...
2018-01-18 18:40:00
205
转载 R语言爬虫：爬取百度百科词条
抓取目标：抓取花儿与少年的百度百科中成员信息url <- "http://baike.baidu.com/item/%E8%8A%B1%E5%84%BF%E4%B8%8E%E5%B0%91%E5%B9%B4/13572794"page <- read_html(url)tables <- page %>% html_nodes("table[log-set-...
2018-01-18 16:56:00
379
转载 爬取 StackOverFlow 上有关于 Python 的问题
给定起始页面以及爬取页数，要求得到每一个问题的标题、票数、回答数、查看数stackflow <- function(page){ url <- "http://stackoverflow.com/questions/tagged/" require(rvest) u <- paste(url,"python?page=",as.characte...
2018-01-18 15:58:00
178
转载 R语言爬虫：爬取包含所有R包的名称及介绍
第一种方法library("rvest")page <- read_html("https://cran.rstudio.com/web/packages/available_packages_by_name.html")pkg_table <- page %>% html_table(fill = T) class(pkg_table)# 返回list，这...
2018-01-18 15:21:00
283
转载 R语言爬虫：CSS方法与XPath方法对比（表格介绍）
css 选择器与 xpath 用法对比目标匹配节点CSS 3XPath所有节点~*//*查找一级、二级、三级标题节点<h1>,<h2>,<h3>h1,h2,h3//h1,//h2,//h3所有的P节点<p>p//pp节点的所有子节点<p>标签下的所有节点p &g...
2018-01-18 14:43:00
299
转载 R语言爬虫：CSS方法与XPath方法对比（代码实现）
CSS选择器和XPath方法都是用来定位DOM树的标签，只不过两者的定位表示形式上存在一些差别：CSS 方法提取节点library("rvest")single_table_page <- read_html("single-table.html")# 提取url里的所有表格html_table(single_table_page)html_table(html_n...
2018-01-18 14:32:00
327
转载 R语言爬虫：Rvest包函数介绍（表格）
Rvest 包中常用函数一览：函数作用read_html()读取 html 页面html_nodes()提取所有符合条件的节点html_node()返回一个变量长度相等的list，相当于对html_nodes()取[[1]]操作html_table()获取 table 标签中的表格,默认参数trim=T,设置header=T可以包含表头，...
2018-01-18 12:00:00
651
转载 R语言爬虫：使用R语言爬取豆瓣电影数据
豆瓣排名前25电影及评价爬取url <-'http://movie.douban.com/top250?format=text'# 获取网页原代码，以行的形式存放在web 变量中web <- readLines(url,encoding="UTF-8")# 找到包含电影名称的行name <- str_extract_all(string = web, patt...
2018-01-18 10:46:00
2825
转载 R语言学习笔记（二十二）：字符串处理中的函数对比（代码实现）
字符串处理中基本函数的使用R自带函数与stringr包函数对比> states <- row.names(USArrests)> # 提取字符串子集> substr(x = states, start = 1, stop = 4) [1] "Alab" "Alas" "Ariz" "Arka" "Cali" "Colo" "Conn" "Dela" "F...
2018-01-18 00:17:00
558
转载 R语言学习笔记（二十一）：字符串处理中的元字符（代码展示）
元字符有自己的特殊含义[ ]内的任意字符将被匹配grep(pattern = "[wW]", x = states, value = T)grep(pattern = "w", ignore.case = T, x = states, value = T)\对元字符进行转义strsplit("strsplit.also.uses", split = ".")strsp...
2018-01-17 21:57:00
516
转载 R语言学习笔记（二十）：stringr包中函数介绍（表格）
stringr包中的重要函数函数功能说明R Base中对应函数使用正则表达式的函数str_extract()提取首个匹配模式的字符regmatches()str_extract_all()提取所有匹配模式的字符regmatches()str_locate()返回首个匹配模式的字符的位置regexpr()str_locate_a...
2018-01-17 21:41:00
357
转载 R语言学习笔记（十九）：字符串处理中预定义字符组（表格介绍）
R中预定义的字符组代码含义说明[:digit:]或\\d数字; [0-9][^[:digit:]]或\\D非数字; 等价于[^0-9][:lower:]小写字母; [a-z][:upper:]大写字母; [A-Z][:alpha:]字母; [a-z]及[A-Z][:alnum:]所有字母及数字; [A-z0-9]\\w...
2018-01-17 21:38:00
186
转载 R语言学习笔记（十八）：零碎知识点46-50
seq_along与seq_len函数的使用在for循环中有用> seq_along(c(2,3,5))[1] 1 2 3> seq_len(3)[1] 1 2 3转载于:https://www.cnblogs.com/xihehe/p/8305844.html
2018-01-17 20:38:00
178
转载 R语言学习笔记（十七）：data.table包中melt与dcast函数的使用
melt函数可以将宽数据转化为长数据dcast函数可以将长数据转化为宽数据> DT = fread("melt_default.csv")> DT family_id age_mother dob_child1 dob_child2 dob_child31: 1 30 1998-11-26 2000-01-29 N...
2018-01-17 18:15:00
3241
转载 R语言学习笔记（十六）：构建分割点函数
选取预测概率的分割点cutoff<- function(n,p){ pp<-1 i<-0 while (pp>=0.02) { model.predfu<-rep("failure",n) model.predfu[model4.prob > 0.2 + i*0.001]<-"victor...
2018-01-16 18:16:00
646
转载 R语言绘图：ggplot2绘制ROC
使用ggplot2包绘制ROC曲线rocplot<- function(pred, truth, ...){ predob<- prediction(pred, truth) #打印AUc perf.auc<- performance(predob, measure = 'auc', x.measure = 'cutoff') # ...
2018-01-16 18:07:00
2722
转载 R语言绘图：词云图
使用wordcloud2绘制词云图library(wordcloud2)findwords<-function(tf){ txt<-scan(tf,"") wl<-list() for(i in 1:length(txt)){ wrd<-txt[i] ...
2018-01-16 17:20:00
475
转载 R语言绘图：ROC曲线图
使用pROC包绘制ROC曲线#####***绘制ROC曲线***#####library("pROC")N <- dim(data2)[1] #数据长度set.seed(1234) ...
2018-01-16 15:59:00
3224
转载 R语言绘图：在地图上绘制热力图
使用ggplot2在地图上绘制热力图######*****绘制热力图代码*****#######interval <- seq(0, 150000, 25000)[-2] #设置价格区间newpri <- cut(data1$price,...
2018-01-16 15:52:00
3273
转载 R语言绘图：在地图上绘制散点图
使用ggplot2在地图上绘制散点图######*****绘制散点图代码*****#######options(baidumap.key = '**************') #设置密钥beijing <- getBaiduMap('北京市', width = 600, height = 600, ...
2018-01-16 15:49:00
2432
转载 R语言绘图：箱线图
使用ggplot2绘制箱线图######*****绘制箱线图代码*****#######data1$学区房 <- factor(data1$school, levels = 0:1, labels = c("否", "是")) #设置学区房数据为因子类型data1$CATE <- factor(data1$CATE, ...
2018-01-16 15:46:00
1764
转载 R语言绘图：直方图
使用ggplot2包绘制直方图######*****绘制直方图代码*****#######data1 <- data0[(data0[, 2] <= 500) & (data0[, 4] <= 150000), ] #提取面积500以下且单价十五万以下的观测ggplot(data1, aes(x = price)) + ...
2018-01-16 15:27:00
1147
转载 R语言绘图：时间序列分析
ggplot2绘制 arima诊断图library(ggfortify)autoplot(acf(gold[,2], plot = FALSE))ggtsdiag(auto.arima(gold[,2]))将数据改为时间格式gold <- as.xts(gold[, 2], order.by = gold[, 1])设置时间格式 绘制时间趋势图gdp <- ts...
2017-12-26 14:52:00
2399
转载 R语言绘图：时间序列分析 ggplot2绘制ACF PACF
R语言真是博大精深方法一Acf(gold[,2], type = "correlation",lag.max = 100)Acf(gold[,2], type = "partial")方法二library(ggfortify)autoplot(acf(gold[,2], plot = FALSE))方法三bacf <- acf(gold[, 2], plot = F...
2017-12-26 14:46:00
2723
转载 Rmarkdown：输出html设置
在Rstudio中可自行更改主题样式---title: "题目"author: "name"date: "`r format(Sys.time(), '%Y年%m月%d日')`"output: html_document: highlight: haddock theme: readable ...
2017-12-17 20:53:00
1450
转载 Rmarkdown：输出pdf设置
输出pdf需要安装Ctex---title: "first markdown"author: "name"date: "`r format(Sys.time(), '%Y年%m月%d日')`"geometry: left = 3.18cm, right = 3.18cm, top = 2.0cm, bottom = 2.0cmfontsize: 12ptoutput: ...
2017-12-17 20:51:00
1522
转载 R语言绘图：雷达图
使用fmsb包绘制雷达图library("fmsb")radarfig <- rbind(rep(90, 4), rep(60, 4), c(86.17, 73.96, 82.70, 69.55)) #求平均值radarfig <- as.data.frame(radarfig) #...
2017-12-17 20:43:00
2385
转载 R语言学习笔记（十五）：获取文件和目录信息
file.info（） 参数是表示文件名称的字符串向量，函数会给出每个文件的大小、创建时间、是否为目录等信息。> file.info("z.txt") size isdir mode mtimez.txt 15 FALSE 666 2017-09-17 19:40:15 ctime ...
2017-09-17 20:51:00
1945
转载 R语言学习笔记（十四）：零碎知识点(41-45)
41--ls( )ls（）可以用来列出现存的所有对象。pattern是一个具名参数，可以列出所有名称中含有字符串“s”的对象。> ls()[1] "s"> ls(pattern = "a")character(0)> ls(pattern = "s")[1] "s"42--scan（）scan（）函数有一个可选参数what用来设定变量的模式（mode...
2017-09-17 20:11:00
828
转载 R语言学习笔记（十三）：零碎知识点(36-40)
36--diag（）如果它的参数是一个矩阵，它返回的是一个向量如果它的参数是一个向量，它返回的是一个向量如果它的参数是一个标量，它返回的是指定大小的单位矩阵> diag(2) [,1] [,2][1,] 1 0[2,] 0 1> diag(2,3) [,1] [,2] [,3][1,] 2 0 ...
2017-09-11 21:58:00
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人