data.table学习笔记1

为什么要学习data.table

一直使用这个包的fread函数, 读取数据确实很快, fwrite写入也非常快. 看到大牛在用data.table的key功能, 感觉这个包还有很多需要学习的地方, 利用网上的信息, 加上自己的操作, 记录学习的过程.

语法特点

data.table的通用格式: DT[i, j, by]，对于数据集DT，选取子集行i,通过by分组计算j

1, 生成一个data.table格式的对象, 下面用DT为data.table格式的简写

library(data.table)
set.seed(123)
DT <- data.table(V1=c(1,2),V2=c("A","B","C"),V3=round(rnorm(4),4), V4=1:12)

DT

V1	V2	V3	V4
1	A	-0.5605	1
2	B	-0.2302	2
1	C	1.5587	3
2	A	0.0705	4
1	B	-0.5605	5
2	C	-0.2302	6
1	A	1.5587	7
2	B	0.0705	8
1	C	-0.5605	9
2	A	-0.2302	10
1	B	1.5587	11
2	C	0.0705	12

2, 通过i来进行行的筛选

如果只有一个值, 不用加逗号, 默认的是选取行.

DT[2]

V1	V2	V3	V4
2	B	-0.2302	2

DT[2,]

V1	V2	V3	V4
2	B	-0.2302	2

选择3:5行的数据

DT[3:5]

V1	V2	V3	V4
1	C	1.5587	3
2	A	0.0705	4
1	B	-0.5605	5

DT[3:5,]

V1	V2	V3	V4
1	C	1.5587	3
2	A	0.0705	4
1	B	-0.5605	5

根据V2列的值, 选择V2==A的数据

DT[V2=="A"]

V1	V2	V3	V4
1	A	-0.5605	1
2	A	0.0705	4
1	A	1.5587	7
2	A	-0.2302	10

DT[V2=="A",]

V1	V2	V3	V4
1	A	-0.5605	1
2	A	0.0705	4
1	A	1.5587	7
2	A	-0.2302	10

根据V2列的值, 选择V2==A或者C的数据

DT[V2=="A"|V2=="C"]

V1	V2	V3	V4
1	A	-0.5605	1
1	C	1.5587	3
2	A	0.0705	4
2	C	-0.2302	6
1	A	1.5587	7
1	C	-0.5605	9
2	A	-0.2302	10
2	C	0.0705	12

DT[V2 %in% c("A","C")]

V1	V2	V3	V4
1	A	-0.5605	1
1	C	1.5587	3
2	A	0.0705	4
2	C	-0.2302	6
1	A	1.5587	7
1	C	-0.5605	9
2	A	-0.2302	10
2	C	0.0705	12

3, 通过j来进行列的筛选

选择第二列

DT[,2]

V2
A
B
C
A
B
C
A
B
C
A
B
C

选择第二列, 第三列

DT[,2:3]

V2	V3
A	-0.5605
B	-0.2302
C	1.5587
A	0.0705
B	-0.5605
C	-0.2302
A	1.5587
B	0.0705
C	-0.5605
A	-0.2302
B	1.5587
C	0.0705

DT[,c(2,3)]

V2	V3
A	-0.5605
B	-0.2302
C	1.5587
A	0.0705
B	-0.5605
C	-0.2302
A	1.5587
B	0.0705
C	-0.5605
A	-0.2302
B	1.5587
C	0.0705

可以使用列名进行选择, 但是直接选择是向量

DT[,V1]

1. 1
2. 2
3. 1
4. 2
5. 1
6. 2
7. 1
8. 2
9. 1
10. 2
11. 1
12. 2

如果是多个名称, 返回的也是向量, 如果想要DT格式, 需要用list或者.()的形式

DT[,c(V1,V2)]

1. '1'
2. '2'
3. '1'
4. '2'
5. '1'
6. '2'
7. '1'
8. '2'
9. '1'
10. '2'
11. '1'
12. '2'
13. 'A'
14. 'B'
15. 'C'
16. 'A'
17. 'B'
18. 'C'
19. 'A'
20. 'B'
21. 'C'
22. 'A'
23. 'B'
24. 'C'

DT[,list(V1,V2)]

V1	V2
1	A
2	B
1	C
2	A
1	B
2	C
1	A
2	B
1	C
2	A
1	B
2	C

DT[,.(V1,V2)]

V1	V2
1	A
2	B
1	C
2	A
1	B
2	C
1	A
2	B
1	C
2	A
1	B
2	C

这里注意, .()为list()的一个别名, 在选择列时, 如果使用.()返回的是DT对象, 如果不使用.()则返回的是一个向量

3, 在j上调用函数

DT[,sum(V1)]

18

以向量的形式返回V1列中所有元素的总和

DT[,.(sum(V1),sd(V3))]

V1	V2
18	0.8462588

可以赋予名称

DT[,.(he =sum(V1),xx=sd(V3))]

he	xx
18	0.8462588

4, 根据分组来操作j

DT[,.(V4.Sum = sum(V4)),by=V1]

V1	V4.Sum
1	36
2	42

DT

V1	V2	V3	V4
1	A	-0.5605	1
2	B	-0.2302	2
1	C	1.5587	3
2	A	0.0705	4
1	B	-0.5605	5
2	C	-0.2302	6
1	A	1.5587	7
2	B	0.0705	8
1	C	-0.5605	9
2	A	-0.2302	10
1	B	1.5587	11
2	C	0.0705	12

这个类似:

sum(DT[V1==1,4]);
sum(DT[V1==2,4])

36

42

使用函数.N来得到每个类别的总观测数

DT[,.N,by=V1]

V1	N
1	6
2	6

5.使用:=引用来添加或更新一列

如果想要在原来列的基础上, 生成新的列, 可以使用:=

相当于原位编辑, 保存为对象DT,DT$V5=DT$V4^2

DT[,V5:=V4^2]

DT

V1	V2	V3	V4	V5
1	A	-0.5605	1	1
2	B	-0.2302	2	4
1	C	1.5587	3	9
2	A	0.0705	4	16
1	B	-0.5605	5	25
2	C	-0.2302	6	36
1	A	1.5587	7	49
2	B	0.0705	8	64
1	C	-0.5605	9	81
2	A	-0.2302	10	100
1	B	1.5587	11	121
2	C	0.0705	12	144

删除第五列

DT[,V5:=NULL]

DT

V1	V2	V3	V4
1	A	-0.5605	1
2	B	-0.2302	2
1	C	1.5587	3
2	A	0.0705	4
1	B	-0.5605	5
2	C	-0.2302	6
1	A	1.5587	7
2	B	0.0705	8
1	C	-0.5605	9
2	A	-0.2302	10
1	B	1.5587	11
2	C	0.0705	12

DT[,V5:=V4^2]

DT

V1	V2	V3	V4	V5
1	A	-0.5605	1	1
2	B	-0.2302	2	4
1	C	1.5587	3	9
2	A	0.0705	4	16
1	B	-0.5605	5	25
2	C	-0.2302	6	36
1	A	1.5587	7	49
2	B	0.0705	8	64
1	C	-0.5605	9	81
2	A	-0.2302	10	100
1	B	1.5587	11	121
2	C	0.0705	12	144

DT[,5:=NULL]
DT

V1	V2	V3	V4
1	A	-0.5605	1
2	B	-0.2302	2
1	C	1.5587	3
2	A	0.0705	4
1	B	-0.5605	5
2	C	-0.2302	6
1	A	1.5587	7
2	B	0.0705	8
1	C	-0.5605	9
2	A	-0.2302	10
1	B	1.5587	11
2	C	0.0705	12

这里, 删除可以是第五列的名称(V5), 也可以是第五列(5)

6, 使用.N指定最后一行

DT[.N]

V1	V2	V3	V4
2	C	0.0705	12

选择倒数5行

DT[.N-5:.N]

V1	V2	V3	V4
1	A	1.5587	7
2	C	-0.2302	6
1	B	-0.5605	5
2	A	0.0705	4
1	C	1.5587	3
2	B	-0.2302	2
1	A	-0.5605	1

总结

• 1, data.table不仅仅fread和fwrite强大, 进行行和列筛选时, 也很强大

• 2, 默认一个参数时, 是指定的行, 行默认是返回的DT, 如果是列名时, 默认返回的向量,可以用list或者.()进行定义

• 3, 使用:=进行原位编辑, 可以更新列, 生成新列, 删除列

• 4, .N这是最后一列, 是一个简化的符号, 比较方便