大数据操作实验一

实验一：https://www.hifleet.com/wp/communities/data/hangyundashujujishukechengshiyanzhinan

1.Postgresql

1.1 数据库的对象创建

1.1.1 创建数据库(Database)

鼠标右键database进行创建

1.1.2 创建图(Schema)

鼠标右键schema，然后创建schema图纸

1.1.3 创建表(Table)

鼠标右键Table，创建表

1.2数据库实列化

1.2.1 实列化静态数据

提前在Table表中建好相关字段，我新建了个数据库，这边以static_ships表为例，这个static_ships就是上面的demo_table

使用query语句进行导入并查询

--静态数据的字段建立
create table ais_data.static_ships(
	id bigserial,
	mmsi integer,
	imo integer,
	callsign text,
	shipname text,
	shiptype integer,
	to_bow integer,
	to_stern integer,
	to_startboard integer,
	to_port integer,
	eta text,
	draught double precision,
	destination text,
	ts bigint,
	constraint static_ships_pkey primary key(id)
);
--静态数据的导入，copy from句式，图.表（字段） 数据文件来源
COPY ais_data.static_ships (ID,MMSI,IMO,CALLSIGN,SHIPNAME,SHIPTYPE, TO_BOW,TO_STERN,TO_STARTBOARD,TO_PORT,ETA,DRAUGHT,DESTINATION,TS) FROM 'G:/data/static_ships_from_pg.txt';
--查询导入的数据数量
SELECT COUNT(*) FROM ais_data.static_ships

1.2.2 实列化动态数据

--以下是创建动态数据表及其相关的字段（字段小写）
create table ais_data.dynamic_ships(
	id bigserial,
	mmsi integer,
	ts bigserial,
	lon double precision,
	lat double precision,
	course double precision,
	speed double precision,
	heading integer,
	rate_of_turn double precision,
	navigation_status integer,
	constraint dynamic_ships_pkey primary key(id)
);

更新下就能看见动态数据表
下面在query中进行导入动态数据

COPY ais_data.dynamic_ships (ID,MMSI,ts,lon,lat,course, speed,heading,rate_of_turn,navigation_status) FROM 'G:/data/dynamic_ships_from_pg.txt';

查询相关导入的静态数据个数

SELECT COUNT(*) FROM ais_data.dynamic_ships

1.3数据可视化

1.3.1新建bing地图

bing的URL

https://t1.dynamic.tiles.ditu.live.com/comp/ch/{q}?mkt=zh-CN&ur=CN&it=G,RL&n=z&og=804&cstl=vb

如果这边不显示地图的话，记得将坐标系改成4326

1.3.2 建立矢量数据表

在PostgreSQL数据库中给dynamic_ships表添加时间和空间字段数据，打开pgAdimin（操作介绍在上面帖子），在Query Tool窗口内，分别依次执行如下命令：

alter table ais_data.dynamic_ships add column t timestamp without time zone;--增加t列时间戳

update ais_data.dynamic_ships set t=to_timestamp(ts); --ts数据转换时间戳赋值给t
CREATE INDEX idx_dynamic_ships_t ON ais_data.dynamic_ships using btree(t);--时间戳添加索引

alter table ais_data.dynamic_ships add column geom geometry(Point,4326);--生成geom列

update ais_data.dynamic_ships set geom=st_setSRID(ST_MakePoint(lon,lat),4326);

会生成t和geom列

如果出现geometry不存在，或者ST_MakePoint不存在，说明安装postgresql没有安装扩展，先去


勾选下载即可

能看到这个
然后回到query中输入以下

CREATE EXTENSION IF NOT EXISTS postgis;

运行就可以了

1.3.3 建立矢量数据表

先打开bing图层，bing的URL

https://t1.dynamic.tiles.ditu.live.com/comp/ch/{q}?mkt=zh-CN&ur=CN&it=G,RL&n=z&og=804&cstl=vb

打开QGIS,在左边面板

双击打开动态数据图层

1.3.4 修改图层显示

筛选育明轮相关数据

1.3.5 给矢量数据显示标签