- 博客(47)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 时空大数据可视化专栏
时空大数据可视化专栏我在知乎上开通了时空大数据可视化专栏，主要讲述时空大数据分析和可视化的一些案例和想法，欢迎大家关注。1.用另外一个视角看房价-链家北京房价数据可视化2.用数据解读城市-手机信令数据OD可视化3.“摩轨同行”-共享单车与轨道交通的可视化4.【译文】使用Kafka和GeoMesa对流数据进行可视化...
2018-10-13 21:48:14
4221
原创 共享出行订单数据可视化
前言越来越多的数据都是基于起始位置信息的，如外卖订单，从订单位置，到骑手位置，然后从骑手位置到商家位置，共享单车开锁点和关锁点、滴滴打车出发点和到达点，这些任意两点就构成了一条有向线，一般我们将起点称为O点，终点称为D点，O点和D点之间的关系分析，称为od分析，通过OD分析可以挖掘很多空间规律，形成有价值的分析结果，这里我们以一个共享汽车出行平台的OD订单点进行可视化的分析，并形成一些分析的成...
2018-08-18 23:05:44
2744
4
原创 mapbox-聚类点图层
前端技术选型 mapbox gl.js+react+dva1.构建mapview并在mapbox onload 事件里面进行聚类点图层初始化import React from 'react';import styles from './MapView.css';import mapboxgl from 'mapbox-gl';import ClusterPointLayer...
2018-08-16 23:09:22
4626
原创 mapbox-热力图实现
前端技术选型 mapbox gl.js+react+dva1.构建mapview并在mapbox onload 事件里面进行热力图初始化import React from 'react';import styles from './MapView.css';import mapboxgl from 'mapbox-gl';import HeatLayer from '../...
2018-08-16 22:50:23
5471
翻译 GeoMesa 索引概述
GeoMesa使用许多不同的索引来满足各种搜索谓词。每个索引都有一个标识符，用于在配置选项中引用它。Z2 [ z2] - Z2索引使用二维Z阶曲线来索引点数据的纬度和经度。如果要素类型具有几何类型，则将创建此索引 Point。这用于有效地回答具有空间组件但没有时间组件的查询。 Z3 [ z3] - Z3索引使用三维Z阶曲线来索引点数据的纬度，经度和时间。如果要素类型具有几何类型Point且具...
2018-08-16 10:46:55
2876
原创 GeoMesa 相关资料整理
1.介绍GeoMesa-HBase部署实践 https://blog.youkuaiyun.com/xiaof22a/article/details/80215787 GeoMesa架构 https://blog.youkuaiyun.com/u011596455/article/details/75868609 GeoMesa 用户文档（英文版） https://www.geomesa.org/docum...
2018-08-15 19:07:54
2076
原创 go mongodb 模糊查询
根据某一个字段的关键字，查询mgo中的信息func GetOrdersByCity(city string)([]ParkingOrderModel,error){ query:=bson.M{"car_num" :bson.M{"$regex":city, "$options": "$i"}} var data []ParkingOrderModel expr:=f...
2018-07-12 16:46:19
4138
1
转载 go init函数使用
Go里面有两个保留的函数：init函数（能够应用于所有的package）和main函数（只能应用于package main）。这两个函数在定义时不能有任何的参数和返回值。虽然一个package里面可以写任意多个init函数，但这无论是对于可读性还是以后的可维护性来说，我们都强烈建议用户在一个package中每个文件只写一个init函数。Go程序会自动调用init()和main()，所以你不需要...
2018-07-11 11:37:04
621
转载 go defer延迟函数使用
A “defer” statement invokes a function whose execution is deferred to the moment the surrounding function returns, either because the surrounding function executed a return statement, reached the end ...
2018-07-11 10:44:51
270
原创 go定时器使用
两个定时器，一个5s 定时执行一次，一个10s定时执行一次func startTimer() { t1 := time.NewTimer(time.Second * 5) t2 := time.NewTimer(time.Second * 10) for { select { case <-t1.C: pr...
2018-07-10 20:07:25
1460
原创 go实现kafka推送
kafka生产者package pusherimport ( "encoding/json" "parkingEasy/g" "sync" "strings" "time" "github.com/Shopify/sarama" "github.com/astaxie/beego")var (
2018-07-10 20:00:01
1569
原创 go实现mongodb查询
实现目标：根据条件，查询符合条件的mongodb中的记录func ParkInfoModel(city string, provinnce string, district string) ([]interface{}, error) { match := bson.M{} if city != "" { match["city"] = city }...
2018-07-10 19:36:39
1793
原创 go实现rest服务解析
目标：解析百度交通拥堵道路排名的服务，并转成自己格式的服务func RoadRank(cityCode string) (*StatisticResult, error) { if cityCode == "" { return nil, errors.New("参数cityCode为空") } url := fmt.Sprintf(`http://j...
2018-07-10 19:33:45
670
原创 发布自己的mapbox矢量地图
一、前言mapbox 作为一款开源的地图开发平台，优势兼具百度、高德等互联网地图平台和Arcgis、Supermap 等企业级地图平台的特点，是很多企业作为地图项目开发的基础平台，这里根据实际的工作经验，来谈一谈如何发布自己的mapbox矢量地图。并通过mapbox.js调用进行下一步的开发。二、整体流程发布mapbox 需要很多第三方的软件平台依赖，下图是我整理的具体发布流程图，...
2018-06-28 17:44:52
17587
8
原创 WPF 开源gif控件WpfAnimatedGif的使用方法
在项目中，需要用到播放gif图片，目前开源的gif控件推荐github上的WpfAnimatedGif，github源码地址为： https://github.com/XamlAnimatedGif/WpfAnimatedGif wiki 使用文档： https://github.com/XamlAnimatedGif/WpfAnimatedGif/wiki 里面写的很详细，我这里挑主要的...
2018-06-27 18:27:41
7733
1
原创 go语言开发常见问题
1.CreateProcess failed with error 216 创建进程失败，应该是main这个入口文件的问题。 检查包名。发现问题，IDE自动将包名导成了当前的目录名（模块） 修改包名，改成main2.可见性规则Go语言中，使用大小写来决定该常量、变量、类型、接口、结构或函数是否可以被外部包所调用。函数名首字母小写即为 private :func getId()...
2018-06-27 18:16:32
416
原创 一种简单的数据指数分段方法
一、前言 在对数据可视化展示的时候，有时候需要对数据进行分段显示，如从0-10000的数据，分成5段，根据实际的数据情况可以进行等距分段，如0-2000，2000-4000….,但是很多时候，数据的分布没有这么平均，如果按照最大值进行等距离分段，整个信息的展示就不太合理，根据指数函数的特征，实现了一种指数分段的方法。 二、方法 关于指数函数的介绍，参考百度百科：指数函数 这里附上C#实现的...
2018-06-13 19:09:01
2895
原创 使用高德路径规划api实现轨迹的模拟
一、前言最近在做一个共享汽车出行平台可视化的项目，用户提供的数据本身只包含起止点，但是用户想查看每天使用用户的动态轨迹信息展示，关于动态轨迹展示方法，可以参考这篇文章：几种动态轨迹可视化效果实现方案-echarts、mapv、deck.gl 。为了满足用户的要求，就需要自己根据起止点 进行轨迹数据的模拟。二、方法轨迹的模拟，我这里真正有用的信息是轨迹点，查找了下百度和高德的地图开...
2018-06-13 18:24:30
10804
1
原创 开源的基于dva框架的React项目推荐
Antd Admin git 地址：https://github.com/zuiidea/antd-admin demo地址：http://antd-admin.zuiidea.com/dashboardANT DESIGN PRO git地址：https://github.com/ant-design/ant-design-pro/ demo地址：https://previe...
2018-06-01 15:52:44
2052
原创 创建第一个React项目
1.下载node 2.安装dva 框架npm install dva-cli -g3.创建dva项目dva new myapp4.进入项目目录cd myapp5.启动项目npm start
2018-06-01 15:15:30
531
原创 一款轻量级三维可视化产品-ECharts-X
一、前言在可视化的项目需求中，很多需求是简单的大场景下的可视化展示，如全国运营城市的分布，全球的航向，人口的城市间迁徙…这些可视化需求本身都是基于三维展示的，如果使用商业化的GIS软件或者较为复杂的开源平台，反而有点大才小用，增加开发复杂度，效果反而没有一些轻量级的平台好，这里我就推荐一款轻量级的三维地球可视化产品ECharts-X。 ECharts-X 的定位是 ECharts 的扩展，因...
2018-06-01 10:51:04
5464
原创 C#异步获取服务的方法
在很多的项目开发时，需要服务通过异步方式返回信息并更新相应控件的信息，如图表、列表的定时刷新，如果不通过异步的方式的话，网络缓慢，或者服务较多的话，就会造成主程序的卡顿现象,通过这种方式可以有效的解决卡顿的问题。 1.工具类public class AsynDataUtils { DataResultCallBack _callback; public...
2018-05-29 19:12:20
436
原创 C#获取在线图片并保存到本地
在实际工作中有遇到需要通过从服务端获取图片展示的需求，下面是相关实现的工具类和使用方法: 工具类public static class ImageExtensions { /// <summary> /// 通过NET获取网络图片 /// </summary> /// <para...
2018-05-29 18:52:40
6864
原创 MySQL的空间查询
一、前言MySQL实施了OGC建议的具有Geometry类型的SQL环境的一个子集。该术语指的是用一组集合类型扩展的环境。具有几何值的SQL列是作为拥有集合类型的列实施的。该规范描述了SQL几何类型集合，以及作用在这些类型上用于创建和分析几何值的函数。关于MySQL空间存储和查询的概念介绍，可以参考这篇博客，写的很详细： https://blog.youkuaiyun.com/zzq900503/art...
2018-05-25 21:26:02
10320
3
转载 滴滴的大数据可视化效果
前言上一篇专门针对mobike的空间可视化效果写了一篇总结，本篇主要基于滴滴的大数据可视化做一个描述，上篇介绍的空间可视化效果偏静态的，滴滴的大数据可视化更加动态，形式上也更加丰富多彩，本篇主要参考了这篇文章：http://baijiahao.baidu.com/s?id=1588178807086352632和《滴滴出行2017年度城市交通出行报告》。蝌蚪图通过“蝌蚪图”，滴滴大数据...
2018-05-23 21:21:29
15526
3
原创 空间大数据可视化的几种表达形式-以mobike出行报告为例
一、前言越来越多的出行企业选择空间大数据可视化表达来进行海量数据的分析和展示，如mobike、滴滴、uber。通过这一直观形式，能够让普通大众快速接受企业所想表达的深层含义，同时也便于对数据进行深度的挖掘和分析结果的表达呈现，空间表达较图表、文字等其它表达方式除了直观，易于理解外，也能够将海量数据的效果进行视觉感官上的刺激，同时呈现出一种不规则的美。二、空间大数据可视化表达方式空间...
2018-05-22 21:37:56
8279
2
原创 使用Node.js Express 框架开发一个数据库查询服务
一、Node.js简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。 Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。二、Express 框架Express 是一个简洁而灵活的...
2018-05-21 21:06:52
702
原创 国内几大云计算厂商的物联网IOT解决方案-阿里云、腾讯、百度、华为、青云
一、前言随着万物互联时代的来临，IOT逐渐成为各大云计算厂商重点发力的方向，作为平台厂商，提供的是包含接入、存储、管理、计算、展示等多个方面的综合能力，我这里就根据它们各自的特点和能力，简单介绍下它们的IOT解决方案二、阿里云物联网套件物联网套件是阿里云专门为物联网领域的开发人员推出的一站式设备管理平台。性能强大的IoT Hub方便设备和云端稳定的进行双向通信；全球多节点的部署让全球设...
2018-05-20 19:53:02
9888
原创 一种可视化大屏分离式控制终端实现方案-基于ActiveMQ
一、需求描述在很多可视化的系统中，用鼠标键盘操作是一件很low的事情，由于可视化大屏系统的操作主要是信息的展示和查询，极少有键盘输入操作行为，另外展示的信息，基本上都在大屏区间内全部呈现，很少通过不断的点击进行分布呈现，但是并不代表没有任何操作，如一些分析专题的切换，功能的开关，预设的行为查询等，都需要通过一个操作简单的终端设备进行系统的控制，这时候，一个与主系统分离的终端控制操作就是目前实施...
2018-05-19 22:26:17
1468
原创 几种动态轨迹可视化效果实现方案-echarts、mapv、deck.gl
0.前言在越来越多的可视化需求中，对空间信息的展示，逐渐的由静转为动，通过还原一些真实的时空信息，如历史行车轨迹，渔船打捞作业，特种车辆运行轨迹回放等可以直观的查看时空分布规律，它是一种越来越重要的展示形式并且辅助我们做大数据分析验证，如mobike 通过展示一天用户的骑行轨迹，向我们直观表述出了共享单车一天24小时在我们身边的骑行规律，具有非常直观震撼的效果： mobike 深圳某一时刻骑...
2018-05-19 00:15:18
28594
2
原创 国内外大数据可视化分析产品点评
一、KINETICAKinetica 利用图像处理芯片提供计算支持，允许企业使用机器学习，商业智能分析和可视化技术更快速地分析海量数据； 点评：它的核心技术能力是类MapD的GPU数据库，功能性能较强大，非开源，交互模式可以用来参考学习研究。 二、CARTOCARTO其侧重点不在于基础地图，而是地图之上的数据和应用层，其同名云平台部署了定位智能与可视化数据引擎，可以帮助用户方便地将...
2018-05-17 23:12:23
12717
原创 GPU数据库介绍
一、为什么需要GPU数据库CPU CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂; 所以CPU一般由几个针对顺序串行处理而优化的内核组成 GPU GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境. 所以一般GPU具有一个大规模并行架构，由数千个更小，效率更高的内核组...
2018-05-17 22:41:47
7276
原创 kafka消息系统-Net下Confluent.Kafka 参数解释
在使用Confluent.Kafka消费数据的时候，有四个参数需要输入： { "group.id", "test-consumer-group" },{ "bootstrap.servers", "localhost:9092" }, { "auto.commit.interval.ms", 5000 }, { "auto.offset.reset"
2018-05-17 14:00:12
5482
原创 一种模拟实时位置点发送的方法——以北京市公交车线路数据为例
一、需求描述在实际项目开发中，需要接入多目标的实时位置点，然后根据位置点进行空间展示，如普通货车辆监控定位，渔船定位监控、运输特种物品车辆监控等，主要的目的是接收实时上传的位置点在地图上进行显示和更新，但是有时候没有现成的数据接入服务，想要达到前端的快速数据模拟与开发就成为了问题，这里就介绍一种实战中操作的数据模拟方法。二、数据获取数据大家可以从这个地址下载获取： https:/...
2018-05-13 21:35:27
2289
原创 GeoHash在空间道路密度计算中的应用-以mobike骑行轨迹为例
一、综述在空间大数据可视化展示中，往往需要计算基于道路路网的通行密度，从而得出道路不同路段的权重，然后根据不同的权重值进行道路的分色分级绘制，得出基于不同业务需求的分析展示，如我们每天日常看到的实时道路拥堵情况、道路交通流量压力等线性密度图，如下图的场景： 1.道路实时交通 2.道路通行密度（此图实际是道路的叠加，效果跟笔者所描述一致，实现方式不同） 二、数据和方法根据摩拜的...
2018-05-12 21:36:35
2018
2
原创 Google Tile网格在空间大数据聚合分析中的应用
一、综述现实世界中的地理位置点如手机的定位点，手机信令采集信息，共享单车的骑行轨迹，和开关锁位置，渔船的北斗定位位置信息，这些信息都是实际的定位点，但是有时候在对空间大数据分析的时候，我们不会关注某一个设备，位置的用途，会关注所有在某一个大概区域的总量，以统计这个区域的热度、密度等信息，如共享单车用车热门区域、热门景点、渔船捕捞努力量等信息，这时候就要对这些实际位置点进行聚合统计，不同应用的统...
2018-05-11 22:18:40
1091
原创 influxdb实战- 强生出租车位置数据存储与查询
一、数据准备下载开放的强生出租车的数据，网址如下，http://shanghai.sodachallenges.com/data.html，本测试的案例已经下载了30天的轨迹，大概每天6000万条,原始文件以txt存储，大概的文件目录结构如下: 数据//HT160801//01//00//1608010000.txt 其中txt代码某一分钟的所有出租车位置数据 数据格式如下: 1408...
2018-05-10 20:40:44
5985
77
原创 influxdb实战- 环境传感器数据存储与查询
一、数据准备用python爬取pm25.in的数据，网址如下，http://www.pm25.in/，本测试的案例已经爬取了过去一年2017年5月到2018年5月的数据，大概200万条,存放在mongodb数据里。二、数据描述环境监测的信息项有很多，这里为了展示influxdb的存储，摘取了主要的几项，构建EnviInfos实体如下private String city;//城市名...
2018-05-09 23:02:06
5768
kafka-net.dll
2018-05-14
用WPF实现不规则按钮
2009-06-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人