自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

算法与数据挖掘

欢迎联系我,加入我们北京算法与数据挖掘社群,参与线上技术讨论和线下打球、爬山等朋友聚会活动!

  • 博客(13)
  • 资源 (2)
  • 收藏
  • 关注

原创 五大算法之一,分治算法

1.分治算法的基本思想 将一个规模为N的问题,分解成K个规模较小的子问题,这些子问题相互独立且月原问题性质相同,求解出子问题的解,合并得到原问题的解。 2.分治算法特征分析 分治法能解决的问题一般具有以下几个特征: 1). 该问题的规模缩小到一定程度就可以容易的解决; 2). 该问题可以分解为若干个规模较小的相同问题,即该问题具有最优子结构性质; 3). 利用该问题分解出子问题的解,可以合并为该问...

2019-05-27 16:02:29 277

原创 pgsql数据库在高精地图制作中的应用

传统在线地图满足了导航和随时随地查看地图等很多需求,但是随着自动驾驶、智慧城市、智能交通、5G网络、北斗精准定位等领域的发展,高精地图有了越来越迫切的需求,更丰富的路面信息,更精确的交通设施设备位置,能给自动驾驶车辆提供更多维度数据,给普通在线地图用户提供更多参考,给交通管理部门进行交通管控、交通设施设备管理带来很大便利,高精地图将是社会发展很重要的基础设施。 传统在线地图道路相关主要是路网lin...

2019-05-24 19:00:38 873

原创 用java生成多个sheet的excel并发送邮件的可复用类

有时我们用mr、spark或其他大数据工具处理完的数据需要发送邮件,并且以excel附件的形式,excel中有多个sheet,我用java写了一个可复用的类,大家用到时候可以参考: import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFo...

2019-05-23 13:44:40 966

hbase在海量用户日志中快速查询访问路径的使用场景

1.背景:之前公司客服部门有个查看游戏用户行为记录的需求,开始我给他们做了个hive的接口,可以暂时满足需求,但是查询速度太慢,得一分钟出结果。 后来我在想能不能用hbase快速查询出用户路径。 查询条件有通行证账号、行为类型、时间范围。 2.设计方案:用hbase的scan接口,hbase的key设计成 通行证账号_行为类型_时间 用如下方式查询:scan 'hbase_gameCent...

2015-04-23 16:08:27 507

从任意hive单表读取并计算数据写入任意mysql单表的hive工具

在基于hive的数据仓库中,每个维度有很多概念分层的场景下,维度和度量的上线和下线在mysql中配置显的很重要。 这个hive工具适用于任意多维度,任意多度量值计算。 使用方法很简单。 用附件中的三个mysql表来配置,然后执行shell程序,从而实现任意hive表向任意mysql表计算并写数据。 欢迎试用拍砖。...

2014-08-18 18:56:07 247

spark使用总结

1. RDD:Resilient Distributed Dataset 弹性分布数据集 http://developer.51cto.com/art/201309/410276_1.htm 2.spark-shell 的使用 ./spark-shell --driver-library-path :/usr/local/hadoop-1.1.2/lib/native/Linux-i3...

2014-07-07 15:11:39 165

原创 新建hadoop及hive账户

1.创建hadoop组的用户 useradd -d /home/chaobo -m chaobo -g hadoop hadoop fs -mkdir /download/hadoop/tmp/hadoop/mapred/staging/chaobo hadoop fs -chown -R chaobo:hadoop /download/hadoop/tmp/hadoop/mapred/st...

2014-05-10 12:12:04 866

原创 hadoop集群安装、配置、维护文档

压缩包里是我的操作记录,有的地方可能需要根据实际情况微调。

2014-05-07 10:50:55 174

原创 hive中查看表分区目录位置的方法

1.用hive语句 describe extended f_gameCenter_user_login_out_day partition(dt = '2014-03-19'); 2.用hive元数据库mysql查询 select a.LOCATION from SDS a left join PARTITIONS b on (a.SD_ID=b.SD_ID) left joi...

2014-03-21 17:02:56 5696

linux shell常用命令总结

1.uname -a 查看服务器位数 2.ifconfig linux 查看ip windows下 是ipconfig 3.ps -aux 中STAT的含义 D 不可中断 Uninterruptible(usually IO) R 正在运行,或在队列中的进程 S 处于休眠状态 T 停止或被追踪 Z 僵尸进程 W 进入内存交换(从内核2.6开始无效) X 死掉的进程 S+...

2014-01-07 11:02:55 988

hive使用总结

1.hive 数据类型 http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.html 2.substr('abc',0,2) = ab mysql 是从1开始的 select * from online_server where substr(count_time,1,10)='2011-12-11' and (se...

2014-01-06 15:00:48 3388

原创 hadoop mapreduce 中java用gson类库解析json

废话不说,代码如下: [code="java"] import java.io.IOException; import java.lang.reflect.Type; import java.util.Iterator; /*import java.util.ArrayList; import java.util.List; import java.util.regex.Ma...

2013-10-28 14:47:45 461

python或hive根据ip计算地域分布的算法

1.使用场景 (1.适用于大数据量的ip地域分布场景。 (2.python程序和ip库见附件。 (3.稍作改动,可用于hive中。 2.使用方法: python findarea.py --dealListFile=test_ip_dealListFile_20130930.txt --resultWriteFile=test_ip_resultWriteFile_20130930....

2013-10-08 11:03:20 536

geotools稳定版本geotools-19.4-bin.zip

Quickstart 代码如下: import java.io.File; import org.geotools.data.FileDataStore; import org.geotools.data.FileDataStoreFinder; import org.geotools.data.simple.SimpleFeatureSource; import org.geotools.map.FeatureLayer; import org.geotools.map.Layer; import org.geotools.map.MapContent; import org.geotools.styling.SLD; import org.geotools.styling.Style; import org.geotools.swing.JMapFrame; import org.geotools.swing.data.JFileDataStoreChooser; /** * Prompts the user for a shapefile and displays the contents on the screen in a map frame. * * This is the GeoTools Quickstart application used in documentationa and tutorials. * */ public class Quickstart { /** * GeoTools Quickstart demo application. Prompts the user for a shapefile and displays its * contents on the screen in a map frame */ public static void main(String[] args) throws Exception { // display a data store file chooser dialog for shapefiles File file = JFileDataStoreChooser.showOpenFile("shp", null); if (file == null) { return; } FileDataStore store = FileDataStoreFinder.getDataStore(file); SimpleFeatureSource featureSource = store.getFeatureSource(); // Create a map content and add our shapefile to it MapContent map = new MapContent(); map.setTitle("Quickstart"); Style style = SLD.createSimpleStyle(featureSource.getSchema()); Layer layer = new FeatureLayer(featureSource, style); map.addLayer(layer); // Now display the map JMapFrame.showMap(map); } }

2019-04-18

用java写的左关联右关联join类

我自己用java写的左关联,右关联操作,关联效率高,使用方便

2019-04-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除