
大数据
jacljh
程序匠人
展开
-
DBeaver - 一款免费开源的通用数据库工具
DBeaver 是一个基于 Java 开发,免费开源的通用数据库管理和开发工具,使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。由于 DBeaver 基于 Java 开发,可以运行在各种操作系统上,包括:Windows、Linux、macOS 等。DBeaver 采用 Eclipse 框架开发,支持插件扩展,并且提供了许多数据库管理工具:ER 图、数据导入/导出、数据库比较、模拟数据生成等。DBeaver 通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,包括:转载 2020-06-17 21:54:01 · 918 阅读 · 0 评论 -
数据分析与数据挖掘概述
1.什么是数据分析与数据挖掘技术?所谓数据分析,即对已知的数据进行分析,然后提出一些有价值的信息。比如统计出平均数、标准差等信息,数据分析的数据量有可能不会太大。而数据挖掘,是指对大量的数据进行分析和挖掘,得到一些未知的有价值的信息等,比如从网站的用户或用户行为数据中挖掘出潜在需求信息,从而对网站进行改善等。数据分析与数据挖掘密不可分,数据挖掘是数据分析的提升。2.数据分析与挖掘技术能做什...转载 2018-11-07 20:18:47 · 563 阅读 · 0 评论 -
数据库设计原则
1. 原始单据与实体之间的关系 可以是一对一、一对多、多对多的关系。在一般情况下,它们是一对一的关系:即一张原始单据对应且只对应一个实体。 在特殊情况下,它们可能是一对多或多对一的关系,即一张原始单证对应多个实体,或多张原始单证对应一个实体。 这里的实体可以理解为基本表。明确这种对应关系后,对我们设计录入界面大有好处。 〖例1〗:一份员工履历资料,在人力资源信息系统中,就对应三个基...转载 2018-11-07 20:33:29 · 266 阅读 · 0 评论 -
大数据需要学习哪些技术?
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术:1. Java编程技术Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平...转载 2018-11-13 10:09:10 · 309 阅读 · 0 评论 -
大数据的存储
一、什么是大数据,本质? (1)数据的存储:分布式文件系统(分布式存储)-----> HDFS: Hadoop Distributed File System (2)数据的计算:分布式计算 二、如何解决大数据的存储?----> 分布式文件系统(HDFS,来源于GFS) 举例:网盘 (1) GF...原创 2018-11-11 12:18:17 · 530 阅读 · 0 评论 -
数据的计算(大数据)
Hadoop的背景起源二:MapReduce 一、什么是大数据,本质? (1)数据的存储:分布式文件系统(分布式存储)-----> HDFS: Hadoop Distributed File System (2)数据的计算:分布式计算 二、如何解决大数据的计算?分布式计算 (1)什么是PageRank(MapRed...原创 2018-11-11 12:46:46 · 5621 阅读 · 0 评论 -
数据脱敏介绍(大数据平台 )
数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据 的可靠保护。这样,就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。可以看到数据脱敏具有几个关键点:敏感数据、脱敏规则、使用环境。敏感数据,又称隐私数据,常见的敏感数据有: 姓名、身份证号码、地...转载 2018-11-08 14:35:17 · 3528 阅读 · 0 评论 -
千万条记录分页查询优化
优化方法一分页查询是最常用的场景之一,但通常也是最容易出问题的地方。比如对于下面简单的语句,一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利用到索引,性能迅速提升。SELECT * FROM tstb_logWHERE type = 'SQLStats' AND name = 'SlowLog' O...原创 2019-07-06 18:47:59 · 1362 阅读 · 0 评论