lianxiaobao的博客

原创 图片专用

转载 OPPO数据中台之基石：基于Flink SQL构建实数据仓库

OPPO数据中台之基石：基于Flink SQL构建实数据仓库 原创： 张俊 AI前线 今天 作者 | 张俊 编辑 | Vincent AI 前线导读：本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下： OPPO 实时数仓的演...

转载 漫谈数据仓库和范式

漫谈数据仓库和范式 原创： 木东居士 2018-12-16 0x00 概述 长期从事数据仓库的你，是否还记得数据库设计中的三大范式？在设计数据仓库的表时，是否考虑过规范化和反规范化之间的区别？是否想过数据仓库和数据库在设计中对范式考虑的侧重点是什么？ 本文，将包含如下几个方面： 一起回顾数据库设计中经典的三大范式 聊一聊数据仓库和范式之间的关系 聊一聊数据仓库和数据库在范式设计中的侧重点 ...

原创 win10 安装tesserocr和tesseract的问题和安装过程

在Windows下安装tessocr，首先需要下载tesseract，它为tesserocr提供了支持。 tesseract下载地址：https://digi.bib.uni-mannheim.de/tesseract/ 进入下载页面，可以看到有各种.exe文件的下载列表， 其中文件名中带有dev的为开发版本，不带dev的为稳定版本，可以选择下载不带dev的版本，需要安装 "tesser...

原创 es的嵌套聚合、嵌套分析、下钻分析案例学习之Elasticsearch 07

es的restful api在学习和理解es的所欲知识点和功能点：   1、es最重要的api，让我们进行各种尝试、学习甚至在某些环境下进行使用的api，就是restful api。如果你学习不用es restful api，比如我上来就用java api来学习es，也是可以的，但是你根本就漏掉了es知识的一大块，你都不知道它最重要的restful api是怎么用的 2、学习用esrestf

原创 es核心知识篇学习之Elasticsearch 06 ---elasticsearch有六种搜索方式

elasticsearch有六种搜索方式： 1、query string search 2、query DSL 3、query filter 4、full-text search 5、phrase search 6、highlight search     1、query string search   搜索全部商品：GET /ecommerce/product/_searc

原创 es核心知识篇学习之Elasticsearch 05

1、document数据格式2、电商网站商品管理案例：背景介绍3、简单的集群管理4、商品的CRUD操作（document CRUD操作） 1、document数据格式 面向文档的搜索分析引擎 （1）应用系统的数据结构都是面向对象的，复杂的（2）对象数据存储到数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，     相当麻烦（3）ES是面向文档的，文档中存储的数据结构，与

原创 Elasticsearch 04

1、安装JDK，至少1.8.0_73以上版本，java -version 2、下载和解压缩Elasticsearch安装包，目录结构 3、启动Elasticsearch：bin\elasticsearch.bat，es本身特点之一就是开箱即用，如果是中小型应用，数据量少，操作不是很复杂，直接启动就可以用了   4、检查ES是否启动成功：http://localhost:9200/?pret

原创 Elasticsearch 03

1、lucene和elasticsearch的前世今生 2、elasticsearch的核心概念 3、elasticsearch核心概念 vs. 数据库核心概念   1、lucene和elasticsearch的前世今生  >lucene， 最先进、功能最强大的搜索库，直接基于lucene开发，非常复杂，api复杂（实现一些简单的功能，写大量的java代码），需要深入理解原理（各种索引

原创 Elasticsearch 02

1、Elasticsearch的功能，干什么的 2、Elasticsearch的适用场景，能在什么地方发挥作用 3、Elasticsearch的特点，跟其他类似的东西不同的地方在哪里 1、Elasticsearch的功能  （1）分布式的搜索引擎和数据分析引擎 搜索：百度，网站的站内搜索，IT系统的检索 数据分析： 电商网站，最近7天牙膏这种商品销量排名前10的商家有哪些；

原创 synchronized关键字

在多线程环境中，可能会有两个甚至更多的线程试图同时访问一个有限的资源 必须对这种潜在资源冲突进行预防   解决的办法： 在线程使用一个资源时为其加锁即可，访问资源的第一个线程为其加上锁后其他线程便不能再使用那个资源， 除非被解锁         sychronized有两种用法： 1修饰方法 2.像静态代码块一样 1.1 当synchronized关键字修饰一个

原创 什么是Elasticsearch？

1、什么是搜索？ 2、如果用数据库做搜索会怎么样？ 3、什么是全文检索、倒排索引和Lucene？ 4、什么是Elasticsearch？   Elasticsearch（简称ES）是一个基于ApacheLucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch简介