lhxsir的博客

如何设计数据分层数据仓库分为下面三个层：数据运营层、数据仓库层和数据产品层。第一层：明细层(ODS:operational data store，DWD: data warehouse detail)作用：记账、发货使用在这层不是简单的数据接入，而是要考虑一定的数据清洗，比如异常字段的处理、字段命名规范化、时间字段的统一等，一般这些很容易会被忽略，但是却至关重要。数据仓库层(DW)，是数据仓库的主体第二层：轻度汇总层(MID或DWB, data warehouse basis)作用：用户结

一个合理的架构的关键是能够在以下方面取得平衡： 成本 满足需求（梳理业务和响应的应用场景） 技术可持续（需要处理的数据源的种类、类型、数据量） 灵活性 稳定性 可扩展性flume 不能同步到ESlogstash 占用内存高，比较常用fliebeat 不依赖java版本，对业务侵入少，占用内存低技术架构：数据仓库：负责数据资产建设和管理，数据治理数据开发：数据分析数据平台建设：...

数仓建模的目标：(1) 访问性能，快速查询所需的数据，减少数据I/O(2) 数据成本：减少不必要的数据冗余，实现计算结果数据复用(3) 使用效率：改善用户应用体验，提高使用数据效率(4) 数据质量：改善数据统计口径不一致问题，减少数据计算错误率第一范式（1NF）域是原子性的，即表中每一列都是不可分割的原子数据项规范后：第二范式（2NF）1NF基础上，实体的属性完全依赖于主关键字，不能存在仅依赖主关键字一部分的属性规范后：第三范式（3NF）2NF基础上，任何非主属性，完全依赖

java实现多线程的两种方式：package utils;class MyThread extends Thread{ private String name; public MyThread(String name){ this.name=name; } public void run(){ System.out.println(name+"：运行！"); }}//class MyThread implements Runn

scala中方法和函数有什么区别？(1)方法可以没有参数列表，函数是强制有参数(2)方法（带参）不能作为最终的表达式，函数可以(3)方法名意味着方法调用，函数名只是代表函数自身def 方法名(形参:参数类型):返回值类型 = {函数体}val f1 = (a:Int,b:Int) => a + bval f2 = (a:Int,b:Int,f1:(Int,Int) = > Int) = f1(a,b)val 函数名称:函数类型 = 函数参数列表 => 输出列表val

准备工作：1、备份C盘及桌面重要文件2、大小4G左右的U盘，做成U盘PE启动盘3、下载win7 iso镜像正式安装：1、在电脑上插入U盘，开机启动时按F12或Fn+F122、在启动管理窗口选择USB HDD，按回车键3、在U盘主菜单，选择【02】运行PE精简版4、打开一键装机工具，按照图示进行操作，选择系统安装位置C盘，确定5、然后会自动重启，开始进行系统的安装，一段时间之后...

数据仓库存在的意义：数据仓库和数据库区别：面向业务的数据库称作OLTP；面向分析的数据仓库称作OLAP用到的技术：集群的监控：CDH数据质量的监控：DataX Flink ELK数据模型：关注灵活、快速响应、及时反馈市场（互联网公司）...

错误信息：Windows无法安装到这个磁盘选中的磁盘，选中的磁盘具有MBR分区表。解决方案：按下Shift+F10diskpart #进入磁盘管理软件list disk #列出当前磁盘信息select disk 0 #选中要更改的磁盘IDclean #清空数据convert mbr #将该磁盘全部转换为MBRexit #退出...

业务需求自己搭建oracle测试服务器！！！(1)设置u盘启动按下F12启动热键打开Boot Menu，选择USB Storage Device回车如果没有USB选项，选择Setup进入BIOS，或者重启按F2进入BIOS；切换到Boot，选择Secure Boot Control回车，改成Disabled，USB Boot Support设置成Enabled，Boot Mode改成Le...

打开已有项目DacProject选择SDK后，下一步填写模块名，下一步填写保存地址如下更新右下角POM文件，即可。

公司的SVN地址改变了（本地项目还没同步）(一) 选中项目，右键Subversion --> RelocateFrom URL路径保持不变（修改To URL为最新路径）(二)选中项目，右键Subversion --> Update Directory勾选Update修改URL为最新的即可。...

下载应用程序：SnailSVN精简版（免费，只可创建一个工作副本）SnailSVN专业版（收费，可同时创建多个工作副本）安装：选择内置 -> 1.7.x/1.8.x/1.9.x(随便选择一个) ，点击测试，会提示安装版本 -> 下一步-> 下一步-> 安装成功。使用：在“系统偏好设置 » 扩展 » Finder”中启用“SnailSVN 扩展”打开任意文件...

集群：Apache Hadoop & CDH组件：Hdfs（存储）YarnHiveHbaseSparkKafkaFlumeKylinKuduCarbonData

report & dashboard 报表 & 仪表盘OLAP & Ad-hoc 联机分析处理 & 即席分析Batch processing 批处理Machine Learning 机器学习Realtime Analyties 实时分析...

由于笔记本老化，接触不良等原因，开机后黑屏（不能正常显示）：(1) 同时按下Ctrl+Alt+Delete键 --> 任务管理器(2) 选择”进程“选项卡 --> 找到 explorer.exe，点击“结束进程”(3) 点击“文件|新建任务” --> 输入”explorer.exe“，点击“确定”...

互联网资讯：stormzhang，虎嗅网，AI财经社，AI前线技术路线：人人都是产品经理，caoz的梦呓，待字闺中，Spenser，公关界的007理财：说钱，招财大牛猫，小白读财经学说苏州话：苏白学堂，吴语学堂，潮吴语，苏州闲话，说苏哉身体健康：世界颈椎健康联盟，学习：建昆老师，加宁老师，欧阳平老师，超级青少年，大胆设想...