weixin_43977819的博客

1.笔记1 演员总是以虚构的角色解决虚构的问题2 数组在内存中空间连续3 UTF-8又称万国码4 解释器参与运行控制，程序执行的速度慢 java程序就是解释型语言5 RFID指射频识别技术6 Unicode缺省是用16位来表示一个字7 PC寄存器中始终保存的是下一条指令的首地址8 &按位与 都是1 取1， 1 0 取09 LR分析器是一种由下而上（bottom-up）的上下文无关语法分析器10 Intel的80x86是唯一还在坚持使用小端的芯片11 大端：最

1.非关系数据库对比Hbase Elasticsearch索引数据库自己创建MongoDB 表是集合2.redis命令客户端：redis-cliredis 是二进制安全 redis 的string可以包含任何数据 最大可以存储521Mredis6 TAP键补全命令命令里L R有的代表方向 有的代表list...

1.活跃用户周活 != 日活相加 每天活跃 周活算一次沉默用户：安装当天启动，7天内不启动2.思想考虑一天要做的事情，然后写成脚本技术活，并不是说你胳膊粗，后台硬就能做好3.物竞天择，适者生存 从前以为人类是一种有着高级智慧的生物，可是在听了两节课后，发现达尔文的进化论似乎可以有一种正确的理解，那就是，人类并不是有意识地去选择要做什么，不要做什么，而是在为了生存的过程中发现做一件事情有好处，一件事情没有好处，然后就慢慢地变成了一种现象，就像一些事情，富不过三代，好男无好妻，赖子娶

1full out join两表取相交的和各自有的2.数仓拦截器日志分类kafka削峰传输sqoop（只有map的MR）传输数据不负责计算，自定义inputformat，outputformat数仓分层（不固定）ODS保留原始数据DWD清洗后数据，确定事实表与维度表，事实表与业务过程对应如，下单，退款，评论。声明事实表的粒度，一定要最小粒度。事实表，将退款与商品，时间外键关联，进行建模维度表与商品有关，汇集到一张表中，维度退化DWT,DWS与维度建模没有关系，DWS简化数仓模型，主

1.拉链表修改频率不高，采用拉链表存储数据2.学习不管他怎么说，反正你会就行3.数仓基础1.在移动统计中，每个独立设备认为是一个独立用户4.盲目比喻无见识无目的

以扔掉被检验出有缺陷的东西为目的的检验已经太迟了，没有效率且成本很高，质量不是来自于检验，而是来源于过程的改进。1.软件测试 1.软件质量定义为“与软件产品满足规定的和隐含的需求的能力有关的特征和特性的全体” 2.软件质量保证计划：评价、审查、标准、报告、文档 3.PDCA: Plan Do Chectk Action 4.朱兰质量三部曲：质量计划，质量控制，质量改进。 5.软件质量控制是一组由开发组织使用的程序和方法，使用它可在规定的资金投入和时间限制的条件下，提供满足客户质量要求的

1.date.gettime格式化Format(“yyyy-MM-dd”);2.hive函数concat、concat_ws 连接str_to_map分割成map函数

1.nginx配置多个域名可以在conf 新建文件夹 将想配置的域名放入其中 每个独自配置在 nginx.conf server括号里 添加include /*.conf即使用正则表达式，将配置的文件映射到conf里2.操作系统笔记死锁一定不安全java.util.concrrent.Semaphoresynchorized现在很多硬盘是叠瓦盘...

1.脚本问题脚本中两个最近的双引号会组成一部分2.join 与过滤在关联条件不是主键或者索引的情况下，join语句还是要先筛选（在被join的表里where过滤）再join其他表3kafka遇到的一个错误.Collection<String> topics = Arrays.asList(names); Arrays.asLis返回ArrayList类型 改为Collection<String> topics = ArrayList<>(Arrays.

1.linux查看性能 top2.报 no such methodhive或其他组件版本不匹配3.http与httpsHTTPS 协议是由 HTTP 加上 TLS/SSL 协议构建的可进行加密传输、身份认证的网络协议，

1.内部表外部表内部表删数据删除元数据和原始数据外部表只删除元数据多人使用的表通常是外部表公司内部自己使用的临时表才会创建内部表2.#!/bin/bash do_date=$1 echo '$do_date' echo "$do_date" echo "'$do_date'" echo '"$do_date"' echo `date` 输出 $do_date 2020-03-10 '2020-03-10' "$do_date" 2020 年 05 月 02

1.维度表：描述信息，如ID，密码，姓名，性别，不可以累加事实表：代表一个业务事件（下单，支付，退款，评价），业务事件的度量值，可以累加在一起，（例如订单的金额，购买个数）2 事务型事实表，以每个事务或事件为单位，一旦产生就不会变化.周期型快照事实表不会保留所有数据，只保留固定时间间隔的数据累计型快照事实表用于跟踪事实的变化3.同步策略：全量（数据量小），新增（数据量大），新增和变化（量大，变化），特殊（一共就一次）4.数仓建模：ODS:支持LZO压缩，创建分区表，保持数据原貌不要修改，备份数据

kafka特点高统一，高吞吐，低延迟2.hadoop执行JARhadoop jar jarName.jar className.className.className fileName/file/name3.引擎指经包装过的函数库，方便别人调用，如搜索引擎、图形引擎、物理引擎等

1.rpm安装mysql时密码在/root/.mysql_secret

1.flume启动时channel错误：Failed to start the file channel将channels通道的dataDirs和checkpointDir目录删除2.SKU SPUSPU：表示一类商品 可以共用图片，海报，销售属性SKU：具体到某一具体属性的商品

1 一个文件在同一个系统中、不同的存储介质上的拷贝,物理结构不同2 连续分配内存利用率最低3 分区分配内存管理方式的主要保护措施是界地址保护4 一个多道程序可能具备封闭性和再现性5 操作系统属于系统软件6 CRAY-1是并行加流水线计算机6 在用户态执行的是命令解释程序7 进程由执行状态到阻塞状态的原因可能是请求某种资源8 系统内存中设置磁盘缓冲区的主要目的是减少磁盘I/O次数9 分段内存管理方式的系统中，物理地址是一维10 MSIL Microsoft 中间语言是独立于CPU的指令集,

宝剑锋从磨砺出，梅花香自苦寒来。1.修改文件夹及子文件夹权限可以用 chmod -R 777 /var/home/userid/cc2.hadoop删除文件 hadoop fs -rmr /directoryName3.查看：hadoop fs -ls /4.文件名不能有 * 且必须有前部，后缀5.进程先退出,子进程还没退出那么子进程将被 托孤给init进程，一个进程可以没有父进程或子进程6.中断处理一定会保存而子程序调用不需 要保存其内容的是程序状态字寄存器7.用程序中使用逻辑设备名来请求

1.流式文件是指无结构的文件2.磁盘,主存可以用来存储页表3.虚拟存储中虚拟空间的大小根据cpu可寻址范围来确定,所以，64位系统，最多2^64的地址空间。不是无上限4.I/O 设备与存储设备间的数据交换不经过CPU 来完成:DMA5.用于获取本机cpu使用率:top6.缓冲：1.可以减少对CPU的中断频率：如果I/O操作每传送一个字节就要产生一次中断,那么设置了n个字节的缓冲区后,则可以等到缓冲区满才产生中断,这样中断次数就减少到1/n,而且中断响应的时间也可以相应的放宽 2.缓冲的实现方法有两

日志采集系统首先：数据来源技术选型考虑因素：实时还是离线，数据量大小@RestController=@Controller+@ResponseBody