架构设计
关注
分享
扫一扫
文章平均质量分 73
oo寻梦in记
这个作者很懒，什么都没留下…
展开
-
【Github每日推荐】-- 2024 年项目汇总
github 2024年每日推荐原创 2025-02-18 10:31:12 · 2830 阅读 · 0 评论 -
【对象存储】-- s3:\\、s3n:\\、s3a:\\ 简介
是访问 Amazon S3 的不同文件系统实现方式。在 Hadoop 和大数据处理领域，原创 2025-01-09 19:36:52 · 625 阅读 · 0 评论 -
【对象存储】-- OSS、S3、OBS 和 COS 对比
国内业务：腾讯云 COS 和阿里云 OSS 更加适合，性价比高，区域内性能更优。国际化业务：亚马逊 S3 是最佳选择，拥有最强的全球覆盖和可靠性。冷数据归档：华为云 OBS 的归档存储更具价格优势。多云策略：阿里云 OSS 和 AWS S3 通常作为组合搭配使用，国内外市场兼顾。用户可以根据自己的预算、目标市场和业务需求选择合适的对象存储服务。原创 2025-01-09 16:04:34 · 1799 阅读 · 0 评论 -
【Java】-- 常用需要转义的特殊字符
例如， ‘n’ 匹配字符 ‘n’。序列 ‘\\’ 匹配 “\”，而 ‘\(‘ 则匹配 “(”。匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合。要匹配 ^ 字符本身，请使用 \^。要匹配(字符，请使用\(。匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。：匹配除换行符 \n之外的任何单字符。要匹配 .，请使用 \.。要匹配 * 字符，请使用 \*。要匹配 + 字符，请使用 \+。要匹配 [，请使用 \[。要匹配 {，请使用 {。要匹配 |，请使用 |。原创 2024-12-13 16:57:48 · 213 阅读 · 0 评论 -
【架构设计】-- aarch(ARM) and X86
名称ARMx86构建RISCCISC电源效率⼀般来说更省电通常功率效率较低指令流⽔线较多较少指令系统精简指令集复杂指令集市场占有率在移动设备和物联⽹领域占据主导地位。在台式机、笔记本电脑和服务器市场占据主导地位指令译码指令解码很容易处理解码以复杂的⽅式处理指令执⾏速度更快的指令执⾏减少了时间执⾏时间更⻓指令执⾏效率多条指令从复杂指令⽣成并单独执⾏其架构能够同时管理复杂的语句执⾏处理器操作管理编译器在管理操作中起着⾄关重要的作⽤微程序就完成了这个⼯作。原创 2024-08-23 11:46:08 · 2393 阅读 · 0 评论 -
【架构设计】-- ACK 机制
用于确认接收方是否已经正确接收了发送方发送的数据。这种机制的好处是可以保证数据的可靠传输，防止数据的丢失或重复传输。如果没有ACK机制，就无法确保数据的正确性，可能会导致数据传输的失败或者错误。虽然也可以使用输入输出流来传输数据，但是这种方式无法保证数据的可靠性，因为在网络通信中，数据的传输可能会受到各种干扰和影响，如网络延迟、丢包等。因此，使用ACK机制可以更好地保证数据的可靠传输，提高数据传输的成功率和效率。原创 2024-07-04 17:14:04 · 1664 阅读 · 0 评论 -
【架构设计】-- 什么是向量化引擎？
向量存储引擎是一种新兴的数据存储技术，它以向量为单位进行数据存储和访问。与传统的存储方式（如块存储和文件存储）相比，向量存储引擎具有更高的性能、更低的延迟以及更强大的数据处理能力。向量存储引擎适用于处理各种类型的数据，包括结构化数据、非结构化数据、图像数据和视频数据等。原创 2024-04-02 14:09:53 · 899 阅读 · 0 评论 -
【数据仓库-5】-- 数据仓库的要求
在设计数据仓库的整体架构时，为了保证数据的安全性，必须要有适当的授权机制去限制访问机密和敏感的数据。（三）、历史可追溯性。原创 2023-03-21 10:45:30 · 248 阅读 · 0 评论 -
【Hive进阶】-- 导出 hive 表数据的几种方式
在日常的工作中，常常会有导出 hive 表数据的需求。在此，我整理了如下几种方式，供大家参考。然后使用 hdfs 命令下载。原创 2023-03-13 14:32:02 · 2164 阅读 · 0 评论 -
[Hive排序]--4种排序方式介绍
一、官方文档https://cwiki.apache.org/confluence/display/Hive/Homehttps://cwiki.apache.org/confluence/display/Hive/LanguageManualhttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy...原创 2017-09-17 18:53:56 · 22154 阅读 · 2 评论 -
[Hive 进阶]-- 7种可以提高 Hive 查询速度的方法
如何提高Hive 的查询性能？Apache Hive是一种强大的数据分析工具。在处理数PB的数据时，了解如何提高查询性能非常重要。以下内容是基于 HDP-2.6.4 版本汇总的，如有不足之处，望指出。1、使用Tez引擎Apache Tez Engine是一个可扩展的框架，用于构建高性能批处理和交互式数据处理。它由YARN在Hadoop中 调度。Tez通过提高处理速度和保持MapRedu...原创 2019-07-17 11:26:36 · 21494 阅读 · 1 评论 -
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。原创 2023-03-13 11:46:49 · 3317 阅读 · 2 评论 -
[Hive基础]-- Hive table 的压缩方式和存储格式
一、了解 Hadoop 的压缩方式1.Hadoop 的压缩方式的基本信息压缩格式 扩展名 多文件 支持切片 压缩比排行 解压速度排行 工具 hadoop自带 gzip .gz 否 否 2 3 gzip 是 bzip2 .bz2 是 是 1 4 bzip2 是 lzo .lzo 否 是 3 2 lzop 否 snappy原创 2022-04-06 20:34:29 · 2650 阅读 · 0 评论 -
【大数据架构】-- 开源框架技术汇总
国际：Amazon S3、GCP、Microsoft Azure。国内：阿里云、腾讯云。原创 2022-10-18 17:23:01 · 1720 阅读 · 0 评论 -
【Flink基础】-- Flink Application Mode
但是，该模式下，如果集群中的一个作业行为不正常或导致 TaskManager 宕机，则在该 TaskManager 上运行的所有作业都将受到故障的影响。Application 模式为每个提交的作业创建一个集群，但作业的main（）方法将在JobManager上执行，以节省提取job graph所需的CPU周期，也节省客户端下载依赖及将job graph及其依赖关系传送到群集所需的带宽。总之，在 Session 模式下，集群生命周期独立于集群上运行的任何作业，并且集群上运行的所有作业共享集群资源。原创 2022-10-18 14:45:41 · 1342 阅读 · 0 评论 -
[架构设计] -- SQL 还是 NoSQL
1.选取SQL的原因结构化数据 严格的模式 关系型数据 需要复杂的联结操作 事务 清晰的扩展模式 既有资源更丰富：开发者、社区、代码库、工具等 通过索引进行查询非常快2.选取NoSQL的原因半结构化数据 动态或灵活的模式 非关系型数据 不需要复杂的联结操作 存储 TB （甚至 PB）级别的数据 高数据密集的工作负载 IOPS 高吞吐量3.适合 NoSQL 的示例数据埋点数据和日志数据 排行榜或者得分数据 临时数据，如购物车 频繁访问的（“热”）表 元...原创 2022-04-28 18:37:45 · 377 阅读 · 0 评论 -
【架构选型】-- HBase 、MongoDB、Redis和ES的应用场景选择
HBase、MongoDB、ElasitcSearch和Redis都是 NoSql 数据库，各有千秋，应用场景也不同。1 HBase-2008年初始版本1.1 特点容量大 传统关系型数据库，单表不会超过五百万，超过要做分表分库，不会超过30列。 Hbase单表可以有百亿行、百万列，数据矩阵横向和纵向两个维度所支持的数据量级都非常具有弹性。面向列 面向列的存储和权限控制，并支持独立检索，可以动态增加列，即，可单独对列进行各方面的操作 列式存储，其数据在表...原创 2021-06-24 12:04:20 · 3144 阅读 · 0 评论 -
[Redis]-- 作为缓存服务器的配置
详细请参考： https://ruby-china.org/topics/22761redis spring缓存配置详细请参考：http://www.mamicode.com/info-detail-504217.html，点击打开链接转载 2015-12-12 20:41:16 · 1017 阅读 · 0 评论 -
[架构]-- 优化系统架构性能
一、实行压测通过以下反复循环：压测------>找到瓶颈------>优化压测：(1)确定合理的压测目标 (2)系统性能监控二、优化MongDb(1)使用shard分片(2)降低写入的安全级别 (3)减少更新的字段(主键) (4)优化索引三、storm调优(1)优化参数(2)预汇总注：同一机房部署的原因是...原创 2015-12-20 20:00:56 · 812 阅读 · 0 评论 -
[架构]-- 分布式架构
分布式领域的CAP定理: 指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得详细参考访谈阿里架构：http://www.youkuaiyun.com/article/2014-06-27/2820432点击打开链接...转载 2016-01-31 19:05:32 · 679 阅读 · 0 评论 -
[Java web]-- java实现注销登录的2种方式区别
1、servletHttpServletRequest requestHttpSession session=request.getSession();session.removeAttribute("user");session.invalidate() 2、springmvc HttpSession sessionsession.setAttribute...原创 2015-10-09 11:13:39 · 9471 阅读 · 2 评论 -
[架构]-- 高并发与高并行
1、什么是高并发？什么是高并行？ Erlang 之父 Joe Armstrong 用一张5岁小孩都能看懂的图解释了并发与并行的区别 并发是两个队列交替使用一台咖啡机，并行是两个队列同时使用两台咖啡机，如果串行，一个队列使用一台咖啡机，后面的人也只能死等着他回来才能去接咖啡，这效率无疑是最低的。知乎上有评论里说，并发是不是一个线程，并行是多个线程？答：并发和并行都可以是...原创 2017-08-01 09:20:41 · 4248 阅读 · 1 评论 -
[Spark基础]--雾计算
wiki解释雾计算（英语：Fog Computing）或雾联网（fog networking，或fogging），是使用最终用户终端设备或连接最终用户设备的边缘设备，以分布式协作架构进行数据存储（相较于将数据集中存储在云数据中心），或进行分布式网络数据包传输通信（相较于通过互联网骨干路由），或相关分布式控制或管理。雾计算是由思科（Cisco）在2014年所提出的概念[1]，为云计算的延伸，这个架构...转载 2018-04-23 15:17:17 · 1492 阅读 · 0 评论 -
[微服务]--微服务架构技术栈选型手册
感谢原文链接：http://www.infoq.com/cn/articles/micro-service-technology-stack微服务架构技术栈选型手册一、前言2014 年可以认为是微服务 1.0 的元年，当年有几个标志性事件，一是 Martin Fowler 在其博客上发表了”Microservices”一文，正式提出微服务架构风格；二是 Netflix 微服务架构经过多年大规模生产...转载 2018-05-11 10:08:50 · 1022 阅读 · 0 评论 -
[微服务]--微服务架构的基础框架选择：Spring Cloud还是Dubbo？
感谢原文链接：http://blog.didispace.com/microservice-framework/微服务架构的基础框架选择：Spring Cloud还是Dubbo？最近一段时间不论互联网还是传统行业，凡是涉及信息技术范畴的圈子几乎都在讨论微服务架构。近期也看到各大技术社区开始组织一些沙龙和论坛来分享Spring Cloud的相关实施经验，这对于最近正在整理Spring Cloud相关...转载 2018-05-11 10:27:12 · 458 阅读 · 0 评论 -
[架构设计]--让你的数据库流动起来 – 利用MySQL Binlog实现流式实时分析架构
感谢原文作者：https://aws.amazon.com/cn/blogs/china/mysql-binlog-architecture/数据分析特别是实时数据分析，已经越来越多的成为各行各业的分析要求与标准 – 例如，（新）零售行业可能希望通过线下POS数据与实时门店客流流量的进行实时结合与分析，实现商品销售，销量，总类等等的实时预测； 在线广告平台期望通过广告(Impression...转载 2018-08-23 17:47:00 · 2786 阅读 · 0 评论 -
[架构]--Canal开源产品介绍
感谢原文作者：https://docs.google.com/presentation/d/1MkszUPYRDkfVPz9IqOT1LLT5d9tuwde_WC8GZvjaDRg/edit#slide=id.p81 Canal开源产品介绍taobao2 Agenda1. 产生背景2. 项目介绍3. 周边产品4. roadmap3 产生背景早期，阿里巴巴B2B公司因为存在杭州和美国 双...转载 2018-08-23 18:02:35 · 798 阅读 · 0 评论 -
[负载均衡]-- keepalived+lvs+mysql实现负载均衡
lvs+keepalived+mysql的HA（keepalived是做高可用的）准备2台机器：node1、node2 共4个网卡(每台2个)，4个ip地址 备注： node1-->eth1、node2--->eth1是keepalived，node1--->eth0、node2--->eth0是真实服务器 node1-----...原创 2016-08-02 12:40:47 · 1924 阅读 · 0 评论 -
[负载均衡]-- tengine实现tomcat负载均衡
源码安装tengine-2.1.0单节点、实现tomcat负载均衡 一、环境准备服务器：192.168.1.101 tomcat7、tengine192.168.1.102 tomcat7 1、下载tengine-2.1.0.tar.gz---->http://tengine.taobao.org/download_cn.html2、解压到192.16...原创 2016-07-30 14:33:40 · 1855 阅读 · 0 评论 -
[架构-基础]--CAP 定理的含义
感谢原文作者：http://www.ruanyifeng.com/blog/2018/07/cap.htmlCAP 定理的含义分布式系统（distributed system）正变得越来越重要，大型网站几乎都是分布式的。分布式系统的最大难点，就是各个节点的状态如何同步。CAP 定理是这方面的基本定理，也是理解分布式系统的起点。本文介绍该定理。它其实很好懂，而且是显而易见的。下面的内...转载 2019-06-20 22:05:45 · 321 阅读 · 0 评论 -
[生活杂感]-- 问问题的艺术
供参考，希望对各位有帮助！源文件访问https://www.processon.com/view/link/5d3a6d94e4b065dc42b2fd72密码：kAt4原创 2019-07-26 11:08:23 · 382 阅读 · 0 评论 -
[Ngnix]-- 缓存分级
一、cpu的缓存分级主要有第一级、第二级和第三级(第三极是高级的)二、常用架构中的缓存分级 Nginx 1 JVM 2 redis 3 ...原创 2015-12-20 20:08:12 · 1932 阅读 · 0 评论