- 博客(28)
- 收藏
- 关注
RSS订阅原创 大数据高级ACP学习笔记（4）
DML（Data Manipulation Language，数据操作语言）语句。insert是追加语句；加上into/overwrite是覆盖语句。case when非贪婪式执行语句。select * 取出所有的列。
2025-01-09 11:10:39
263
原创 缓存和数据一致性问题
辩证2个情况，第一直接和缓存做交互，完全信任缓存，第二和缓存交互，如果没有去数据库查s流程没有问题，但是当数据更新的时候，如何把缓存的数据变到最新，是下面所要讨论的问题。
2025-01-07 09:34:57
179
原创 大数据高级ACP学习笔记（1）
官网下载并安装，解压打开conf的配置文件，根据项目填写相关名称，用户accesskey信息等，最后cmd进入bin目录 ，odpscmd.bat即可运行，quit退出，-f执行文件内的命令，-e参数可以执行sql语句，use 项目 可以跳转到另一个项目。答：控制台开通，进入maxcompute创建项目，增加子用户并保存AccessKey，可以设置用户权限，注意权限的设置不会因为移除用户而移除，如果用户再次进入此项目，还是会拥有之前的权限。scan=true时，先扫描数据，格式正确，再导入数据；
2025-01-05 16:16:29
706
原创 RPC学习
这样，客户端不需要事先知道远程服务的确切位置，只要知道服务的名称等标识信息，就可以通过注册中心找到并调用相应的服务，进一步增强了远程服务调用的透明性。首先要明确自己要发布的服务提供哪些功能，然后使用合适的接口定义语言（如 Java 中的接口、Protocol Buffers 中的.proto 文件等）来定义服务的接口，包括服务的方法名、参数类型、返回值类型等信息。在选定的 RPC 框架中，按照框架的要求配置服务的相关信息，如服务的名称、端口号、服务所在的主机地址等，以便于其他客户端能够找到并调用该服务。
2024-11-22 15:18:24
1214
原创 openfeign
feign 通过注解的方式配置之后，就可以完成接口的自动绑定，那我们调用 feign 的时候就像掉接口一样，内置负载。内部封装了 ribbon。feign 就帮助我们把 http 的调用编的非常的容易和方便，他整体的实现就是利用了 resttemplate 对 http 的一个封装。openfeign 他就是声明式的 webservice 的客户端，使用 feign，编写调用更加的简单，主要打上注解就可以进行一个调用。
2024-11-22 14:57:12
219
原创 Cursor使用学习
Cursor 是一款智能的代码编辑器，它集成了先进的语言模型技术，能够为程序员在编写代码过程中提供智能提示、自动补全、代码生成等功能。无论是新手还是经验丰富的开发者，都能从中受益。它支持多种主流编程语言，如 Python、Java、JavaScript、C++ 等，这使得它在不同的开发场景中都有广泛的应用。
2024-11-11 15:44:02
2771
原创 ‘vite‘ 不是内部或外部命令，也不是可运行的程序或批处理文件-问题解决
npm在安装依赖时出现了依赖冲突。'vite' 不是内部或外部命令，也不是可运行的程序 或批处理文件。
2024-11-11 15:38:39
550
原创 Spring常用注解
ComponentScan：指定要扫描的包，以查找带有@Component、@Service、@Repository和@Controller注解的类，并将它们注册为 Spring Bean。@Primary：标记一个 Bean 为首选 Bean，当有多个候选 Bean 时，Spring 会优先注入带有@Primary注解的 Bean。@Transactional：标记一个方法或类，表示该方法或类中的所有方法都需要事务管理。@Bean：定义一个方法，返回一个要注册为 Spring 容器管理的 Bean。
2024-10-07 10:43:58
300
原创 SpringBoot项目内部配置文件加载顺序
如果@Configuration类上使用了@PropertySource注解来指定额外的配置文件，那么这些文件将在上述所有内部配置文件之后加载。文件中的相同配置项所覆盖（具体取决于它们的加载顺序和配置项是否冲突）。然而，这种情况通常建议避免，以保持配置文件的清晰和一致性。如果同一配置项在多个配置文件中出现，那么高优先级的配置文件中的值将覆盖低优先级配置文件中的值。这个文件用于应用程序上下文的引导阶段配置，如配置应用程序的外部配置源（如配置中心）等。等，这些文件的优先级高于项目根目录下的配置文件。
2024-10-07 09:23:26
415
原创 3分钟带你了解什么是CDN？
例如，你有一台服务器上存放了很多资料，你使用docs.example.com去访问这些资源，但又希望通过documents.example.com也能访问到这些资源，那么你就可以在您的DNS解析服务商添加一条CNAME记录，将documents.example.com指向docs.example.com，添加该条CNAME记录后，所有访问documents.example.com的请求都会被转到docs.example.com，获得相同的内容。一个是内容源的存储 一个是内容在 Cache节点中的存储。
2024-10-06 18:32:12
2116
原创 数据库伸缩设计-分库分表如何做？读书笔记
一些企业内部系统，用户数量和业务规模有限，因此并不会产生巨大的数据量，这时数据库的存储和读写性能均不会成为瓶颈，没有扩容的需要，因此无须考虑伸缩性。对于一些互联网系统，前后端应用可以通过CDN、缓存、负载、水平扩展等技术解决瓶颈问题，但是数据库成为最终的读写集中点， 每天都在产生海量的数据和读写请求，因此成为系统瓶颈。RedisMongoDB等NoSQL数据库虽然支持数据分片，但是并不能取代关系型数据库，对于逻辑关系紧密、复杂的系统，必须借助关系型数据库良好的事务特性来支持。
2024-10-05 17:01:07
546
原创 java线程相关知识梳理
线程池通过减少线程创建和销毁的开销来提高系统的响应速度和吞吐量，并且可以有效管理和控制线程的数量，防止过多的线程导致系统资源耗尽。线程创建以后，并不会自动运行，需要我们调用start()，将线程的状态设为就绪状态，但不一定马上就被运行，得等到CPU分配时间片以后，才会运行。在Java中，每个线程都有一个优先级，优先级决定了线程调度器对线程的调度顺序。在Java中，线程的生命周期包括多个状态，每个状态表示线程在其生命周期中的不同阶段。调用该方法的线程会等待被调用线程执行完毕后再继续执行。
2024-09-30 16:28:35
827
原创 Mysql知识体系总结梳理
那么，在第一个事务中的两次读数据之间，由于第二个事务的修改，那么第一个事务两次读到的的数据可能是不一样的。脏读就是指当一个事务正在访问数据，并且对数据进行了修改，而这种修改还没有提交到数据库中，这时，另外一个事务也访问这个数据，然后使用了这个数据。最后，事务B读取到的张三工资为8000的数据即为脏数据，事务B做了一次脏读。不可重复读的重点是修改：同样的条件，你读取过的数据，再次读取出来发现值不一样了幻读的重点在于新增或者删除：同样的条件，第 1 次和第 2 次读出来的记录数不一样。
2024-09-30 08:24:34
955
原创 Linux相关面试问题
避免死锁的方法主要是通过资源分配策略来确保系统永远不会进入死锁状态。常用的方法包括银行家算法（Banker's Algorithm），它通过模拟资源分配情况来判断是否会导致死锁。在Linux操作系统中，死锁（Deadlock）是指两个或多个进程在等待彼此释放资源，从而导致它们都无法继续执行的情况。这是一种常见的并发问题，尤其在多线程或多进程环境中。2.使用top或者htop命令查看内存使用情况。3.使用vmstat命令查看内存和系统性能。1.使用free命令查看内存使用情况。4.检查内存使用情况的日志。
2024-09-29 21:42:45
459
原创 Spring cloud 中gateway原理
Spring Cloud Gateway 是 Spring Cloud 生态系统中的一个 API 网关解决方案，用于在微服务架构中处理请求路由、负载均衡、认证授权、监控等功能。它基于 Spring 5、Spring Boot 2 和 Project Reactor，提供了非阻塞的、响应式的 API 网关功能。
2024-09-29 20:48:35
464
原创 mq消息队列学习笔记
靠通信设计的,也是少数几个支持AMQP协议的消息队列之一RabbitMQ:轻量级、迅捷,它的宣传口号,也很明确地表明了RabbitMQ的特点:Messaging that just works,开箱即用的消息队列。RabbitMQ对消息堆积的支持并不好,当大量消息积压的时候,会导致RabbitMQ的性能急剧。Kafka的性能,尤其是异步收发的性能,是三者中最好的,但与RocketMQ并没有。Apache的顶级项目。RocketMQ有着不错的性能,稳定性和可靠性,具备一个现代的消息队列应该有的几乎全部功能。
2024-09-28 22:55:41
855
原创 java笔试题整理
父类与子类定义同名的变量，并不会覆盖，而是各自还有自己的空间，即使变量名相同，子类中调用父类的对同名变量赋值的方法，仍然只是改变自己实例出来的父类的变量值。介绍一个你曾经做过的系统或项目，包含项目简介，技术路线，系统架构，你担任的角色，从事的主要工作，收获的经验等等。[解析] 一辆汽车由多个零部件组成，且相同的零部件可适用于不同型号的汽车，则汽车实体集与零部件实体集之间的联系是多对多的联系。一辆汽车由多个零部件组成，且相同的零部件可适用于不同型号的汽车，则汽车实体集与零部件实体集之间的联系是______。
2024-09-27 22:12:20
458
原创 接口定义及开发文档注意事项
接口标准化：在设计接口时，需要考虑接口的标准化程度、互操作性和可维护性等方面，以确保接口的正确性和可靠性。接口测试：在测试接口时，需要确保接口的正确性、可靠性和性能等方面都符合要求，以确保接口的稳定性和可用性。接口安全：在设计接口安全性时，需要考虑接口的保密性、完整性和可用性等方面，以确保接口的安全性和可靠性。接口文档：在设计接口时，需要考虑接口的文档化程度、可读性和可维护性等方面，以确保接口的正确性和可靠性。接口实现：在实现接口时，需要考虑接口的安全性、性能、可靠性等因素，以确保接口的正确性和稳定性。
2024-09-11 09:46:03
332
原创 数仓实战（一）
首先业务是存储在MySQL数据库中，通过sqoop对MySQL的数据进行数据的导入操作，将数据导入到HIVE的ODS层中， 对数据进行清洗转换处理工作， 处理之后对数据进行统计分析， 将统计分析的结果基于sqoop在导出到MySQL中， 最后使用FineBI实现图表展示操作；指的是: 数据从数据源将数据灌入到ODS层, 以及从ODS层将数据抽取出来, 对数据进行转换处理工作, 最终将数据加载到DW层, 然后DW层对数据进行统计分析, 将统计分析后的数据灌入到DA层, 整个全过程都是属于ETL范畴。
2024-09-11 09:40:09
352
原创 Mac配置苍穹外卖前端开发环境
终端运行:open /opt/homebrew/etc/nginx 并打开nginx.conf。# 查看nginx是否启动，存在nginx:master即是启动中的nginx进程号。# 反向代理,处理管理端发送的请求。# 反向代理,处理用户端发送的请求。# 查看nginx信息（后续着重讲解）把资料中html中的文件复制到。配置的是80端口，直接去。
2024-04-03 09:44:43
2357
1
原创 数据治理发展趋势
信通院在2017年发布的《数据资产管理实践白皮书1.0》中提出了数据资产管理的概念，试图建立一种新的理念，即要面向数据价值开展数据的管理工作，经过6年的时间迭代，白皮书已经更新到了6.0，成为了国内开展数据资产管理比较权威的理论框架。信通院联合30家企业，提出具有普适性的数据资产运营框架，定义了数据资产的规划、识别、应用、推广、优化等关键环节，包括8大能力域、22个能力项和200余条能力要求，以解决企业数据资产摸不清、数据资产运营能力差、数据资产价值难发挥等问题。大型机构正面临数据统一纳管的难题。
2024-01-20 15:07:21
1632
原创 文献阅读《基于语义和结构置信度的图谱质量校验方法》
这篇文献的研究背景是图谱质量评估，主要关注三元组的质量评估。文章的目的是提出一种基于语义和结构置信度的图谱质量校验方法，以解决现有方法无法准确判断三元组质量的问题。
2024-01-18 10:01:39
999
1
原创 Hive-SQL语法大全
]，表示可选，如上[LOCATION]表示可写、可不写，表示或，如上ASC | DESC，表示二选一…，表示序列，即未完结，如上表示在SELECT后可以跟多个，以逗号隔开()，表示必填，如上(A | B | C)表示此处必填，填入内容在A、B、C中三选一。
2024-01-15 15:10:22
1946
原创 NAT模式虚拟机VMware连接不上外网问题解决
确保网段网关设置正确 vim /etc/sysconfig/network-script/ifcfg-ens33ifcfg-ens33文件里面的对应进行修改即可 修改DNS配置文件vim /etc/resolv.conf nameserver （刚才添加的DNS）Win的防火墙和虚拟机的防火墙都要关闭：虚拟机中：关闭防火墙并禁止开机启动 systemctl stop firewalld.service systemctl disable firewalld.service 重启网络se
2024-01-15 10:40:32
2412
原创 big data tools客户端远程连接hdfs的问题解决
这个问题可以说是big data tools 的一个小bug，它需要远程连接的hdfs节点的内容不能为空，所以在远程的hdfs创建一个文件夹就好了。表示我们本地系统没有hadoop环境，缺少winutils.exe程序，我们需要在自己的电脑上安装一下这个插件,并且配置好hadoop的环境 变量。解压Hadoop安装包到Windows系统，然后把hadoop.dll、winutils.exe两个文件放到hadoop的bin目录下。只要环境配置对，基本问题不大。
2024-01-11 09:37:10
855
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人