- 博客(74)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 linux top命令
CPU--自上次刷新以来该进程占用的总cpu时间的百分比.在一个trueSMPenvironment(真正的对称多处理器环境)下，如果’Irixmode’关闭(默认为打开状态)，top将运行在’Solarismode’，此模式下一个任务的cpu使用率将会被除以CPU数量之后显示。我们注意到在描述进程信息的proc/内，有一个smaps文件，里面展示了所有内存段的信息，其中有Shared_CleanShared_DirtyPrivate_CleanPrivate_Dirty:几个字段。
2025-01-20 14:59:48
671
原创 【无标题】
数据中台是一种统一的数据管理和分析平台，它能够整合企业内部和外部的各种数据资源，提供一站式的数据管理、治理、分析和可视化服务。数据中台不仅仅是一个技术平台，更是一个战略性的数据基础设施，旨在打破数据孤岛，实现数据的集中管理和高效利用。其主要功能包括数据集成、数据存储、数据治理、数据分析和数据可视化。数据集成是数据中台的首要功能，通过连接不同的数据源，如数据库、数据仓库、云存储、API接口等，实现数据的统一汇聚和整合。通过数据集成，可以将分散在不同系统中的数据集中管理，提高数据的完整性和一致性。数据存储。
2024-12-05 14:39:23
978
原创 orcfiledump
hive --orcfiledump -p hdfs://***/data__383154fc_6277_4f30_9577_c173e4f45ca9
2024-11-22 13:59:10
161
原创 application/json 和 application/x-www-form-urlencoded 区别
它告诉服务器请求的主体内容是 json 格式的字符串，服务器端会对json字符串进行解析，json 格式要支持比键值对复杂得多的结构化数据。application/x-www-form-urlencoded：是最常见的 POST 提交数据的方式，浏览器的原生表单如果不设置 enctype 属性，那么最终就会以 application/x-www-form-urlencoded 方式提交数据，它是未指定属性时的默认值。数据被编码成以 '&' 分隔的键-值对, 同时以 '=' 分隔键和值。
2024-11-21 09:43:03
468
原创 Docker和VMWare有什么不同
综上所述，Docker与VMWare在虚拟化技术方面存在显著差异。Docker以其轻量级、高效、易于部署和管理等优点，在微服务架构、云原生应用和DevOps领域具有广泛应用；而VMWare则以其高隔离性、独立性和安全性等优点，在大型数据库、关键业务系统和传统企业应用方面占据优势。在实际应用中，可以根据具体需求和场景选择合适的虚拟化技术。
2024-11-16 21:41:01
804
原创 结构型-代理模式
在软件开发中,由于一些原因,客户端不想或不能直接访问一个对象,此时可以通过一个称为"代理"的第三者来实现间接访问。该方案对应的设计模式被称为代理模式。代理模式(Proxy Design Pattern ) 原始定义是：让你能够提供对象的替代品或其占位符。代理控制着对于原对象的访问，并允许将请求提交给对象前后进行一些处理。
2024-10-15 17:26:10
469
原创 hadoop 重启异常，找不到DN块文件
最后平滑重启NameNode，在重启异常的DataNode解决。允许ipc通讯最大的数据包为128MB，默认配置为64MB。
2024-10-15 13:37:51
324
原创 结构型-适配器模式
定义：你可以将一个不兼容的对象包装在一个适配器中，从而使其与另一个类兼容。在软件工程中，适配器模式是一种结构型设计模式，它允许现有类的接口被用作另一个接口。当你希望复用一些现有的类，但是他们的接口与当前系统不兼容时，可以使用适配器模式。适配器模式可以帮助你将一个类的接口转换成另一个类的接口，从而使的原本接口不兼容的类可以一起工作。适配器设计模式通过创建一个中间层，使得两个不兼容的接口可以协同工作。在实际开发中，适配器模式可以帮助我们复用已有代码，提高系统的灵活性和可维护性。
2024-10-11 17:42:29
722
原创 创建型-原型模式（prototype）
为了实现深复制，需要采用流的形式读入当前对象的二进制输入，再写出该二进制数据对应的对象。浅复制：将一个对象复制之后，生成一个新的对象，新对象的所有成员变量(基本类型或引用类型)都含有与原有对象相同的值，如果原有对象的成员变量是基本数据类型，就会将这个变量的值复制一份到新对象里面，如果原有对象的成员变量是引用数据类型，那么这个引用指向的对象不会新生成一份，而是，在新对象里面的这个引用与原有对象的引用指向的是同一个对象。所有的原型类都必须有一个通用的接口， 使得即使在对象所属的具体类未知的情况下也能复制对象。
2024-09-29 16:55:07
699
原创 python模块之getopt
元组的列表，第二个是args剥离短选项及其参数和长选项及其参数之后剩余的参数列表。类似，但默认使用GNU风格的选项解析模式，这意味着选项参数和非选项参数可以混合，而。前缀的选项，value表示该option对应的参数，可以为空字符串表示无参数。要解析的参数列表，但不包括当前执行的python脚本名称，一般等同于。如果不需要短选项，可以设置为空字符串。，同样会在遇到第一个非选项参数时停止解析。表示需要给定参数，不支持可选参数。要识别的短选项字符串，如果后接。传递了值给不需要参数的长选项。
2024-09-25 17:52:39
932
转载 Kerberos认证流程详解
在Windows的kerberos认证过程中，Client将自己的信息发送给KDC，然后KDC使用krbtgt用户的Hash作为密钥进行加密，生成TGT。白银票据不同于黄金票据，白银票据的利用过程是伪造 TGS，通过已知的授权服务密码生成一张可以访问该服务的 TGT，因为在票据生成过程中不需要使用KDC，所以可以绕过域控制器，且很少留下日志。Kerberos 作为一种可信任的第三方认证服务，是通过传统的。该认证过程的实现不依赖于主机操作系统的认证，无需基于主机地址 的信任，不要求网络上所有主机的。
2024-09-23 18:37:13
268
转载 结构型-装饰器模式一
装饰器模式（Decorator Pattern）是一种结构型设计模式，它可以在不改变现有对象的结构的情况下，动态地给对象增加一些额外的功能。装饰器模式通过创建一个包装对象（即装饰器）来包裹真实对象，并在保持真实对象的接口不变的前提下，为其提供额外的功能。装饰器模式可以将不同功能的单个模块规划至不同的装饰器类中，各装饰器类独立自主，各司其职。客户端可以根据自己的需求自由搭配各种装饰器，每加一层装饰就会有新的特性体现出来，巧妙的设计让功能模块层层叠加，装饰之上套装饰，最终使原始对象的特性动态地得到增强。
2024-09-23 16:51:40
119
转载 什么是类图？
在类图中一共包含了以下几种模型元素，分别是：类（Class）、接口（Interface）、依赖（Dependency）关系、泛化（Generalization）关系、关联（Association）关系、聚合关系（Aggregation）、组合关系（Composition）和实现（Realization）关系。依赖关系还可以再细分为5种类型，分别是绑定（Binding）依赖、实现（Realization）依赖、使用（Usage）依赖、抽象（Abstraction）依赖和授权（Permission）依赖。
2024-09-20 15:44:24
231
转载 创建型-单例模式（Singleton Pattern）
保证一个类仅有一个实例，并提供一个访问它的全局访问点。一个全局使用的类频繁地创建与销毁。当您想控制实例数目，节省系统资源的时候。判断系统是否已经有这个单例，如果有则返回，如果没有则创建。构造函数是私有的。1、一个党只能有一个书记。2、Windows 是多进程多线程的，在操作一个文件的时候，就不可避免地出现多个进程或线程同时操作一个文件的现象，所以所有文件的处理必须通过唯一的实例来进行。3、一些设备管理器常常设计为单例模式，比如一个电脑有两台打印机，在输出的时候就要处理不能两台打印机打印同一个文件。
2024-09-20 09:11:34
86
原创 Spark task 数量超 10w 治理参数
通过调大 spark stage 中单个 task 读的 split 大小来减少 task 数量。
2024-09-19 17:21:18
242
原创 windows环境下安装python第三方包
2.如果没有搜索到，点击 “Open Terminal” ，即在DOS下打开python虚拟环境，如果要安装 segno，则 pip install segno 进行安装。1. 安装更新python第三方包，打开Anaconda，在右侧的搜索需要的python包并进行安装；python环境下，通常通过Anaconda来管理多个python环境；即通过Anaconda创建python不用的虚拟环境；3. python更改第三方镜像。
2024-09-19 16:32:51
362
转载 创建型-抽象工厂模式
提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。主要解决接口选择的问题。系统的产品有多于一个的产品族，而系统只消费其中某一族的产品。在一个产品族里面，定义多个产品。在一个工厂里聚合多个同类产品。工作了，为了参加一些聚会，肯定有两套或多套衣服吧，比如说有商务装（成套，一系列具体产品）、时尚装（成套，一系列具体产品），甚至对于一个家庭来说，可能有商务女装、商务男装、时尚女装、时尚男装，这些也都是成套的，即一系列具体产品。
2024-09-19 15:35:31
53
原创 python 异步执行 apply_async 方法
中间遇到一个棘手的问题，在python线程池中，使用异步非阻塞 apply_async() 方法时，一直无法获取到异步子线程执行的结果，最后通过查官方API 使用ready()方法可以拿到子线程的运行结果。调度来进行进程切换，即多个进程并行执行，提高程序的执行效率。1.项目需要读取hive表数据，并对返回的数据进行解析；是异步非阻塞式，不用等待当前进程执行完毕，随时跟进。2.返回数据，根据库、表，对其进行 下一步执行；
2024-09-13 15:22:46
531
原创 Java 自定义注解
像平时用到的 springboot、mybatis 等框架提供了许多的注解，免去了许多配置文件的繁琐工作，大大简便了开发，Java 提供了自定义注解的功能，这里就先展示简单的例子。1、注解的作用注解可以看作是一种特殊的标记，可以用在方法、类、参数和包上，程序在编译或者运行时可以检测到这些标记而进行一些特殊的处理，例如标注在方法上可以实现接口权限的校验。使用场景：自定义注解+拦截器或者 AOP。声明方式2、注解的元素类型。
2024-09-12 14:32:49
330
原创 @ApiOperation
ApiOperation 注解有许多属性，我们可以使用这些属性来详细描述我们的 API。value：这是一个简短的描述，通常用于 API 列表中的标题。例如，"获取用户列表" 或 "创建新用户"。notes：这是一个更详细的描述，通常用于 API 列表中的详细描述。你可以在这里提供更多关于 API 的信息，例如，它的用途、如何使用它、它的限制等。response：这是 API 的响应类型。你应该使用你的 API 实际返回的类型，而不是 ResponseEntity 或其他包装类。
2024-09-12 09:31:50
2563
原创 hive on spark 合并小文件
最近在做用户画像相关的数据开发，在hive中做行转列的过程中，每个标签即tag在写入hive表时，有大量的小文件生成，通过增加参数解决了小文件过多的问题，但是在完成特殊要求--（因后续需要同步ck，ck也有个为解决的问题，超过200M可能会丢失数据，故需要将hive在行转列的时候，合并的小文件在200M一下，方便后续ck数据同步）时，又产生了新的问题，通过hive合并小文件的参数，总是有些tag的数据生成的文件在200M以上；增加此参数，才会在hive on spark模式中进行小文件合并。
2024-09-04 09:32:12
901
1
原创 pyhton - PyHive
这里，我们使用 PyHive 连接到 Hive 数据库，并使用 Pandas 读取了数据库中的数据。这里，我们使用 PyHive 连接到 Hive 数据库，并使用 SQL 查询语句获取数据集的总行数。这里，我们使用 pandas.read_sql 方法将查询结果转换为 Pandas DataFrame，并将其赋值给名为 df 的变量。这里，我们创建一个名为 connection 的连接对象，并将其连接到本地的 Hive 数据库上。请注意，你需要提供正确的连接参数以连接到你的Hive。
2024-08-30 14:07:53
1167
转载 Spark应用 | Hive On Spark性能调优
我们公司yarn node节点的可用资源配置为：单台node节点可用资源数：核数33cores、内存110G。Hive on Spark任务的基础配置，主要配置对象包括：Executor和Driver内存，Executor配额，任务并行度。Spark系统架构。
2024-08-28 17:47:40
459
原创 hivesql -行转列 lateral view explode
b.再行转列（此时所有的字段都存放到一列中了，相当于求该列有值的情况下，哪个客户的记录数最多的问题了）tips:用户画像标签有500多个分散在30多个表中，即一个用户有500多个标签属性。例如有三张表a1,a2,a3，每张表的字段不同（但是客户数是一样的id）拿到一个需求：需要找出50个客户使得用户画像标签尽可能丰富（有值的）结果如下：得到每个id 对应的有值的字段。找出这三张表中标签字段最丰富的客户。a.先将要比较的字段拼接成一行。
2024-08-23 15:59:42
71
原创 完美解决ERROR: Could not find a version that satisfies the requirement ＜软件包＞ (from versions: none)问题——
例如：(env_01) C:\Users\Administrator>pip install -i PooledDB http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com。pip install <软件包> -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com。有的话，直接使用vi命令编辑~/.pip/pip.conf文件就好.
2024-08-21 09:11:22
9268
原创 clickhouse_driver
通过本教程，你应该对如何使用clickhouse_driver模块与ClickHouse数据库进行交互有了基本的了解。clickhouse_driver提供了强大的功能，使你能够方便地从Python程序中查询和分析ClickHouse中的数据。随着你的使用深入，你将能够更充分地利用这个库来满足你的数据分析需求。• 根据你的ClickHouse配置，可能需要调整连接参数（如主机、端口、用户名和密码）。• 在处理大量数据时，注意内存和性能的影响，可能需要调整查询或使用更高效的数据检索方法。
2024-08-20 20:47:08
1213
原创 Anaconda 更新第三方包
1. 找到Anaconda 上python运行的虚拟环境，我的是env_01。2.点击选择，Open Terminal，即打开dos窗口。
2024-08-20 20:40:39
313
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人