- 博客(312)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop命令
1.查看hdfs/afs中某个文件是包含某个字符串如下：查看afs文件中是否包含 "350004:"这个字符串taihuhadoop fs -cat afs://aaaa.com:9902/user/aaaaa.libsvm | grep 350004:2.将文件上传到集群taihuhadoop fs -put /home/project/predict_need.csv afs://aaaa.com:9902/user/samples/idmap_bank_20231116.csv
2024-09-09 10:17:27
465
原创 Pyspark DataFrame常用操作函数和示例
1.打印前几行1.1 show()函数show()函数会将指定数量的行（默认是 20 行）转换为字符串并打印到控制台。无返回值，直接打印数据到控制台。df.show() # 默认显示前 20 行df.show(10) # 显示前 10 行1.2 take()函数用于获取 DataFrame 的前 N 行数据，返回一个包含 Row 对象的列表。返回一个包含 Row 对象的列表。返回一个包含前 N 行数据的列表，每行数据以 Ro
2024-09-06 16:35:30
1366
原创 第二十三讲 python中自定义异常
创建异常类：定义一个新类，继承自Exception类。初始化异常信息：可以在自定义异常类中定义构造函数（__init__方法），以接受并存储额外的错误信息。（可选）添加方法：可以定义额外的方法来处理异常相关的信息或逻辑。
2024-08-21 14:43:46
885
原创 第二十二讲 python中traceback 模块
traceback模块提供了多种函数，用于提取、格式化和打印异常的回溯信息。异常的回溯信息是指当程序发生异常时，Python 解释器记录的调用堆栈信息，包括异常发生的位置、调用链以及每一层的具体代码。：返回格式化的异常信息字符串。：返回异常信息的列表，其中每个元素是格式化的错误消息。：将格式化的异常信息输出到标准错误流（stderr）。：从 traceback 对象中提取出回溯信息。：格式化 traceback 对象中的回溯信息。
2024-08-20 17:43:40
707
原创 第二十一讲 python中的with上下文资源管理器
初始化资源，通常返回自己或其他有用的对象# 处理异常，返回 True 表示异常被处理，返回 False 让异常继续传播# 使用自定义上下文管理器# 在这里你可以触发异常来测试 __exit__ 方法。
2024-08-20 16:37:22
390
原创 第二十讲 python中的异常结构-try except-else-finally
try except 是最常见的异常处理结构。：包含可能会引发异常的代码。如果在try块中的代码引发了异常，Python 会跳过try块中余下的代码，直接执行except块。except：用于捕捉和处理异常。你可以指定要捕获的异常类型，也可以捕获所有异常类型。as e用于获取异常实例，并可以访问异常消息或其他信息。执行的时候，如果try块中没有引发异常,则跳过except块继续执行后续代码.
2024-08-20 16:11:19
956
原创 第十九讲 python中的异常本质-异常定位-异常解决思路
异常机制的本质是提供一种结构化的方式来处理程序中的错误和不正常情况。这种机制让程序能够在遇到错误时控制程序的行为，而不是简单地终止程序。工作中，程序遇到的情况不可能完美。块中的代码都会被执行。每个异常对象携带了错误的信息和错误的上下文，这些信息可以被捕捉和处理。当程序检测到错误或需要中断当前操作时，它会“抛出”一个异常。异常类定义中包含了该类异常的信息和对异常进行处理的方法。python中，引进了很多用来描述和处理异常的类，称为。块中的代码是程序正常运行的代码，而。块中遇到异常时，会跳转到相应的。
2024-08-19 16:59:56
1369
原创 第十八讲 python中的字典-访问-添加-删除-序列解包
每个元组包含两个元素，第一个元素作为键，第二个元素作为对应的值。：字典中的键必须是不可变的类型，比如整数、浮点数、字符串、元组等。但是，列表等可变类型不能作为字典的键，因为可变类型不能保证其在字典中的唯一性和哈希性。：字典中的键必须是唯一的，即同一个字典中不能有两个相同的键。update() 方法的参数可以是另一个字典，也可以是包含键值对元组的列表或者其他可迭代对象。方法可以接受另一个字典或者键值对序列作为参数，将其添加到当前字典中或者更新已有的键值对。：字典中的元素可以通过键进行增加、删除或修改。
2024-08-01 10:57:12
131
原创 第十七讲 python中的元组-创建-访问-切片-长度-计数-index-zip函数
1.元租的概念元组（tuple）是一种不可变的序列类型，用于存储一组有序的元素。元组与列表（list）相似，但元组一旦创建就不能被修改，因此是不可变的。列表属于可变序列，可以任意修改列表中的元素元组属于不可变序列，不能修改元组中的元素。 因此，元组没有增加元素、修改元素、删除元素相关的方法。元组支持如下操作：索引访问、切片操作、连接操作、成员关系操作、比较运算操作、计数：元组长度len()、最大值max()、最小值min()、求和sum()等元组的核心特点是：不可变序列。元组的访问和
2024-07-31 16:53:13
117
原创 第十六讲 python中的序列-列表简介-特点-常用方法-创建-添加-删除-访问-切片-排序-复制-反转
用于存储任意数目、任意类型的数据集合列表是内置可变序列，是包含多个元素的有序连续的内存空间。列表的标准语法格式：其中，这些称为：列表a的元素。列表中的元素可以各不相同，可以是任意类型。比如：列表中的元素可以是字典，列表，自定义的对象等等Python的列表大小可变，根据需要随时增加或缩小2.2 列表的特点有序性：列表中的元素按照插入顺序排列，每个元素都有一个唯一的索引，可以通过索引访问和修改元素。可变性：列表是可变的，即可以通过各种方法增加、删除或修改列表中的元素。任意类型。
2024-07-19 15:08:14
143
原创 第十五讲 python中的字符串格式化以及可变字符串，类型转换总结
方法进行字符串格式化时，除了简单地替换占位符外，还可以控制填充和对齐方式，以使输出更加整齐和美观。中，字符串属于不可变对象，不支持原地修改，如果需要修改其中的值，只能创建新的字符。将一个整数转换为一个十六进制字符。将一个整数转换为一个八进制字符。用来计算在字符串中的有效。将一个字符转换为它的整数。带符号保留小数点后两位。将一个整数转换为一个字。以逗号分隔的数字格式。
2024-07-12 16:59:53
270
原创 第十四讲 python中字符串方法大全
方法返回一个新的字符串，其中原始字符串中每个单词的首字母被转换为大写字母，其余字母被转换为小写字母。方法返回一个新的字符串，其中原始字符串的第一个字符被转换为大写字母，其余字符被转换为小写字母。用于将字符串中每个单词的首字母转换为大写字母，同时将其余字母转换为小写。方法类似，但它是从字符串的末尾开始查找子字符串最后一次出现的位置。将字符串的第一个字符转换为大写字母，同时将其余字符转换为小写。用于将字符串中的所有字母转换为大写形式。计算子字符串在原始字符串中出现的次数。是字符串对象的方法，与。
2024-07-10 10:56:40
158
原创 第十三讲 字符串索引-字符串索引-分割-切片
字符串驻留机制是指对于较短的字符串，解释器会尝试将其存储在内存中的相同位置，以节省内存空间。这意味着当使用相同的字符串值创建多个对象时，解释器会尽量让这些对象共享相同的内存空间，从而减少内存占用。Python中的字符串是一个字符序列，每个字符都有一个唯一的索引位置，从0开始递增。提取了字符串 "Python" 中索引从2到5（不包括5）的子串，即子串 'tho'。使用步长为2来提取字符串 "Python" 中的字符，结果为 'Pto'。提取了字符串 "Hello" 中索引为1的字符，即字符 'e'。
2024-06-02 13:47:16
1113
1
原创 第十二讲 字符串-转义字符-字符串拼接-字符串替换
转义字符是指以反斜杠（\）开头的特殊字符序列，用于表示一些无法直接输入或打印的字符，例如换行符、制表符、引号等。因此，可以通过索引来访问字符串中的单个字符，也可以使用切片来获取子字符串。如果需要修改字符串，实际上是创建了一个新的字符串对象。函数时，程序会暂停执行，等待用户输入内容，并在用户按下回车键后将输入的内容作为字符串返回。注意：字符串是不可变的，整个过程中，实际上我们是创建了新的字符串对象，并指向了变量而不是修改了以前的字符串。字符串前面加上 r 或 R，表示原始字符串，其中的反斜杠不会被转义。
2024-05-28 14:48:18
151
原创 第十一讲 python中的逻辑运算符-比较运算符-位运算符
对操作数进行取反操作，如果操作数为True，则结果为False；如果操作数为False，则结果为True。否则，结果为False。将一个数的二进制位向左移动指定的位数。将一个数的二进制位向右移动指定的位数。对两个数的每个二进制位执行异或操作。对一个数的每个二进制位执行取反操作。检查左侧的值是否大于等于右侧的值。检查左侧的值是否小于等于右侧的值。对两个数的每个二进制位执行与操作。对两个数的每个二进制位执行或操作。检查左侧的值是否大于右侧的值。检查左侧的值是否小于右侧的值。右边的数据指定移动的位数。
2024-05-20 10:33:58
3437
原创 第十讲 python中的进制-类型转换-四舍五入-增强赋值运算符
运算符 + 、- 、* 、// 、% 、/ 、 ** 和赋值符 = 结合可以构成 “增强赋值运算符”round(value, num) 可以返回四舍五入的值。但不会改变原有值，而是产生新的值。整型的字符串可以转换为对应的整型，但如果字符串中有浮点数或者字母等不适整型的则会报错。num为保留几位小数，不写num则代表不保留小数部分。如：int(True)结果是。除了十进制，还有其他三种进制。浮点数直接舍去小数部分。布尔值 True 转 为。使用int()实现类型转换。
2024-05-15 14:06:26
131
原创 第九讲 python中的常量-链式赋值-解包赋值-内置数据类型-基本算术运算符
Python不支持常量，即没有语法规则限制改变一个常量的值。我们只能约定常量的命名规则，以及在程序的逻辑上不对常量的值作出修改。
2024-04-14 21:35:27
177
原创 第八讲 python标识符-命名规则-帮助函数-变量声明-初始化-垃圾回收机制
标识符是用来命名变量、函数、类等实体的名称。myVarmyvarifelseforwhile以下划线开头和结尾的名称通常有特殊含义，尽量避免这种写法。比如：init是类的构造函数3variableif。
2024-04-14 08:32:42
998
原创 第七讲 对象的基本组成-引用-栈内存-堆内存
对象的身份是唯一且不变的。可以使用内置函数id()来获取对象的身份，返回一个表示对象在内存中地址的整数。标识用于唯一标识对象，通常对应于对象在计算机内存中的地址。：对象的类型决定了对象可以存储的值和支持的操作，用于表示对象存储的数据的类型。类型可以限制对象的取值范围以及可执行的操作。可以使用type(obj)获得对象的所属类型。：对象的值是对象所代表的数据。值可以是数字、字符串、列表、元组、字典等各种数据类型。值表示对象所存储的数据的信息。使用print(obj)可以直接打印出值。
2024-04-13 23:22:32
110
原创 2. 回归树
C1，C2就是公式中的Cm, 指的不是类别，是一个数，这个数和 Y的含义是一样的，即租金是多少也即是说当C1和C2这些叶子结点所代表的一些值确定的时候，当再来一个未知的样本的时候，比如说，给出房屋面积100平方，那这个房屋面积为100的样本输入进来之后，这颗树的一些路径，最后判断从那个叶子结点输出， 比如上图，102平方的房屋最后判断的是C2这个叶子结点的输出，那C2这个值就可能是5000，4500等，即就是最终预测的值。计算的总体的损失小于给定的精度的时候，不再划分。括号中的是，x属于那个结点。
2023-12-27 10:40:34
1114
2
原创 1.决策树
决策树分类的思想类似于找对象。想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：女孩决定是否见男孩的一个过程，就像一个树形结构，只不过是反正的树， 数学上或者机器学习里的树，根在最上方最上方的为树的根节点下面的都是子节点像下图的橙色的部分，下面在没有往下的结点的叫叶子节点如果一颗树每个节点下面最多只有两个节点就属于二叉树下图的就是一个非二叉树( 到收入下面有三个节点)上图完整表达了这个女孩决定是否见一个约会对象的策略，其中绿色节点表示判断条件橙色节点表示决策结果。
2023-12-25 15:31:14
1673
原创 JavaScript基础题和面试题
选择题：下列哪个关键字用于声明变量并对其赋值？a) varb) letc) constd) 以上都可以补全代码：请补充以下代码，使其声明一个名为 "age" 的变量并赋予其初始值为 25。// 在此处补充代码选择题：以下哪种声明变量的方式在定义后不可再修改其值？a) varb) letc) constd) 以上都可以程序补全题：请根据描述补全以下代码，声明一个常量 "PI" 并赋值为3.14。选择题：以下哪种声明变量的方式具有块级作用域？
2023-11-24 16:57:05
1182
原创 Bash 脚本的参数等
表示逻辑与操作符，用于连接两个命令。如果第一个命令执行成功，则会执行第二个命令。test 命令用于进行条件测试，-z 表示测试一个字符串是否为空。
2023-08-04 13:41:55
1186
原创 python中的operator模块
# python中的模块 operator## 1. itemgetter 函数### 1.1 itemgetter 功能和参数`itemgetter是Python内置的operator模块中的函数之一，用于获取可迭代对象中的某个元素（或多个元素）或者对象的属性值。itemgetter函数可以接受一个或多个参数，每个参数可以是一个整数、一个字符串或一个可以调用的对象。`- itemgetter(n)：获取可迭代对象中第n个元素。- itemgetter(n1, n2, ...)：获取可迭代对象中第
2023-06-12 14:04:22
3008
原创 python 中的内置函数 slice()
# python 中的内置函数 slice()## 1.1 slice() 功能`slice()是Python内置函数之一，用于创建切片对象。切片对象可以用于对序列进行切片操作，如字符串、列表、元组等。`## 1.2 slice() 函数语法格式```pythonslice(start, stop[, step])```- 参数解释：```text其中，start、stop和step都是可选参数，分别表示切片的起始位置、终止位置和步长。如果不指定start，则默认从序列的起始位置开始；
2023-06-07 14:31:27
5176
1
原创 python 中的 setdefault 方法详解、底层原理和用法
# python 中的 setdefault 方法详解、底层原理和用法## 1、setdefault 方法功能`setdefault是Python中字典的一个方法，它用于在字典中查找指定键如果键存在， 则返回对应的值；如果键不存在，则在字典中添加该键，并将其值设置为指定的默认值`## 2、setdefault 用法详解```pythondict.setdefault(key, default_value)````其中，key为要查找或添加的键，default_value为键不存在时设置的
2023-06-05 14:24:43
11705
原创 python中的 collections 模块(用法、详解、底层原理，示例等)
# python中的 collections 模块## 1、collections 模块中的 defaultdict### 1.1 defaultdict 功能 `可以设置一个默认值作为字典中新key的默认值。该默认值可以是任何对象，包括函数、列表、元组、集合等。默认值不需要像dict那样事先定义，因为它在需要的时候会自动创建``使用defaultdict，可以简化代码并提高代码的可读性，而且可以防止KeyError异常的出现。同时，defaultdict的性能与普通字典相当，因为底层实现并不
2023-06-05 13:47:35
5564
1
原创 【Nginx】Nginx的学习（3.Nginx命令和nginx配置文件）
### 1. 启动nginx```shellsystemctl start nginx```### 2. 停止nginx```shellsystemctl stop nginx```### 3. 重载nginx```shell# 重新加载配置文件systemctl reload nginx```### 4. 查看nginx服务端口```shellnetstat -anpl | grep 'nginx'```### 5. 查看nginx进程```shellps aux |
2023-03-28 11:36:42
1009
原创 【Nginx】Nginx的学习（2.Nginx的安装，Linux安装和Windows安装）
Nginx官网下载地址 http://nginx.org/en/download.html。windows安装很简单，直接下载windows的版本，注意不要放到包含中文的路径下面。/usr/share/nginx/html/index.html //网站默认主页路径。/etc/nginx/nginx.conf //yum方式安装后默认配置文件的路径。/usr/share/nginx/html //nginx网站默认存放目录。打开下载路径的cmd的窗口，输入 nginx.exe回车即可，
2023-03-28 11:18:29
270
原创 【Nginx】Nginx的学习（1.Nginx概念、Nginx作用）
Nginx (engine x） 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔-赛索耶夫为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004年10月4日。2011年6月1日，nginx 1.0.4发布。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。
2023-03-28 10:05:16
430
原创 Docker之路（8.Docker网络、Docker0）
发现容器启动的时候会得到一个 eth0@if47 ip地址，这块每个人的可能都不一样，这是docker分配的！，并且这个ip是可以通过。实际上，两个容器之间的连接以及ping,是走了docker0这个桥梁过去的，而不是直接ping或者连接的。Docker使用的是Linux的桥接，宿主机中是一个Docker容器的网桥 docker0。而我们容器里面，例如刚才搞的tomcat的地址，就是docker0进行分配的。容器带来网卡，都是一对对的 （即容器内网卡对应本机的一个网卡，是一对对的）本机 ip addr。
2023-03-27 17:33:20
651
原创 【k8s】Kubernetes的学习（2.搭建K8S集群----准备k8s集群环境以及集群环境要求和IP设置相关）
1. 搭建k8s环境平台规划1.1 单master集群1.2多master集群2. kubernetes搭建环境2.1 kubeadm2.2二进制包3. 使用kubeadm方式搭建k8s集群第一、创建一个 Master 节点 kubeadm init第二， 将 Node 节点加入到当前集群中 $ kubeadm join 3.1 安装要求一台或多台机器，操作系统 CentOS7.x-86_x64硬件配置：2GB
2023-03-08 22:55:48
841
原创 Docker之路（7.DockerFile文件编写、DockerFile 指令解释、CMD与ENTRYPOINT的区别）
dockerfile 是用来构建docker镜像的文件！命令参数脚本！编写一个dockerfile文件docker build构建成为一个镜像docker run 运行镜像docker push发布镜像（DockerHub、阿里云镜像仓库）
2023-03-01 10:04:27
312
原创 【k8s】Kubernetes的学习（1.k8s概念和架构）
传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配 置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等 操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于 可移植性.新的方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件 系统 ，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署， 由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进 行迁移。
2023-02-28 21:22:48
291
原创 Docker之路（6.docker容器数据卷、具名挂载匿名挂载、权限挂载）
如果数据都在容器中，那么容器删除后，数据就会丢失！所以希望容器的数据能够存到本地容器之间可以又一个数据共享的技术！Docker容器中产生的数据，可以同步到本地，这就是卷技术。就是将我们容器内的目录，挂载到Linux上面。即就是容器的持久化和同步操作！容器间也是可以数据共享的！好处：以后只需要在本地修改即可，容器内会自动同步。
2023-02-24 10:34:50
572
原创 Docker之路（5.Docker镜像学习、镜像加载原理、镜像分层原理、通过commit提交镜像）
镜像是一种轻量级．可执行的独立软件包，用来打包软件运行环境和基于运行环境开发的软件，它包含运行某个软件所需的所有内客，所有的 Docker 镜像都起始于一个基础镜像层，当进行修改或增加新的内容时 ，就会在当前镜像层之上，创建新的镜像层。下图中展示了一个稍微复杂的三层镜像，在外部石来整个镜像只有 6个文件，这是因为最上层中的文件？这种情况下，上层镜像层中的文件爱盖了底层镜像层中的文件。就会在基础镜像层之上创建第二个镜像层；在添加额外的镜像层的同时 ，镜像始终保持是当前所有镜像的组合 ，理解这一点非常重要。
2023-02-23 11:58:50
315
原创 Docker之路（4.Docker命令大全、docker镜像命令、docker容器命令以及docker常用命令）
p 指定容器的端口 -p 8080:8080。我们有了镜像才可以创建容器，Linux，下载一个centos镜像来测试。-it 使用交互方式运行，进入容器查看内容。我们通常容器都是使用后台方式运行的，需要进入容器，修改一些配置。-q, --quiet # 只显示镜像的id。进入容器后的命令，和Linux一样，例如，ls、cd等等。-a, --all # 列出所有的镜像。-P 随机指定端口。
2023-02-22 16:08:34
371
python3.12.3的安装包
2024-04-13
JDK8(JDK1.8).rar
2020-07-07
tesseract安装文件
2018-12-07
python写入excel文件中单个单元格换行问题
2022-12-09
算法提题用python 、Java、或者js，思路是怎样得
2022-11-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人