- 博客(71)
- 收藏
- 关注
RSS订阅原创 Spark入门
回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark 中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark 中，对数据的所有操作不外乎创建RDD、转化已有RDD 以及调用RDD 操作进行求值。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。
2023-10-09 21:57:56
1246
原创 Scala面向对象
方法的参数默认参数在方法的定义时,我们有时会遇到这样的需求: 某些参数通常是不变的数据只有少数情况下才会变化.如果大多数情况下都需要手动传入同样值不符合编程中复用的原则.默认参数就可以解决这类问题.指定参数指定参数时指,在调用方法是通过指定参数名来改变参数传递的前后顺序.可变参数当方法的参数列表中有多个不确定的参数时,可以使用可变参数,与Java类似.可变参数用数组来保存,可以直接调用数组的方法.如果参数列表中既有普通参数,也有可变参数,可变参数必须写在最后.
2023-10-02 10:55:45
1115
1
原创 Scala入门
Scala数据类型关系总结1）Scala中一切数据都是对象，都是Any的子类。2）Scala中数据类型分为两大类：数值类型（AnyVal）、引用类型（AnyRef），不管是值类型还是引用类型都是对象。3）Scala数据类型仍然遵守，低精度的值类型向高精度值类型，自动转换（隐式转换）4） Scala特殊的类型之Null，它只有一个实例就是Null，它是所有引用类型（AnyRef）的子类。
2023-10-01 08:59:42
1115
1
原创 Apacha Flume
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
2023-09-23 01:00:29
1243
原创 Hadoop sqoop
1.安装sqoop2.补充sqoop流程解压、改名[root@kb129 install]# tar -xvf ./sqoop-1.4.7.tar.gz -C /opt/soft/[root@kb129 soft]# mv sqoop-1.4.7/ sqoop147拷贝配置文件[root@kb129 conf]# pwd/opt/soft/sqoop147/conf[root@kb129 conf]# cp sqoop-env-template.sh sqoop-env.sh编辑配置文件export HAD
2023-09-18 08:45:56
185
原创 Hadoop Hive入门
指定上传路径（两种方式）location(hdfs路径) 和load data local inpath（虚拟机路径）cd /opt/soft/hadoop313目录下查找juava*开头的文件。创建studenttp1 指定分区字段（age和gender）cd /opt/soft/hive312/lib目录下删除。删除内部表时，表结构和文件同时被删除，外部表只删除表结构。将r1的结果作为r2查询的表（类似sqi子查询）练习（内部表，路径是虚拟机系统路径）外部表（路径是hdfs路径）
2023-09-06 19:08:40
422
原创 Hadoop Hdfs基本命令
dfs.sh 对应 DataNode / NameNode / SecondaryNameNode。yarn.sh 对应 ResourceManager / NodeManager。下载 将hellohadoop.txt 下载到当前（kb23tmp目录下）上传文件 来到install目录下。hdfs 创建 install文件。来到sbin目录下 启动hdfs。清空data和yarndata。
2023-08-26 15:13:25
1250
原创 Shell编程基础02
vi /etc/sysconfig/network-scripts/ifcfg-ens33 查看。进入PATH变量配置文件 mysql8 bin 目录下。# 服务端使用的字符集默认为8比特编码。# 创建新表时将使用的默认存储引擎。#日志及进程数据的存放目录。先复制下mysql8的bin路径。初始化 注意是mysql8目录下。显示第三行和第五行（注意是和）目前的datas目录下没有文件。进入mysql8的bin目录。返回上级目录（mysql8）如果是新建的一定要关闭防火墙。-n 显示及匹配上下n行。
2023-08-22 08:39:04
122
原创 Python入门02
增加行（常用）：pandas.concat（[df1,df2,df3.....] , keys= , axis= ）keys为指定合并后的列名，多个列名使用列表传入；axis合并方向按照行或列合并，默认为0按行合并（合并成多行），为1则为按列合并（合并成多列）random.simple(序列，长度) 随机从序列中获取指定长度的随机数。Import模块1 as 别名，模块2 as 别名2。os.mkdirs()生产多个文件夹（递归生产的方式）查看数据形状（3行2列）删除行drop(行索引)
2023-08-14 08:28:36
98
原创 Python入门02
指定位置新增元素Insert删除（remove,del）Remove(删除某个元素，如果元素重复，默认删除第一个）Del（根据下标删除某个元素）_ _Delitem（）通过下标删除元素修改（通过下标重新赋值）列表的运算符操作（加号和乘号可以用）加号可以实现列表的合并乘号可以实现列表元素的重复比较运算符所有的都可以使用，实现列表内部元素的比较，从列表的第0个元素开始，按照数值的大小或者ascii表Is 和 is not成员比较 in 和 not in 列表是否包含某个元素。
2023-08-09 18:28:36
197
原创 Python入门
1.Python入门(变量)2.格式化输出和输入3.数据类型4.缩进5.运算符6.程序结构7.循环结构8.数据类型的具体操作常用的编译器 pycharm 和 jupyter定义变量变量名=变量标识符命名规则（四条）变量名中只能有数字、字符、下划线不能用数字开头不能使用内置关键字严格区分大小写命名习惯见名知义驼峰命名（大驼峰和小驼峰）以下划线开头批量命名 输出函数：（print）格式化输出函数：format 语法:’{}'.format() 输入函数：（input）控制台输入为字符串语法：变量名例 a =
2023-08-08 19:36:15
160
原创 Redis入门
Smove 将原来set中的元素移动到另外一个set中。type 命令（查看键对应的值的类型）无序不重复，通过HashTable实现。exists 命令（判断键是否存在）expire 命令（设置键过期时间）所有值（0 -1 lrange）负无穷到20 （scores）TTL命令（查看键有效时间）设置有效时长（setex）设置多个键值对（mset）拼接字符串（append）不包含20（scores）0到正无穷（scores）查询（get和mget）keys命令（查找键）删除键（del）单个。
2023-08-05 16:01:46
493
原创 SpringBoot + ajax 实现分页和增删查改
修改hbuilder url路径。引入到HBuilder。Service实现类。Service实现类。
2023-08-03 16:00:45
1425
原创 SpringBoot 入门
创建工程去s降低错误率，更改地址选择Maven组和名称修改版本，加入依赖新建controller测试更改端口号测试打包项目模拟linux 打开文件绝对路径输入cmd.回车测试。
2023-08-02 16:09:02
458
原创 SpringMvc+Mybatis完整项目
1.Spring+mybatis+Springmvc查询功能（记录数）findAll jsp更新。3.增删改查（根据id）Resources目录下。Service接口实现类。
2023-07-27 19:01:25
317
原创 Java spring Aop实战
只能在service实现类加。不符合业务逻辑，加入事物。Spring 配置文件。Mybatis配置文件。重新测试方法2和方法3。数据库不不会更新数据。
2023-07-26 16:39:55
319
原创 Java Mybatis02+oracle拓展
根据名字更改（名字也更改）根据名字更改（名字不更改）补充Oracle分区概念。复合分区（范围-列表）
2023-07-18 17:00:19
1378
原创 Java框架 Mybatis入门
配置mybatis-config.xml。特殊场景$符合的应用（order by）Sql映射文件（map接口的全路径）创建工具包和MybatisUtil类。加入返回值和sql语句。测试类02（简化代码）配置持久层接口全路径。
2023-07-17 21:56:54
209
原创 Java Jsp+Json+阿贾克斯
新建fastJson.jsp(复制listJson.jsp)修改一个地方。加入Js包（版本1.9.1）加入FastJson。
2023-07-14 21:40:38
495
原创 Java postman+ajax
网址或者http://localhost:8080/TestServlet。sevelet新建UserServlet(别忘了配置WEB.Xml)新建CatServlet到Servlet包(先测试add方法)UserService接口只写一个方法。更新login.jsp加入阿贾克斯。
2023-07-13 17:30:54
715
原创 java Jsp实现跳页功能
步骤4：工具类 BseDao 和PageBean(分页)步骤7：创建Servlet包和UserServlet类。如果数据库中有20条记录，每页显示5条记录，则有4页。如果数据库中有21条记录，每页显示5条记录，则有5页。如果数据库中有19条记录，每页显示5条记录，则有4页。步骤2：web新建js包，导入Jquery。步骤10：加入首页，上一页，下一页，末页。步骤5：entity包实体类。步骤1：创建工程，导入依赖。步骤14：实现下一页功能。步骤14：实现上一页功能。步骤13：末页功能实现。
2023-07-12 18:34:20
571
原创 JSP+MySql实战
detailEmployee.jsp（查询页面）Service包新建impl包实现接口方法。EmployeeServlet设置中文字符。EmployeeServlet实现增删查改。Update.jsp（修改页面）List.jsp（主页面）Add.jsp（添加页面）EmployeeDao类。新建Servlet包。
2023-07-11 18:58:22
153
原创 Jsp实战
2.修改add.jsp 和update jsp。步骤10 重写方法（studentDao）1.Servlet更新（findById）2.Find.Jsp(form表单删除）步骤11 service接口和实现。2.优化servlet。2更新testServlet。步骤4.2 web.xml。第18 步 继承添加、修改。步骤8 ：BaseDao。步骤四：servLet。步骤6 创建数据库和表。14.3 jsp更新。1修改add.jsp。
2023-07-05 23:23:45
221
原创 Java Jsp
可以实现交互功能（客户端和服务器端产生请求和响应）可以实现html静态页面无法实现的动态更新数据功能。（java服务器端页面技术）
2023-07-03 15:46:07
45
原创 Java Dao
Service 包下的impl包重写方法获得查询结果。UserSeviceImpl类。Service包复制接口。实现增删改查（单表）
2023-06-30 18:37:00
1768
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人