- 博客(46)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 机器学习：协同过滤推荐算法
STEP2：编写函数依据欧式距离大小以及协同过滤算法（用户）实现电影的推荐。假设我们以字典形式保存用户关于电影的评分数据，请构建一个电影推荐程序。STEP1：编写函数计算欧式距离字典数据中两两用户的欧式距离。二、把相似性和对于每个电影的实际评分相乘，就是电影的加权分；寻找相似用户邻居，用相似邻居偏好来推荐物品。一、使用欧氏距离（或其它方法）计算相似性；三、计算推荐度=加权分之和/相似性；四、将推荐度最高的电影推荐给用户。3. 编程实现协同过滤算法。1.了解协同过滤理论基础。
2023-05-04 11:26:32
817
原创 bug:Caused by: java.lang.ClassNotFoundException: com.mchange.v2.cfg.MConfig
【代码】bug:Caused by: java.lang.ClassNotFoundException: com.mchange.v2.cfg.MConfig。
2023-04-26 10:05:38
419
原创 Spring AOP： 多切面的顺序，性能及异常监控
基于xml开发Spring AOP。基于注解开发Spring AOP。demo1和demo2的目录。基于Ordered接口配置。
2023-04-19 10:40:13
1269
原创 实验手册 - 第8周DataFrame API/Spark SQL
以上述文件作为数据源，生成DataFrame，列名依次为：order_id, order_date, cust_id, order_status，列类型依次为：int, timestamp, int, string。根据(1)中DataFrame的order_date列，创建一个新列，该列数据是order_date距离今天的天数。找出(1)中DataFrame的order_id大于10，小于20的行，并通过show()方法显示。根据(1)中DataFrame, 分别统计2013年和2014年的订单数量。
2023-04-13 21:06:16
607
原创 实验手册 - 第7周Spark DataFrame
已知 scores = [(“Tom”, 89, 80, 77), (“Mike”, 68, 73, 90), (“Rose”, 88, 65, 70), (“Lucy”, 56, 75, 86)]根据(2)中DataFrame的name列以及其余3列的和，生成新的DataFrame，列名分别重命名为stuName和totalScores（用两种方法）选取(2)中DataFrame的name和spark_score列，生成新的DataFrame，并调用show()方法查看数据（用三种方法）
2023-04-13 20:37:40
614
原创 实验手册 - 第5周Pair RDD与分区
已知 scores = [(“Jim”, (“Hadoop”, 80)), (“Jack”, (“Hadoop”, 69)), (“Mike”, (“Hadoop”, 88)), (“Jackson”, (“Hadoop”, 69)),[(“张三”, “男”, “郑州”), (“李四”, “男”, “洛阳”), (“王五”, “男”, “许昌”), (“赵柳”, “女”, “开封”)]把分区个数设置为2， 且把将Key相同的数据放在同一个分区上。把分区个数设置为2，并再次查看各个分区上的数据。
2023-04-13 20:15:07
444
原创 实验手册 - 第4周Pair RDD
输出结果：[(791.0, 10524.17), (9371.0, 9299.03), (8766.0, 9296.14), (1657.0, 9223.71), (2641.0, 9130.92)]输出结果：[(‘DB’, 98), (‘Cloud’, 99), (‘PF’, 99), (‘MVC’, 99), (‘OOP’, 99), (‘DSA’, 99)]输出结果：[ (‘Lucy’, (‘Hadoop’, 98)), (‘Tom’, (‘NoSQL’, 90)) ]计算各位同学的成绩总和。
2023-04-13 20:03:13
235
原创 实验手册 - 第3周Spark RDD
(‘王五’, [ (‘烧茄子’, 1), (‘鱼香茄子’, 1),(‘狮子头’, 2),(‘香菇饺子’, 1),(‘鸡子炒馍’, 1), (‘扬州炒饭’, 2),(‘麻辣烫’, 2) ]),(‘张三’, [ (‘潼关肉夹馍’, 3), (‘宫保鸡丁’, 3), (‘麻辣豆腐’, 1), (‘扬州炒饭’, 1), (‘茄汁面’, 1), (‘鱼香茄子’, 1) ]),将courses中的课程按照字母升序排序。[ (‘李四’, [ (‘Hadoop’, 88), (‘Spark’, 70) ] ),
2023-04-13 19:35:56
675
原创 实验手册 - 第2周Spark RDD
通过findspark找到并导入pyspark创建SparkContext对象读取数据源，生成RDD对象（1）从内存读取数据源（2）从文件读取数据源sc.textFile(r’文件路径’)对RDD进行Tranformation操作对RDD进行Action操作。
2023-04-13 10:45:19
3905
原创 1 Spark的环境搭建
在spark的安装目录中的conf目录中，找到log4j.properties.template文件，并复制一份，然后将该副本重命名为log4j.properties。（2）在spark安装目录的\examples\src\main\python中，找到wordcount.py文件，复制到c盘跟目录。\1. 下载并安装Java8：https://www.oracle.com/java/technologies/downloads/（1）打开cmd，然后输入 pyspark，可以看到如下界面。
2023-04-11 08:02:05
429
原创 Spark 简介与原理
Spark 是一个大规模数据处理的统一分析引擎。具有迅速、通用、易用、支持多种资源管理器的特点。Spark生态系统Spark SQL是一种结构化的数据处理模块。它提供了一个称为Data Frame的编程抽象，也可以作为分布式SQL查询引擎。是一个Sprak API核心的一个存在可达到超高通量的扩展，并可处理实时数据流并容错。
2023-04-11 07:52:51
961
原创 Bug:Error loading server extension jupyter_nbextensions_configurator
【代码】Bug:Error loading server extension jupyter_nbextensions_configurator。
2023-04-10 16:51:07
995
原创 机器学习：聚类算法（KMeans）——图片压缩
（2）对于三维数组（彩色图像），plt.imshow() 函数并不会自动对输入数据归一化处理，而是对数据取值范围提出要求：如果是float型数据，取值范围应在[0,1]；如果是int型数据，取值范围应在[0,255]聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。（1）对于二维数组（灰度图像），函数会自动将输入数据归一化变换至[0,1]，然后显示。（3）将misc换成imageio。（1）安装imageio。
2023-04-06 15:20:43
2757
6
原创 Django知识与案例学习及总结
利用Django的ORM，我们可以直接将刚才创建的学科表和老师表变成Django中的模型类。修改项目的settings.py文件，首先将我们创建的应用polls添加已安装的项目（INSTALLED_APPS）中，然后配置MySQL作为持久化方案。使用Ajax技术来实现投票的功能，首先修改项目的urls.py文件，为“好评”和“差评”功能映射对应的URL。1、在创建好模型类之后，可以通过Django框架自带的后台管理应用（admin应用）实现对模型的管理。（2）创建templates/polls目录。
2023-04-02 17:37:11
633
4
原创 机器学习：回归树与随机森林
使用sklearn自带数据集digits进行练习，请将数据集划分为训练与测试集，分别使用决策树和随机森林算法对数据digits的训练集进行分类，比较决策树算法和随机森林算法的表现，并思考是否可以继续提升随机森林算法的表现？使用决策树来对房价的因素进行分析发现哪个属性最重要。决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。
2023-03-30 11:30:03
406
原创 机器学习：Python实现KNN算法
使用Python实现KNN3 实验背景本实验将演示使用Python的第三方库Numpy实现KNN算法，对训练样本进行建模，并对待测样本进行类别划分。KNN算法需要确定K值、距离度量和分类决策规则。5.2 定义KNN函数5.3 显示待测样本的标签完成分类提示：shape用法
2023-03-25 23:00:13
1124
原创 蓝桥杯：回文日期
输入描述输入包含一个八位整数 N，表示日期。对于所有评测用例，10000101≤N≤8999123110000101≤N≤89991231，保证 N 是一个合法日期的 8 位数表示。输出描述输出两行，每行 1 个八位数。第一行表示下一个回文日期，第二行表示下一个 ABABBABA 型的回文日期。输入输出样例输入20200202输出2021120221211212先判断日期是否合法，之后求出八位数字的每一位，按照回文数规律相等
2023-03-25 22:21:41
62
原创 Spring：Bean依赖注入方式
pom文件依赖版本的问题，Spring核心容器jar包和依赖jar包版本需要统一；这里的Spring版本为5.0.8.RELEASE，所有的Spring 相关的依赖都应该是这个版本。
2023-03-22 09:47:07
201
原创 机器学习：决策树可视化
（1）在jupyter notebook中直接安装pydotplus。（2）找到GraphViz的根本目录和bin目录，配置本地环境变量。（1）本地不存在pydotplus包，需要安装。（2）调用Graphviz相关函数找不到。（1）导入pydotplus包报错。（2）Graphviz路径配置不对。2. 编程实现决策树分类器。查看数据类型、形状和列索引。1.了解决策树的构建过程。（3）区分特征值和目标值。
2023-03-16 23:00:18
300
原创 算法：大数乘法
对于32位字长的机器，大约超过20亿，用int类型就无法表示了，我们可以选择int64类型，但无论怎样扩展，固定的整数类型总是有表达的极限！一个简单的办法是：仅仅使用现有类型，但是把大整数的运算化解为若干小整数的运算，即所谓：“分块法”。上图表示了分块乘法的原理。可以把大数分成多段（此处为2段）小数，然后用小数的多次运算组合表示一个大数。可以根据int的承载能力规定小块的大小，比如要把int分成2段，则小块可取10000为上限值。注意，小块在进行纵向累加后，需要进行进位校正。提示：十进制数的进位问题。
2023-03-15 18:44:43
77
原创 算法：四平方和
并对所有的可能表示法按 a,b,c,d 为联合主键升序排列，最后输出第一个表示法。如果把0包括进去，就正好可以表示为4个数的平方和。对于一个给定的正整数，可能存在多种平方和的表示法。每个正整数都可以表示为至多4个正整数的平方和。4个非负整数，按从小到大排序，中间用空格分开。二分法降低时间复杂度，用打表空间换时间。一个正整数N (N
2023-03-15 12:18:11
281
原创 MyBatis：MySQL一对多主键映射的两种方式
添加元素，用useGeneratedKeys属性获取数据内部产生的主键值，keyProperty属性用于指定主键。添加元素，用子元素获取主键值。
2023-03-06 17:12:16
670
原创 MyBatis：MySQL一对一关联查询
mybatis一对一关联查询实验总结传统数据表准备在IDEA中创建Maven工程（导入jar包，即dependencies）创建POJO类，即java对象类（成员关系和传统关系表字段对应，即映射关系）创建映射文件（其中写SQL语句）创建配置文件（配置mysql数据库密码、名称、驱动以及映射文件位置）编写测试类。
2023-03-02 23:09:33
603
2
原创 使用ChatGPT写一篇文章
MyBatis是一个Java持久层框架，它提供了简单而强大的数据访问方式。在实际的开发中，我们经常需要查询两个表之间的关联数据，这就需要用到MyBatis的一对一关联查询。本文将介绍如何在MyBatis中实现一对一关联查询。一对一关联是指两个表之间的关系是一对一的，也就是说一个记录只对应另一个表中的一个记录。比如说，我们有两个表，一个是用户表，另一个是用户信息表，它们之间的关系是一对一的。我们可以通过用户表的id字段与用户信息表的user_id字段建立关联。
2023-03-01 09:25:49
360
原创 MyBatis单表增删改查
Mybatis是一款优秀的ORM（对象-关系映射）框架，它支持自定义SQL、存储过程以及高级映射。几乎避免了所有的JDBC代码和手动设置参数以及获取结果集。
2023-02-26 18:12:19
552
1
原创 AttributeError: ‘list‘ object has no attribute ‘intersection‘
用来返回一个RDD与另一RDD的交集，输出结果不含重复值。注意：数据类型只能是RDD（即通过SparkContext()或者parallelize创建的结果）spark课程总结…
2023-02-20 22:19:38
1192
原创 认识与安装Docker
docker容器技术是企业里现在乃至未来5到10年中常用的技术，所以现在开始学习相应的docker容器技术是非常必要的；此外，Linux是商业化开发常用的操作系统，故本文将docker安装在Linux（Ubuntu）系统。以上就是关于docker认识学习的整理了，欢迎大家指导建议，后续还有相关文章更新~~~最后可以将安装好的系统导出一份ovf或者打快照。
2022-11-01 11:49:13
259
原创 详细图文安装Ubuntu16.04及安装中问题解决
详细图文安装Ubuntu16.04以及安装过程中问题解决，vmware tools安装、Ubuntu与Windows互相粘贴复制
2022-10-31 18:20:41
3667
1
mysqldump unknown option -s文本-T导出报错
2021-11-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人