- 博客(103)
- 收藏
- 关注
原创 输出数据OutputFormat案例
2.在java目录下创建一个outputFormatTest文件夹。5.LogRecordWriter的代码如下。会多两个文件夹,分别是log和output。5.LogOutputFormat代码为。输出数据OutputFormat。4.LogReducer的代码如下。1.创建一个文件在log.txt。6.LogDriver的代码如下。在文件夹下面创建相应的类。
2025-05-26 15:19:16
349
原创 wordcount在集群上的测试
1.将louts.txt文件从cg计算机复制到master节点上面,存放在/usr/local/hadoop 需要输入密码:83953588abc。hadoop jar jar名字 驱动文件(一般包含main方法)输入路径 输出路径。2.将lotus.txt文件从master这台机器上传到hdfs的系统里面。5.上传生成的jar包从cg机器上传到master上面。将packaging从war修改成jar。3.修改pom.xml文件。4.使用maven打包。
2025-05-26 11:16:37
508
原创 Idea如果有参数,怎么debug
com.lotus.mapreduce.wordcount.WordCountDriver为类名,下面是参数,用空格隔开。例如/MapReduce/WordCountTest/input是第一个参数就是args[0],/MapReduce/WordCountTest/output是第二个参数就是args[1]1.在类名或者方法名上右键,选择More Run/Debug。如下图:可以看到args[0],args[1]已经有值了。如上图,输入输出路径是需要运行的时候给参数。给上面的代码给参数的步骤为。
2025-05-23 16:59:17
271
原创 Cannot connect to already running IDE instance.IllegalStateException: Process “/usr/local/java/jdk1
使用 ps -aux查看所有进程。
2025-05-19 12:19:40
278
原创 问题:Exception in thread “main“ org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory
如果pom.xml文件中指明了主文件的路径,那么hadoop执行Jar包的命令不需要有主文件路径部分。如果pom.xml文件中没有指明主文件的路径,那么hadoop执行Jar包的命令需要有主文件路径。
2025-05-16 00:33:49
445
原创 hadoop配置文件,参数的优先级
参数优先级排序:(1)客户端代码中设置的值 (2)ClassPath下的用户自定义的配置文件(project下的配置文件,例如/root/IdeaProjects/hdfsClient/src/main/resources/hdfs-site.xml) (3)服务器的自定义配置文件(XXX-site.xml 路径为/usr/local/hadoop/etc/hadoop)(4)服务器的默认配置(XXX-default.xml)
2025-04-22 12:02:54
286
原创 基于知识图谱和图卷积神经网络的应用和开发
本文只是对 《京东 基于知识图谱和图卷积神经网络的应用和开发》的视频的笔记整理。深度学习的特点:现实中有大量数据是由非欧几里得结构。传统的深度学习平台无法完整这类学习(CNNs和RNNs),这类数据无法通过一维,二维和三维的欧几里得结构表达。 例如一个过滤器:第一层9个实体的权重和凝聚成 第二层一个节点的值。备注: 关键:在节点和社区间进行信息传递图讲解:输入一个邻接矩阵,特征矩阵点乘到每个节点进行训练,每次居于上一层训练(更新特征矩阵),然后分类,最后进行。图卷积网络的本质就是提取图结构的空间特征。图
2023-11-12 14:45:28
379
原创 图神经网络及其在知识图谱的应用
V Vertex点E Edge 边(向量)U Global 图 (例如:全局向量)无论事多么复杂,我们利用图神经网络的目的就是整合特征有向图 出度,入度无向图 度 Degree邻接矩阵子图:所有边和点都在原图中连通图:对于一个无向图,如果任何的节点i能够通过一些边到达节点j,则称之为连通图连通分量:无向图G的一个极大联通子图陈伟G的一个联通分量(或连通分支)。连通图只有一个连通分量,即其自身;非连通的无向图有多个连通分量。有向图连通性。
2023-10-29 00:09:49
1143
原创 知识图谱相关的操作
用的人最多,与python好交互。Neo4j-CQL教程下载安装SDK,neo4j1.在cmd窗口启动启动命令为2.启动信息为如下3. 复制上图的 启动地址到浏览器出现如下画面,说明启动成功。
2023-10-28 01:22:37
516
原创 Postman日常操作
http请求包括4部分:url,method,headers,body在上图1的位置为接口集,可根据项目来定义接口集合方便以后的测试目录上图2的位置为method,如;post、get上图3的位置为响应内容,其中Pretty为格式化json和xml形式的响应内容,Raw仅仅是响应体的一个大文本,可以告诉你响应是否压缩了,Preview是一个沙盒的iframe中渲染响应的内容。http请求包括4部分:url,method,headers,body。
2023-10-27 23:44:41
533
原创 数据库日常操作
当@TargetMonth是只有年月的时候,如202307。关于年月日时间的计算:使用Dateadd()函数。解析为:CONVERT转换时间。
2023-10-12 23:22:13
124
原创 推荐系统实战
个性化推荐,给每个人推荐不一样的内容。协同过滤:1.如何确定一个用户是不是和我是相似的2.如何对找到的人喜欢看的东西的排行1.收集用户偏好2.找到相似的用户或者物品3.计算推荐欧几里德距离(Euclidean Distance):距离,相似度皮尔逊相关系数(Pearson Correlation Coefficient):协方差【-1,+1】,皮尔逊相关系数Cosine相似度邻居的选择A.固定数量的邻居B.基于相似度门槛计算性能高,通常用户的数量远小于物品数量。
2022-12-29 14:27:23
672
原创 算法:动态规划
动态规划的规则1.状态定义2.固定住不确定的因素(例如1.确定连续子数组,我们可以选择固定子数组的末尾元素2.台阶确定最后一阶台阶),是得状态转移变得容易3.求解过程中每个子问题只求解一次,无后效性。
2022-12-27 21:45:00
264
原创 算法:二叉树
链接:https://leetcode.cn/problems/cong-shang-dao-xia-da-yin-er-cha-shu-lcof。在遍历二叉树的时候,从本题我们可以知道我们使用的是层遍历,层遍历需要借助一个队列,去记录下一层的节点。从上到下打印出二叉树的每个节点,同一层的节点按照从左到右的顺序打印。我们需要构建具体的二叉树,从根开始root,然后分别将节点连接。给定二叉树: [3,9,20,null,null,15,7],来源:力扣(LeetCode)
2022-12-21 18:00:10
420
原创 算法:链表
定义一个函数,输入一个链表的头节点,反转该链表并输出反转后链表的头节点。输入一个链表的头节点,从尾到头反过来返回每个节点的值(用数组返回)。输入: 1->2->3->4->5->NULL。输出: 5->4->3->2->1->NULL。以下是链表节点的定义。
2022-12-13 14:14:32
134
原创 算法:栈和队列的设计
定义栈的数据结构,请在该类型中实现一个能够得到栈的最小元素的 min 函数在该栈中,调用 min、push 及 pop 的时间复杂度都是 O(1)。链接:https://leetcode.cn/problems/yong-liang-ge-zhan-shi-xian-dui-lie-lcof。(添加直接在一个栈中完成,删除队头元素,需要将元素从栈1转移到栈2,删除栈2,栈顶的元素,完成删除队头的操作)3.删除对头元素:在这里队头元素为3,删除队头元素,并返回删除的元素值,所以返回3。--> 返回 -2.
2022-12-12 14:15:08
548
原创 c# :list相关常用的代码
一般在算法题里面,我需要来查看我的list的结果时使用。结果需要注意:Join的方法 Console.WriteLine(string.Join(", ", list1));
2022-12-07 11:25:16
1349
原创 Razor: ViewComponent控件
想要在一个页面添加一个这样的板块,怎么做呢? 一创建一个新的文件夹在Pages下 ViewComponent,在此文件夹下面创建一个cs文件 注意Invoke()的方法,根据Invoke方法的EmployeeCountByDept的相应的方法。后端大概是这样 前端是这样的:在原本的页面添加控件 在此路劲下,添加一个cs页面
2022-12-06 15:47:41
380
原创 算法前缀和
给定一个整数数组和一个整数 k ,请找到该数组中和为 k 的连续子数组的个数。示例 1:输入:nums = [1,1,1], k = 2输出: 2解释: 此题 [1,1] 与 [1,1] 为两种不同的情况示例 2:输入:nums = [1,2,3], k = 3输出: 2来源:力扣(LeetCode)链接:https://leetcode.cn/problems/QTMn0o著作权归领扣网络所有。商业转载请联系官方授权,非商业转载请注明出处。 按照之前的理解,我使用了滑动窗口的算法,给出的两个
2022-12-06 10:48:12
262
原创 算法:滑动窗口
找出该数组中满足其和 ≥ target 的长度最小的 连续子数组 [numsl, numsl+1, ..., numsr-1, numsr] ,并返回其长度。输入:target = 11, nums = [1,1,1,1,1,1,1,1]这时候 target >sum,同时记录长度为4,start=0;输入:target = 7, nums = [2,3,1,2,4,3]输入:target = 4, nums = [1,4,4]解释:子数组 [4,3] 是该条件下的长度最小的子数组。
2022-12-02 20:13:01
464
原创 算法:双指针
给你一个整数数组 nums ,判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i!= k ,同时还满足 nums[i] + nums[j] + nums[k] == 0。输入:numbers = [1,2,4,6,10], target = 8。输入:numbers = [-1,0], target = -1。不同的三元组是 [-1,0,1] 和 [-1,-1,2]。输入:nums = [-1,0,1,2,-1,-4]输出:[[-1,-1,2],[-1,0,1]]
2022-12-01 17:41:27
122
原创 算法: C# 中将 Dictionary 集合用作 Hashmap 等价类型
给你一个整数数组 nums ,除某个元素仅出现 一次 外,其余每个元素都恰出现 三次。请你找出并返回那个只出现了一次的元素。空间复杂度:O(n)。哈希映射中包含最多⌊n/3⌋+1 个元素,即需要的空间为 O(n)。链接:https://leetcode.cn/problems/WGki4K。两个实现代码的思路是一样的,但是代码二的效率比代码一的效率高。输入:nums = [0,1,0,1,0,1,100]时间复杂度:O(n),其中 n是数组的长度。输入:nums = [2,2,3,2]
2022-11-30 11:33:02
598
原创 算法:位运算
给定两个字符串形式的非负整数 num1 和num2 ,计算它们的和并同样以字符串形式返回。给定两个 01 字符串 a 和 b ,请计算它们的和,并以二进制字符串的形式输出。输入:num1 = "11", num2 = "123"输入:num1 = "456", num2 = "77"输入: a = "1010", b = "1011"输入:num1 = "0", num2 = "0"输入: a = "11", b = "10"来源:力扣(LeetCode)输出: "10101"2.2 思路以及代码。
2022-11-30 01:09:25
157
原创 算法题:整数除法
一.题目描述以及来源给定两个整数a和b,求它们的除法的商a/b,要求不得使用乘号'*'、除号'/'以及求余符号'%'。整数除法的结果应当截去(truncate)其小数部分,例如:truncate(8.345) = 8 以及 truncate(-2.7335) = -2假设我们的环境只能存储 32 位有符号整数,其数值范围是 [−231, 231−1]。本题中,如果除法结果溢出,则返回 231 − 1来源:力扣(LeetCode)
2022-11-29 19:38:24
840
原创 错误Razor
调用的是OnPostUpdateNotificationPreferences的方法。Page上面的{id}代表传参 Edit.cshtml代码如下。2.确保handler向页面传参了下面代码的return,给页面返回了参数id。Edit.cshtml.cs完整代码。考虑错误原因,传参存在错误。
2022-11-23 18:56:18
743
原创 c# Razor项目出错 Error (active) CS0234
因为我新建Razor页面的时候,默认的文件名字是Index1.cshtml和Index1.cshtml.cs,但我修改了名字成Detail.cshtml和Detail.cshtml.cs。1.我删除了报错页面的所有代码,然后重新敲了第二行model的代码(我之前应该也没有敲错,但不知道原因)1.我准备全局搜索Index1,然后修改Index1。但我全局搜索没有找到,全局搜索的具体步骤为。2.我准备rebuild项目,但是rebuild依然报错(错误一样)项目报错:CS0234。但是全局搜索没有找到。
2022-11-22 14:04:59
841
原创 知识图谱内容梳理
8.实体解释的研究方向就两个:(1)面对数据源采用实体解析技术时,如何有效避免实体之间匹配的指数式增长 (2)尽量减少对训练数据集的高度依赖,开发无监督学习的试题解析模型。11.Singla等人提出了一整套的实体解析模型,基于马尔科夫逻辑网,通过构建带有权重一阶逻辑规则与搞笑的推理算法实现实体解析过程。9.实体解析模型:Fellegi-Sunter,通过匹配实体的属性集计算两个实体相似度得分(匹配决策)1.搜索引擎的工作原理是:采用制定好的搜索策略,通过用户搜索词自动生成搜索的计算机程序。
2022-11-14 23:40:34
416
原创 c#学习笔记-继承
受保护成员仅在派生类中可见。内部成员仅在与基类同属一个程序集的派生类中可见, 在与基类属于不同程序集的派生类中不可见。公共成员在派生类中可见,并且属于派生类的公共接口。Public访问不受到限制Protected允许本类以及派生类进行访问Internal访问仅限于当前程序集允许本类或派生类访问,注意比Internal的范围广Private仅允许当前类访问,派生类不能访问。
2022-11-14 18:33:14
632
原创 python学习笔记_基础
对于编译型语言来说,在执行之前先要经过编译器将源码转换成 CPU 可识别的机器码文件(比如 Windows 下的 .exe 文件);解释型语言无需预先编译,而是由解释器逐行对源码进行解释,一边解释一边执行。:一次编译,无限次运行。在运行的时候,我们只需要编译生成的可执行程序,此时就不再需要源代码和编译器,所以编译型语言可以脱离开发环境运行。编译型语言通常是不能跨平台的,也就是不能在不同的操作系统之间随意切换。(java可以跨平台)
2022-10-12 17:49:44
1045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人