- 博客(37)
- 收藏
- 关注
RSS订阅原创 java实现贪婪算法求广播问题
#贪婪算法实现求广播问题贪婪算法是每次找到最优解但是最后的结果不一定是最优解 但是是最靠近最优解的假设我们有五个广播站分别是k1:北京 上海 天津k2: 广州 北京 深圳k3: 成都 上海 杭州k4:上海 天津k5:杭州 大连要求所有站点都覆盖, 使用穷举法可以解决，但是太费事。所以使用贪婪算法。需要的变量allAreas 存放所有城市tempList 存放所查找城市公共的城市select 选中的广播站key 遍历需要的指针maxKey 所选择
2021-11-18 23:24:40
218
原创 数据结构之:堆排序(大顶堆)
堆排序最近在学数据结构,学到了树结构，然后学会了堆排序，一个学数据结构的新人，写的不好勿喷并且欢迎指正.首先说一说大顶堆和小顶堆的概念大顶堆:就是每个结点的值都大于或等于其左右孩子节点的值。注意:没有要求左右节点的值大小关系。 白话文就是 每个节点是最大的 他的孩子节点不能比他大小顶堆:就是每个节点的值都小于或等于其左右孩子节点的值。白话文就是每个节点是最小的相比于他的孩子节点。注意:arr[i] < =arr[2i+1] && arr[i] <= arr[2i+2]
2021-10-20 20:18:41
2899
原创 电商项目接入支付宝
电商项目接入支付宝最近一个礼拜做了一个电商项目，最后的时候想接入一下支付宝，所以研究了一天，将支付宝接入了电商项目所用依赖： <dependency> <groupId>com.alipay.sdk</groupId> <artifactId>alipay-sdk-java</artifactId> <version>3.1.0</version> </dependen
2020-09-12 09:08:52
704
原创 纪念我的第一个spring工厂程序
首先是依赖的问题 由于我之前对这个maven不熟悉 导致犯了很多低级错误 在此悔过。 首先先建立框架然后在main目录下新建 resources目录 存放配置文件使配置文件生效然后添加依赖：pom： <dependency> <groupId>junit</groupId> <artifactId>j...
2020-03-09 22:52:19
140
原创 Java 数组拷贝小程序
最近学习java 做了数组拷贝小程序 话不多说 源代码如下：package com.company;public class Copy { public static void main(String[] args) { int [] a = {1,2,3,4}; int [] b = {3,4,5,65,7,8}; copy...
2020-02-02 11:43:41
107
原创 关于自定义异常类和手动抛出异常
最近在学习java 然后学到自定义类和手动抛出异常自定义异常类分为两种：一种继承 Exception 编译时异常一种继承 RuntimeException 运行时异常 下面我写了一个编译时异常的类：public class Ddy extends Exception{ public Ddy(){ } public Ddy(String name){ ...
2020-01-21 11:25:44
200
原创 Mapreduce做奇偶行相加
后天比赛了 今天研究了一下mapreduce做奇偶行相加。回想自己学了一个多月的Mapreduce，也算是学有所获，希望后天的考试给自己交一份完美的答卷首先准备前置知识：RecordReader抽象类的作用是根据给定的InputSplit 创建键/值对.InputSplit是面向 字节的Split视图，而RecordReader能够解析InputSplit并使其k可以被Mapper处理。...
2019-11-07 21:20:47
218
原创 MapReduce做key降序排序
由于mapreduce能对key进行排序，所以我们想要的数据可以利用这一点进行排序。完整代码package com.招聘;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apach...
2019-11-04 20:50:58
992
原创 Mapreduce做中位数和标准差
利用Mapreduece做中位数和标准差先定义一个自定义的值类型，实现Writable接口然后去存储数据话不多说 附上代码：package com.standard1;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IO...
2019-11-01 19:13:16
1024
原创 交通运输Mapreduce
map：package com.traffic;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop....
2019-10-31 10:39:32
242
原创 交通运输mapreduce做最大值最小值。
map代码：package com.traffic;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class MyTraffic...
2019-10-29 15:25:15
200
原创 mapreduce实现二次排序
最近几天在准备mapreduce。然后试着写了一个mapreduce程序。来实现二次排序 。话不多说，我们先 自定义一个键类型。切记键类型实现WritableComparable。接口，然后重写toString,writable,readfield.先附上已经写好的代码：package com.soft;import org.apache.hadoop.examples.Secondar...
2019-10-28 21:47:06
319
原创 把jar包丢到mapreduce中出现的问题
## 问题一idea所安装的jdk版本必须和集群所安装的一样。问题二如果出现这个问题，那么可能是你jar包打错， 也可能是集群需要不加依赖的jar。建议 用一下方法打jar记得勾选这个 应该就可以运行了。下面附上我运行结果图...
2019-10-24 15:25:08
220
原创 Mapreduce实现手机流量计数
Mapreduce实现手机流量计数原始数据：1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 ty 12 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 hb 5 0 264 0 200136315799...
2019-10-18 18:14:41
297
原创 mapreduce一种方法做单词计数
这种方法是利用Java StringTokenizer方法切割package com.WorldCount;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
2019-10-18 12:05:14
155
原创 mapreduce做单词计数
首先数据格式是这样的：Hello BigDataHello HadoopHello HDFSBigDataHadoopHadoopMapReducePerfect请注意 这个文本文件中有空行 所以在分隔的时候会有空值 我们要做的是在map阶段将空值去掉，以便于更精确的输出结果。具体操作我已经在源代码里贴出。package com.WorldCount;import jav...
2019-10-18 11:23:02
210
原创 mapreduce reduce做join操作
鼓捣了两天的mapreduce join操作。觉得收获很大所以写了三篇博客。然后的话在网上找的资料都是有瑕疵的 不能运行的代码。 然后我这边 的代码都是经过测试的。不过还是要感谢 网上的大佬分享资料 。orders.txt：1001,20170710,p0001,11002,20170710,p0001,31003,20170710,p0001,31004,20170710,p0002...
2019-10-15 09:18:49
130
原创 mapreduce join操作
利用mapreduce做join操作：在mapreduce中我们经常用到两张表合成一张的情况，这样的话就要用到join。比如现在有两个表：orders.txt：1001,20170710,p0001,11002,20170710,p0001,31003,20170710,p0001,31004,20170710,p0002,1products.txt：p0001,xiaomi,0...
2019-10-15 09:06:38
153
原创 Map阶段join
这几天学习Mapreduce的时候感觉自己的java基础有点薄弱。然后的话，我希望可以通过自己的博客帮助更多跟我一样的初学者。首先如果是大表和小表相连的话，个人建议使用map端的join操作。这样可以更快速方便的解决问题。话不多说，附上代码块package com.lmz;import org.apache.commons.io.FileUtils;import org.apache.h...
2019-10-14 15:40:08
210
原创 join合并
mapredecu做文件合并这些代码想了一天也百思不得其解，希望留下来求大佬指点迷津import java.io.DataInput;import java.io.DataOutput;import java.io.File;import java.io.IOException;import org.apache.commons.io.FileUtils;import org.ap...
2019-10-12 20:13:18
154
原创 Mapreduce统计月份天气气温
话不多说 先附上 源代码：import java.io.File;import java.io.IOException;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache....
2019-10-11 18:17:44
1014
原创 Mapreduce 统计各科成绩最高分
我的真正意义上 第一个 Mapreduce程序首先，自己接触mapreduce的时间也不长。是 个真正意义上 的小白。今天通过自己钻研。终于写出了自己的第一个mapreduce程序。心里还是有点小激动的，话不多说，附上源代码package com.sxzy;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Ma...
2019-10-10 17:39:54
2595
原创 流量求和
利用Mapreduce做流量求和pom.xml:<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> ...
2019-10-10 16:01:39
159
原创 MapReduce流量排序
mapreduce流量访问排序话不多说 直接上代码块package com.sxzy;import java.io.File;import java.io.IOException;import java.util.ArrayList;import com.google.gson.internal.$Gson$Preconditions;import org.apache.commo...
2019-10-10 15:32:17
164
原创 mapreduce实现访问日期统计访问次数
话不多说下面先附上开始的pom.xml文件：org.apache.hadoophadoop-client2.7.4 <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core --> <dependency> <groupId>...
2019-10-10 10:47:02
2364
原创 mapreduce
pom.xml添加依赖：<groupId>Jsq</groupId><artifactId>jsq</artifactId><version>1.0-SNAPSHOT</version> org.apache.hadoop hadoop-client...
2019-10-08 22:03:02
118
原创 我的第一个mapreduce程序
map类：import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import...
2019-10-05 11:59:18
115
原创 java
public class FOR {public static void main(String[] args) {int i;int sum =0;for(i=2;i<=100;i++){boolean issushu = true; // 标记 然后后面使用。for(int j=2;j<i;j++){if(i%j ==0){issushu = false;...
2019-06-17 20:14:27
108
原创 java break；
public class FOR {public static void main(String[] args) {int i;int u;for1:for(i=1;i<100;i++){for2:for(u=0;u<4;u++){ System.out.println(u);//break; 中断最近的循环。 可以指定中断循环；//continue;...
2019-06-17 16:53:31
652
原创 java输出100以内素数
public class FOR {public static void main(String[] args) {int i=2;int j;int t=1;for(i=2;i<=100;i++){for(j=2;j<i;j++){if(i%j==0){t=0;break; } } if(j ==i) { ...
2019-06-17 11:50:23
3518
原创 java九九乘法表
public class FOR {public static void main(String[] args) {int i;int u;for(i=1;i<=9;i++){System.out.print(’\n’);for(u=1;u<=i;u++){System.out.print(i+""+u+"="+iu);System.out.print(" "...
2019-06-17 10:39:35
97
原创 SWITCH语句
public class SWITCH {public static void main(String[] args) {java.util.Scanner s = new java.util.Scanner(System.in);int c;System.out.print(“请输入第一个数字：”);int a = s.nextInt();System.out.print(“请输入第...
2019-06-14 10:38:24
376
原创 我的第二个java程序
public class TIANQI {public static void main(String[] args){//天气状况：1.表示下雨，0表示不下雨//性别：1表示男，0表示女。System.out.print(“请输入要输入的天气状况:”);java.util.Scanner s = new java.util.Scanner(System.in);int tianqi ...
2019-06-13 09:44:24
136
原创 我的第一个java判断程序
import java.util.Scanner;public class FI {public static void main(String[] args){System.out.print(“请输入要输入的年龄：”);java.util.Scanner s = new java.util.Scanner(System.in);//String user = s.next();//已...
2019-06-12 21:36:56
173
原创 python爬取京东手机数据
import requestsfrom bs4 import BeautifulSoup（导入库）url= ’ https://search.jd.com/Search?keyword=手机&enc=utf-8&wq=手机&pvid=52e64196617245969a2a0d3fc2110475’headers ={‘User-Agent’: ‘Mozilla/5...
2019-05-24 17:20:11
2332
原创 python爬取携程
from bs4 import BeautifulSoupimport requestsurl = “https://hotels.ctrip.com/hotel/suzhou14”headers={‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chro...
2019-05-24 16:30:12
1294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人