- 博客(184)
- 收藏
- 关注
RSS订阅原创 关于flink中的OutputTag报错
报错Exception in thread "main" org.apache.flink.api.common.functions.InvalidTypesException: Could not determine TypeInformation for the OutputTag type. The most common reason is forgetting to make the OutputTag an anonymous inner class. It is also not possi
2022-01-10 14:22:27
1631
原创 flink TableAPI和SQL的hello world
代码import com.zjc.bean.SensorReading;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.a
2021-12-02 22:41:29
425
原创 Flink之project
作用主要是用于获取元组中指定字段的值，注意只能用于元组，不能用在其他数据类型。代码 public static void main(String[] args) throws Exception { StreamExecutionEnvironment executionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment(); executionEnvironment.setParall
2021-11-27 20:42:01
1260
原创 flink中滚动聚合算子-max和maxBy的区别
代码public class Test2_RollingAggregation { public static void main(String[] args) throws Exception { StreamExecutionEnvironment executionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment(); executionEnvironment.setParalle
2021-11-27 16:58:06
550
原创 flink自定义数据源小小案例-Java版
案例每秒种输出10个传感器上面的温度值。代码import com.zjc4j.bean.SensorReading;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE
2021-11-27 15:32:20
1480
原创 flink-wordcount-批处理版-java版
代码import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.operators.AggregateOperator;import org.apache.flink.api.jav
2021-11-24 19:38:54
1155
原创 pytorch+numpy实现--获取每行中数据大于平均值的数据，将其提取出来转化为稀疏矩阵
代码import torchx = torch.randn(3,4)print(x)print(torch.mean(x,dim=1,keepdim=True))mz_items = x[:,] > torch.mean(x,dim=1,keepdim=True)print(mz_items)import numpy as npmz_items_np = mz_items.numpy()index = np.argwhere( mz_items_np == True )print(
2021-11-21 21:54:16
1633
原创 scipy的稠密矩阵转为pytorch的稀疏矩阵
转换方法cipy稠密矩阵转换为scipy的稀疏矩阵方法为scipy.sparse，scipy的稀疏矩阵转为稠密矩阵的方法，直接.todense()pytorch的稀疏矩阵转为稠密矩阵.to_dense()，稠密矩阵转稀疏矩阵torch.sparse.FloatTensor(i, v, coo.shape)代码 def _convert_sp_mat_to_sp_tensor(self, X): # scipy稠密矩阵转换为scipy的稀疏矩阵方法为scipy.sparse，sc
2021-11-14 21:40:01
2396
原创 pytorch+numpy实现，按行从大到小排序 ，找出值大于0.5所对应的行列值
问题pytorch+numpy实现，按行从大到小排序 ，找出值大于0.5所对应的行列值。代码import torchx = torch.randn(3,4)print(x)sorted, indices = torch.sort(x, descending=True) #按行从大到小排序 (即反序)print(sorted)print(indices)# sorted[:, sorted[:,]>0.5]mz_items = sorted[:,] > 0.5print(m
2021-11-14 19:30:09
1553
原创 Python 主对角线随机赋值，并转为稀疏矩阵存储方式存储
问题用Python将主对角线随机赋值，并转为稀疏矩阵存储方式存储。代码import numpy as np#3×3的单位矩阵a = np.eye(50 + 100)#获取主对角线元素的索引row, col = np.diag_indices_from(a)nums = np.random.randn(150)a[row,col] = numsprint(a)# a[row, col] = [3, 3, 3]diag_mat = sp.dok_matrix((50 + 100, 50
2021-11-12 21:29:59
984
原创 python ThreadPool多线程的操作案例
需求做实验的时候，为了加速处理数据的速度，采用多线程的方式来实现。实现from multiprocessing.dummy import Pool as ThreadPoolfrom collections import defaultdicturiv = defaultdict(list)def aas(): global b b =[2]def process(item): i = item[0] a = item[1] c = a + b[0]
2021-10-22 17:46:14
326
原创 Python 字典转json保存到文件中，再从json文件中读取数据，转为字典，再将带图结构的数据存入字典
需求做实验的需求，字典转json保存到文件中，再从json文件中读取数据，转为字典，再将带图结构的数据存入字典，最后按key排序输出。实现test = {}testr = {}for u in [2,4,1,0,3]: for r in range(2): testiv = {} for i,v in zip([100,101,102],[200,201,202]): testiv[i]=v testr[r]=test
2021-10-22 17:39:59
569
原创 Python 字典中随机删除数据
需求在做实验时候需要随机删除一些节点，也即需要随机删除字典中某些数据。具体实现如下。实现import randomtest = {}testr = {}for u in [2,4,1,0,3]: for r in range(2): testiv = {} for i,v in zip([100,101,102],[200,201,202]): testiv[i]=v testr[r]=testiv
2021-10-22 17:22:33
1477
原创 python multiprocessing.pool NameError: name is not defined
问题论文代码遇到类似下面的问题，经过一番努力算是解决这个问题吧。# import torch# # print(torch.__version__)# # print(torch.cuda.is_available())import multiprocessingcores = multiprocessing.cpu_count() // 2def b(xs): t = temp_num[xs[0]] * 2 return tdef a(): global temp
2021-10-12 14:03:51
2285
3
原创 阿里笔试题（小强爱数学）
题目题源代码应该是考察动态规划的，通过推导可以发现其规律，将每次求得的结果放到数组中。未优化：import java.util.Scanner;public class Main { public static void main(String[] args) { Scanner sc = new Scanner(System.in); //T表示有T组数据 int T = sc.nextInt(); for (int
2021-09-20 14:50:16
382
原创 实时统计每小时内的网站PV
代码未优化：package com.zjc.flow_analysisimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.api.scala.functio
2021-09-16 21:06:29
248
原创 每隔5秒，输出最近10分钟内访问量最多的前N个URL（考虑迟到数据，迟到数据的三重保障，重点是分析！！！）
代码package com.zjc.flow_analysisimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.api.common.state.{ListStateDescriptor, MapState, MapStateDescriptor}import org.apache.flink.api.java.tuple.Tupleimport org.apache.fl
2021-09-16 20:40:59
402
原创 每隔5分钟输出最近一小时内点击量最多的前N个商品（SQL实现版）
代码package com.zjc.flow_analysis.hotitems_analysisimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api
2021-09-15 20:45:51
579
原创 每隔5分钟输出最近一小时内点击量最多的前N个商品（Table API + SQL实现版）
代码package com.zjc.flow_analysis.hotitems_analysisimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api
2021-09-15 20:06:12
355
原创 查找数组中重复数第k多的值
题目第一行表示输入的数据，都是整数，用逗号隔开。第二行表示查找重复第k多的数。如：输入：1,3,3,7,2,3,3,2,2,82输出：2代码import java.util.*;public class Main { public static void main(String[] args) { Scanner scanner = new Scanner(System.in); String s = scanner.nextLine();
2021-09-13 17:32:25
427
原创 给一个温度表，表里有日期和温度，求出哪些天的气温较前一天是上升的
题目给一个温度表，表里有日期和温度，求出哪些天的气温较前一天是上升的。CREATE TABLE `temperature` ( `rq` DATE DEFAULT NULL, `temper` DOUBLE DEFAULT NULL) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci数据如下：实现SELECT t2.rqFROM temperature t1LEFT JOIN temperature
2021-09-09 19:51:43
207
原创 牛客SQL53，按照dept_no进行汇总（行转列）（mysql的group_concat函数 v.s. hive的concat_ws函数+collect_set函数）
题目按照dept_no进行汇总，属于同一个部门的emp_no按照逗号进行连接，结果给出dept_no以及连接出的结果employeesCREATE TABLE dept_emp (emp_no int(11) NOT NULL,dept_no char(4) NOT NULL,from_date date NOT NULL,to_date date NOT NULL,PRIMARY KEY (emp_no,dept_no));输出格式:数据drop table if exists `
2021-09-09 18:26:33
260
原创 划分字母区间
题目题源代码class Solution { public List<Integer> partitionLabels(String s) { int[] lastIndexsOfChar = new int[26]; for (int i = 0; i < s.length(); i++) { lastIndexsOfChar[s.charAt(i) - 'a'] = i;// 保存字符串中每个字符出现的最后一个位置
2021-09-06 15:08:42
100
原创 非递减数列
题目题源代码class Solution { public boolean checkPossibility(int[] nums) { int count = 0; for (int i = 1; i < nums.length && count <= 1; i++) { if (nums[i - 1] <= nums[i]) {continue;} count++;
2021-09-06 14:09:54
94
原创 判断子序列
题目题源代码class Solution { public boolean isSubsequence(String s, String t) { char[] cs = s.toCharArray(); int index = -1; for (char c : cs) { index = t.indexOf(c, index + 1); if (index == -1) {
2021-09-06 13:43:44
102
原创 种花问题（笔试ai考这种类型的题）
题目题源代码class Solution { public boolean canPlaceFlowers(int[] flowerbed, int n) { int len = flowerbed.length; int count = 0; for (int i = 0; i < len && count <= n; i++) { if (flowerbed[i] == 1) {
2021-09-06 13:29:40
134
原创 层次遍历，偶数层从右向左打印，奇数层从左向右打印。
题目层次遍历，偶数层从右向左打印，奇数层从左向右打印。代码package com.zjc.test.tree;import java.util.*;class TreeNode { int val; TreeNode left; TreeNode right; TreeNode(){} TreeNode(int val) {this.val = val;} TreeNode(int val,TreeNode left, TreeNode righ
2021-08-30 00:55:30
388
原创 java实现多个生产者和消费者（传统方式与阻塞队列方式）
传统方式import java.util.LinkedList;import java.util.Queue;import java.util.concurrent.atomic.AtomicInteger;public class ProducerAndConsumer3 { public static void main(String[] args) { Clerk3 clerk3 = new Clerk3(); for (int i = 0; i &l
2021-08-28 14:21:29
615
原创 牛客SQL42题，删除emp_no重复的记录，只保留最小的id对应的记录
题目删除emp_no重复的记录，只保留最小的id对应的记录。CREATE TABLE IF NOT EXISTS titles_test (id int(11) not null primary key,emp_no int(11) NOT NULL,title varchar(50) NOT NULL,from_date date NOT NULL,to_date date DEFAULT NULL);insert into titles_test values (‘1’, ‘10001’
2021-08-24 13:24:09
307
原创 word中的神奇的“Alt + X”
描述无意间，在word中输出出下表情和符号：于是，通过百度了解到，原来是“Alt + X”搞得鬼。神奇的“Alt + X”word中的Alt+X是用来将输入的字符或数字转成符号（个人理解）。比如：输入2611之后按Alt+X，可以打印 ，输入2612之后按Alt+X，可以打印。其实，输入汉字再按“Alt + X”也可以进行转换，不信你试试。...
2021-08-23 17:00:49
5993
1
原创 “Z”形打印二维数组
前言碎语，现在是0点37分，准确来说，昨天星期六做了3个笔试题外加1个面试，非常忙碌。非常感谢陌陌的面试官，人非常随和并且非常好，让我没有感觉到那么紧张，给您点个赞。（面试做题时总感觉自己智商下线，可能我还是菜，TAT）题目如下所示，代码实现打印出来。[[1 2 3],[4 5 6],[7 8 9]]输出： [1, 2, 4, 7, 5 ,3 ,6, 8, 9]思路我的思路是分奇偶趟打印，因为奇数趟打印规则是从斜下往斜上打印的，偶数趟打印规则是从斜上往斜下打印的。这里有两个需要注意
2021-08-22 00:40:30
402
原创 用最少数量的箭引爆气球
题目题源代码class Solution { public int findMinArrowShots(int[][] points) { if (points.length == 0 || points == null) return 0; Arrays.sort(points, new Comparator<int[]>() { @Override public int compare(int[]
2021-08-16 11:05:50
114
原创 通过删除字母匹配到字典里最长单词
题目题源代码class Solution { public String findLongestWord(String s, List<String> dictionary) { String result = ""; int l1 = 0; int l2 = 0; for (String target : dictionary) { l1 = result.length();
2021-08-15 14:40:55
77
原创 归并两个有序数组
题目题源代码class Solution { public void merge(int[] nums1, int m, int[] nums2, int n) { if (nums2 == null || nums2.length == 0) return; if (m == 0) { for (int i = 0; i < n; i++) { nums1[i] = nums2[i];
2021-08-15 14:07:13
113
原创 验证回文字符串 Ⅱ
题目题源代码class Solution { public boolean validPalindrome(String s) { for (int i = 0, j = s.length() - 1; i < j; i++, j--) { if (s.charAt(i) != s.charAt(j)) { return validNext(s, i, j - 1) || validNext(s, i + 1, j
2021-08-15 13:19:59
93
原创 反转字符串中的元音字母（双指针）
题目题源代码class Solution { private final static HashSet<Character> yy = new HashSet<>(Arrays.asList('a','e','i','o','u','A','E','I','O','U')); public String reverseVowels(String s) { int i = 0; int j = s.length()
2021-08-15 12:56:06
90
原创 两数之和 II - 输入有序数组（双指针）
题目题源代码class Solution { public int[] twoSum(int[] numbers, int target) { int i = 0; int j = numbers.length - 1; while (i < j) { int sum = numbers[i] + numbers[j]; if (target == sum) {
2021-08-15 12:28:15
90
原创 平方数之和（双指针）
题目题源代码class Solution { public boolean judgeSquareSum(int c) { if (c == 0) return true; int i = 0; int j = (int)Math.sqrt(c); while (i <= j) { int squreSum = i * i + j * j; if (c == squreSum
2021-08-15 12:26:23
133
原创 分配饼干(贪心)
题目题源代码class Solution { public int findContentChildren(int[] g, int[] s) { if (g == null || s == null) return 0; Arrays.sort(g); Arrays.sort(s); int i = 0, j = 0; while (i < g.length && j < s.len
2021-08-13 00:46:23
119
原创 不重叠的区间个数
题目题源代码1.先计算最多能组成的不重叠区间个数，然后用区间总个数减去不重叠区间的个数。2.在每次选择中，区间的结尾最为重要，选择的区间结尾越小，留给后面的区间的空间越大，那么后面能够选择的区间个数也就越大。3.按区间的结尾进行排序，每次选择结尾最小，并且和前一个区间不重叠的区间。class Solution { public int eraseOverlapIntervals(int[][] intervals) { if (intervals.length == 0
2021-08-13 00:44:14
730
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人