- 博客(71)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 使用LSTM进行多元时间序列分析-全部无代码
预测模型用于许多不同的领域和应用程序。例如，根据最近几天，几周或几年内的需求预测产品的需求。但是，在现实生活中，模型中应包括其他时变功能，例如相关产品的需求，因为它们对预测值的影响也可能随时间变化。这样的时间序列分析应用程序，包括一个以上功能的过去历史，属于多元时间序列问题和递归神经网络的一类。 （RNN）是解决多元时间序列问题的好方法。在此博客文章中，我们想展示如何通过自行车共享案例研究将**基于长期记忆（LSTM）**的RNN用于多变量时间序列预测，在该案例中，我们基于多个输入功能来预测自行车的需求
2021-03-27 11:45:48
4000
2
原创 调用百度地图接口，在地图上添加标记并点击显示具体信息
对于在想实现地图功能时，百度地图和高德地图都提供了很好的API接口，直接进入官网查找相应的开发文档即可。我这里使用的是百度地图，首先你得申请一个百度的密钥，这个很简单，网上很多教程。货不多说，下面看代码<!DOCTYPE html><html xmlns:asp=""><head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <met
2020-11-29 13:23:43
3540
2
原创 基于MNIST数据集完成MindSpore模型训练的入门
训练过程中会打印loss值，loss值会波动，但总体来说loss值会逐步减小，精度逐步提高。每个人运行的loss值有一定随机性，不一定完全相同。使用model.eval接口读入测试数据集。使用保存后的模型参数进行推理。可以在打印信息中看出模型精度数据，示例中精度数据达到95%以上，模型质量良好。随着网络迭代次数增加，模型精度会进一步提高。4、加载模型#加载已经保存的用于测试的模型加载参数到网络中。
2025-03-20 16:13:20
565
原创 Ascend基于自定义算子工程的算子开发
编译成功后，会在当前目录下创建build_out目录，并在build_out目录下生成自定义算子安装包custom_opp__.run，例如“custom_opp_ubuntu_x86_64.run”。核函数开发并验证完成后，下一步就是进行Host侧的实现，对应“AddCustom/op_host”目录下的add_custom_tiling.h文件与add_custom.cpp文件。修改“add_custom_tiling.h”文件，在此文件中增加粗体部分的代码，进行Tiling参数的定义。
2024-06-26 14:47:16
849
原创 Ascend C Add算子样例代码详解
核函数（Kernel Function）是Ascend C算子设备侧实现的入口。在核函数中，需要为在一个核上执行的代码规定要进行的数据访问和计算操作，当核函数被调用时，多个核都执行相同的核函数代码，具有相同的参数，并行执行。使用__global__函数类型限定符来标识它是一个核函数，可以被<<<…>>>调用；编程中使用到的函数可以分为三类：核函数（device侧执行）、host侧执行函数、device侧执行函数（除核函数之外的）。
2024-06-21 21:27:36
721
原创 OpenStack搭建与基本配置教程
OpenStack是一个开源的云操作系统，可以用于搭建私有云或公有云。下面是一份简单的OpenStack搭建教程，包括环境的准备、安装和配置。等待安装完成后，即可访问dashboard（默认地址为http://<IP地址>:8774/dashboard）进行管理。以上就是OpenStack的简单搭建和配置教程，可以根据实际需求进行更深入的配置和使用。二、安装OpenStack。三、配置OpenStack。
2023-09-04 14:37:32
1131
原创 服务器日志内存过大该怎么解决
由于服务器上一致跑着项目，时间久了日志会越来越大，这样很占内存，如不即使清理，有可能会把服务器的服务搞崩。有一个简单的方法，就是不用停止服务，可以对日志进行动态清楚首先查看服务器的内存情况df -Th服务器是有分区的，不同的分区有着不同的作用，上图/dev/vad1就是我们常用的磁盘分区这已经是我清理过后的，可以看到总共有20g，之前只剩几百M了，我清理了一下。查看具体文件大小找到项目运行的目录，查看其日志大小du -sh *我的日志在temp-v3.txt，这是我清理之后的，之
2022-01-27 10:36:29
2878
原创 将Apache Hudi数据写入oss对象存储
pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-aliyun</artifactId> <version>3.2.1</version></dependency><dependency> <groupId>com.aliyun.oss</group
2022-01-17 21:07:28
976
原创 使用linux命令行创建oss的bucket和上传文件
下载命令行工具ossutil网址下载linux版本的下载安装1、运行以下命令下载ossutilwget http://gosspublic.alicdn.com/ossutil/1.7.8/ossutil64 2、运行以下命令下载ossutilchmod 755 ossutil643、使用交互式配置生成配置文件。./ossutil64 config具体配置细节见上面的下载链接创建Bucket name命令格式./ossutil64 mb oss://bucket使用示
2022-01-17 17:51:27
1419
原创 连接xshell遇到的坑，超出DHCP初始ip地址
虚拟机网络配置好以后连接xshell，总是连接不上，排查错误可以ping自己，也可以ping外网，说明网络配置没问题就是连不上xshell后来才发新我的ip虽然和我主机一个网段，但是我最后一个时101，初始的Ip起始地址不包括101，所以一致无法连接，真的是费了老大劲，排查了各种错误，我把ip起始地址修改为192.168.31.3，这样就可以了最终完美解决...
2022-01-06 15:35:11
1297
原创 详细讲清楚Flink中使用EventTime+Watermark解决乱序问题
一般来说，以事件时间为时间语义，如果一个时间流不按事件时间递增的顺序到达Flink作业中，则称此流数据为乱序（out-of-order)数据流。下面给出一个乱序数据流的示意图现假设所有传感器的时间是同步的，那么传感器中监测到的事件数据，理论上的顺序为1、2、3、3、5、6、7、9.但经过网络传输后到达Flink作业时的顺序为2、3、1、7、3、5、9、6，不少事件时间次序颠倒，形成乱序。其中有两个时间戳为3的事件数据，有是不同可能Key的时间戳，也可能是传感器重发了两次3.因此，在真正的分布式环境中，要
2021-12-24 16:29:33
2311
原创 flink的checkpoint配置
Flink默认不启用Checkpoint机制。一般在生产环境下，都需要开启Checkpoint机制，此时可以通过如下方式开启，并进行相关配置：StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //每间隔2000ms进行CheckPoint env.enableCheckpointing(2000); //
2021-12-23 16:29:29
4339
原创 hudi详解并集成spark实现快照查询和增量读取数据
1.什么是Hudi？2.Hudi对HDFS可以实现哪些操作？3.Hudi与其它组件对比有哪些特点？Hudi是在HDFS的基础上，对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象，那么它到底解决了哪些问题？Hudi解决了我们那些痛点1.实时获取新增数据你是否遇到过这样的问题，使用Sqoop获取Mysql日志或则数据，然后将新增数据迁移到Hive或则HDFS。对于新增的数据，有不少公司确实是这么做的，比较高级点的，通过She.
2021-12-12 17:31:31
8724
原创 实现flink集成hudi，将数据写入到hdfs中，并解决一些问题
本机环境在集成之前首先你的服务器必须具有jdk,hadoop,scala,flink,maven环境。其中jdk1.8以上，hadoop最好用3.0以上，至于scala和flink的版本受限于hudi的版本，我这里使用的是0.9版本，对应flink-1.12.2,scala-2.11.12。首先从hudi官网下载hudi源码，上传到服务器上，进行编译mvn clean package -DskipTests注意：默认是用scala-2.11编译的如果我们用的是flink1.12.2-2.12
2021-12-09 21:16:18
2784
1
原创 leetcode第88题：合并两个有序数组
给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2，另有两个整数 m 和 n ，分别表示 nums1 和 nums2 中的元素数目。请你 合并 nums2 到 nums1 中，使合并后的数组同样按 非递减顺序 排列。注意：最终，合并后数组不应由函数返回，而是存储在数组 nums1 中。为了应对这种情况，nums1 的初始长度为 m + n，其中前 m 个元素表示应合并的元素，后 n 个元素为 0 ，应忽略。nums2 的长度为 n 。示例 1：输入：nums1 = [1,2,3,0,
2021-12-07 22:13:54
162
原创 leetcode第349题：两个数组的交集
给定两个数组，编写一个函数来计算它们的交集。示例 1：输入：nums1 = [1,2,2,1], nums2 = [2,2]输出：[2]示例 2：输入：nums1 = [4,9,5], nums2 = [9,4,9,8,4]输出：[9,4]说明：输出结果中的每个元素一定是唯一的。我们可以不考虑输出结果的顺序。利用HashSet的containss方法很快解决此问题class Solution { public int[] intersection(int[] nums1,
2021-12-06 21:31:30
160
原创 安装VMware RedHat Linux 7.4教程
1.创建新的虚拟机2.选择“自定义（高级）”3.选择“下一步”4.选择“稍后安装操作系统”5.选择操作系统的类型6.设置虚拟机名称和保存路径7.下一步8.下一步9.设置网络类型，选择“使用仅主机模式网络”10.下一步11.下一步12.下一步13.设置硬盘容量，可以适当大一些14.下一步15.点击“完成”16.加载ISO光盘，并启动虚拟机17.选择第一个选项，并回车18.选择“Continue”19.选择“设置时区”20.配置安装选项
2021-12-02 19:57:53
2137
原创 VMware如何配置网络连接xshell和xftp
启动对于VMvare的安装，可以查看我的VMware虚拟机安装教程。安装成功后，启动一个虚拟机，如图所示打开终端，通过命令获取管理员权限sudo su上图需要输入密码，密码是一开始安装虚拟机时设置的，一般为123456配置首先进入network-scripts路径下cd /etc/sysconfig/network-scripts/vim ifcfg-ens33 这里需要把IPADDR改成和下图IP地址同一个网段,下图是点击主界面的编辑->虚拟网络编辑器->更改设
2021-12-02 19:49:55
1879
原创 解决zookeeper is not a recognized option问题
安装配置我在linux服务器部署kafka时，创建一个topic总会报这个错使用命令./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic hotitems后面发现用其他的命令也是报这个错，kafka和zookeeper倒是能正常启动在往上搜说时因为kafka3.0版本，创建topic的命令无法兼容低版本，还有说是server.properties
2021-12-01 17:39:55
29061
4
转载 在 Apache Hudi 中使用正确的索引进行快速更新、删除
Apache Hudi 使用索引来定位更新/删除所属的文件组。对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基本文件需要合并的记录数量。具体来说，给定的基本文件只需要针对属于该基本文件一部分的记录的更新进行合并。相比之下，没有索引组件的设计（例如：Apache Hive ACID）可能最终不得不针对所有传入的更新/删除记录合并所有基本文件。在
2021-12-01 10:41:57
1143
原创 SourceFunction中生成TimeStamp和Watermark
SourceFunction中定义了一个void run(SourceContext ctx)方法来启动数据源，SourceContext对象中定义了数据源发送事件数据并生成TimeStamp的方法：void collectWithTimeStamp(T element,long timestamp)第一个参数element代表要发送的元素，第二个参数timestamp代表这个元素对应的时间戳。这个方法只有在设置TimeCharacteristic为EventTime时才有效。当设置为Processi
2021-11-30 11:16:12
539
翻译 分类模型的可视化评分技术
准确度统计数据（例如整体准确度）量化了机器学习模型在没有任何对照参考（例如随机猜测或现有模型）的新数据上的预期性能。这就是为什么我们还需要可视化模型评估 - 或评分 - 技术来在更广泛的背景下显示模型性能：针对不同的分类阈值，与其他模型相比，以及从资源使用的角度来看。在本文中，我们将解释如何使用 ROC 曲线、提升图和累积增益图评估分类模型。用例：流失预测模型我们将通过用于流失预测的随机森林模型（100 棵树）演示视觉模型评估技术的实用性。我们使用包含 3333 名电信客户的数据集，包括他们的合.
2021-11-29 10:27:09
1827
原创 leetcode第1480题， 一维数组的动态和
给你一个数组 nums 。数组「动态和」的计算公式为：runningSum[i] = sum(nums[0]…nums[i]) 。请返回 nums 的动态和。示例 1：输入：nums = [1,2,3,4]输出：[1,3,6,10]解释：动态和计算过程为 [1, 1+2, 1+2+3, 1+2+3+4] 。class Solution { public int[] runningSum(int[] nums) { int sum=0,k=0;//设置一个中间索引值k
2021-11-24 21:15:07
325
原创 数据可视化：了解数据的五个简单图
构建数据科学工作流时有许多不同的场景。无论数据分析多么复杂，每个数据科学家都需要处理一个重要的最后一步：将他们的发现传达给不同的利益相关者——决策者、经理或客户。这最后一步至关重要，因为如果无法理解、信任或重视调查结果，那么整个分析将被丢弃和遗忘。除了通常的软技能外，数据科学家还可以使用数据可视化在几张幻灯片中传达清晰的信息。数据可视化使用颜色、形状、位置和其他视觉通道对信息进行编码，这样人类可以比阅读一些文本或查看 Excel 电子表格更快地理解数据。您将在下面找到我个人最喜欢的五个可视化数据图表。这
2021-11-24 21:10:45
1059
原创 什么是聚类以及它是如何工作的？
什么是聚类？让我们直接进入它，看看这个散点图来解释。您可能会注意到，数据点似乎集中在不同的组中（图 1）。图 1. 示例数据的散点图为了使这一点显而易见，我们显示了相同的数据，但现在数据点是彩色的（图 2）。这些点集中在不同的组或集群中，因为它们的坐标彼此接近。在这个例子中，空间坐标表示两个数值特征，它们的空间接近度可以解释为它们在特征方面的相似程度。实际上，我们的数据集中可能有很多特征，但即使在更高维度的空间中，接近性（=相似性）的想法仍然适用。此外，在真实数据中观察集群并不罕见，代表具有相似特征
2021-11-23 20:38:51
3106
原创 KNIME服务器相关接口的实现
1.引言1.1目的本文档主要对KNIME服务器可以通过网页或knime desktop远程调用knime服务器流程接口（流程信息、加载、执行、关闭等）、节点接口（节点信息、执行等）的预研与实现。1.2概述在文档《KNIME服务预研》中，设计了服务器的架构，定义了相关数据库表。本文档是在此基础上对具体功能的实现。我们主要做了如下工作：代码远程服务器流程接口，可以远程执行；可以通过接口获取流程信息；部分节点接口的预研与实现。2 代码实现2.1相关技术后端开发我选择了当前比较流行的Spring Bo
2021-11-23 20:18:23
1658
1
原创 数据湖产品国内重点厂商介绍
亚马逊云科技（1）企业简介14年来，亚马逊云科技（Amazon Web Services）一直是世界上服务丰富、应用广泛的云服务平台。亚马逊云科技提供超过175项全功能的服务，涵盖计算、存储、数据库、联网、分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面，遍及25个地理区域的81个可用区（AZ），并已公布计划在澳大利亚、印度、印度尼西亚、以色列、西班牙、瑞士和阿拉伯联合酋长国（UAE）新增7个亚马逊云科技区域、21个可用区。全球数百万
2021-11-22 15:52:23
3802
原创 KNIME节点推荐预研与自定义实现
1.引言1.1目的本文档主要预研KNIME节点插件，MVC包装方式原理，研究在流程、节点的交互式操作事件上加入信息推荐埋点，提供节点推荐、参数推荐的规范文档。1.2概述KNIME是支持节点扩展的，并提供了相关文档。按照定义标准来实现扩展的节点的开发，并在扩展节点基础上来对节点的推荐、参数推荐进行预研。做了如下工作：实现了节点插件的信息推荐埋点；实现了节点插件的参数推荐初步预研等。1.3参考文献【1】《创建新的 KNIME 扩展：快速入门指南》2.节点插件预研2.1节点推荐预研KNIME节点
2021-11-08 20:15:47
1342
原创 最全StringUtils工具类
package org.knime.core.util.string;import java.io.UnsupportedEncodingException;import java.math.BigInteger;import java.net.URLDecoder;import java.net.URLEncoder;import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;import
2021-11-01 15:43:54
655
原创 基于OSGI开发一个简单的budnle
目的：尝试开发一个Hello World bundle ，并与KNIME的bundle实现通信，可以注册到KNIME的OSGi中。启动Eclipse，依次点 File --> New --> Project。选择Plug-in Project–>next。如图1图一输入Project Name项目名称，比如com.howard.sample.HelloWorld,Target Platform(目标平台)里的an OSGI framework，选择standard。剩下的保持默.
2021-11-01 15:26:15
300
原创 数据湖探索DLI
什么是DLI数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、
2021-10-29 09:31:21
694
原创 有没有办法以批处理模式运行 KNIME，即仅在命令行上运行而没有图形用户界面？
有一个命令行选项允许用户以批处理模式运行 KNIME。要查看可能的参数列表，请在命令提示符下执行以下行（适用于 Linux）：knime -nosplash -application org.knime.product.KNIME_BATCH_APPLICATION在 Mac 上，可执行文件不直接位于 KNIME 应用程序目录中，而是位于应用程序包的子文件夹中：knime.app/Contents/MacOS/knime -nosplash -application org.knime.produ
2021-10-27 15:10:24
633
原创 “数据湖”架构的基础话语体系
“数据湖”是一种由大数据实践驱动的技术架构，其理论体系的形成相对较晚。2016 年，“数据仓库之父”美国学者比尔·恩门（Bill Inmon）出版《数据湖架构（Data Lake Architecture）》一书，对“数据湖”相关话语体系进行了系统性梳理 [14]。现综合多个文献的内容对领域主要术语总结如下：第一，数据湖（data lake）。数据湖是一种可以接纳多种原始格式数据资源并面向用户需求提供整体性数据服务的集中式、可扩展存储基础设施。数据湖与数据仓库（data warehouse）的区别
2021-10-25 21:30:49
1538
翻译 大数据、快速数据和数据湖概念
作者：娜塔莉亚·米洛斯拉夫斯卡娅和亚历山大·托尔斯泰国立核研究大学MEPhI(莫斯科工程物理研究所)摘要今天，我们见证了大数据的另外两个概念的出现:数据湖和快速数据。它们只是旧大数据IT的新营销标签，还是真正的新标签？因此，本文的主要目标是确定这三个概念之间的关系。关键词:大数据，快速数据，数据湖1介绍在过去的几十年里，用于更好的决策和更有效的运营的企业数据正在急剧增长。几乎所有现代企业都获得了大量关于其IT基础架构(ITI)当前状态的数据。这些数据需要及时正确地处理，以识别对业务需求有用的信
2021-10-25 17:22:30
466
原创 泛型测试，通过例子简单理解java泛型
package com.atguigu.apitest.generic;import java.util.HashMap;import java.util.Map;/** * @author zhanganjie * @version 1.0 * @description: 泛型类测试 * @date 2021/10/4 15:41 */public class GenericTest1<Z> { private Z data; public Generi
2021-10-25 16:11:36
131
原创 用java代码批量创建文件
package com.atguigu.wc;import java.io.File;/** * 创建多个txt文件 */public class ListDateWriteToTxt { public static void main(String[] args) throws Exception { createFiles(324);//传入文件的数目 } public static void createFiles(int num) throws
2021-10-25 15:57:44
1206
原创 kafka常用命令
启动 Kafka后台常驻方式，带上参数 -daemon，如：/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties停止 Kafka/usr/local/kafka/bin/kafka-server-stop.shTopic创建 Topic参数 --topic 指定 Topic 名，–partitions 指定分区数，–replication-factor 指定备
2021-10-25 15:49:02
718
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人