stan1111的博客

Radflow：时间序列网络的递归、聚合和可分解模型

stan1111 — Thu, 28 Oct 2021 10:07:05 +0800

本人依照对论文的理解对用pytorch在交通数据上复现了这篇论文，结果和论文给出的结果有一点出入，因为是个人理解所以难免有出入。如果大家发现错误请一定告知我，感谢！复现链接：https://github.com/stanli124/Radflow-Pytorch 摘要我们提出了一种新的相互影响的时间序列网络模型。时间序列中的图形结构存在于不同的领域，例如受超链接影响的网络流量、受推荐影响的产品销售或受道路网络和天气影响的城市交通量。最近在图形建模和时间序列预测方面分别取得了一些进展，但目前还不存在一种用于

attention is all you need

stan1111 — Sat, 24 Jul 2021 21:32:02 +0800

cross_val_score中scoring参数

stan1111 — Wed, 02 Sep 2020 17:11:50 +0800

在使用交叉验证的过程中，我们需要指定评分指标用于查看模型性能的好坏。如上图所示，在交叉验证的每一次迭代过程中默认使用评估器（对应的模型）的score方法，每个评估器的score方法指定的评分标准有所不一样。比如逻辑回归模型的score方法使用的是accuracy，也就是预测值和真实值之间的正确率。如果我们想要指定其他的评分方法就要使用到cross_val_score的scoring参数,图中将clf这个评估器的评分方法换成了f1_macro方法。文档中还提到，当cv参数是整数或none时，且评估器是分.

matplotlib中使用pyplot.figure创建图像和pyplot.subplot(s)创建图像

stan1111 — Fri, 21 Aug 2020 11:26:42 +0800

一直很疑惑使用fig = pyplot.figure创建一个画板后，接下来的代码不使用fig这个Figure对象来添加子图并绘制图。 1.pyplot.figure 可以在下面看到使用figure创建画板后，返回一个Figure实例。这时想使用fig创建子图就必须使用Figure对象的add_subplot()、add_axes()这两个方法添加子图 2.subplot 此方法会往当前的已有的Figure对象添加子图，并且返回这个子图，这里子图就是图中的axes，一个axes就是一个子图。**因为sub

Python--迭代器、itertools库

stan1111 — Mon, 03 Aug 2020 21:12:46 +0800

可迭代对象(iterable)：可以逐次返回其成员的项的对象。所有序列类型(list、str、tuple、range)、非序列类型、已经定义了__iter__()方法或实现了__getitem__()的任意的自定义类对象。可迭代对象可用于for循环、以及需要序列的地方（zip()、map()函数等等）。迭代器(iterator)：表示一连串数据流的对象。可以使用内置函数iter()生成一个iterator对象,此函数返回的迭代器只能做一次性的遍历，也就是说把迭代器中的元素都访问一次之后，此迭代器就不包含元

Spark---DataFrame学习(二)——select、selectExpr函数

stan1111 — Sat, 01 Aug 2020 23:49:22 +0800

select：处理列或表达式 selectExor：处理字符串表达式数据集格式如下：有三个字段，目的国家、出发国家、count 一.select 从df中选择列的方式， 1.DataFrame.select(“列名”)，参数是列名的字符串格式。想要选出多列，可以用相同方式添加更多列名小技巧：传入"*"选择所有列。 2.通过函数选择列这些函数有DataFrame.col(“列名”)、col(“列名”)、column(“列名”)、expr（“列名”）；以及两种scala特有的语言支持，$“列名

Spark---DataDrame学习(一)

stan1111 — Sat, 01 Aug 2020 12:09:43 +0800

一.结构化API–DataFrame Spark结构化API是处理各种数据类型的工具，能处理非结构化的日志文件、半结构化的csv文件、高度结构化的Parquet文件。包括以下三种核心分布式集合类型API： Dataset DataFrame SQL表和视图 DataFrame DataFrame由记录(record)组成，record是Row类型。一个record由多列组成，这里可以类比python中的DataFrame。创建DataFrame 1.从Dataset创建这里range函数会返回一个D

python标准库高级工具--defaultdict

stan1111 — Tue, 28 Jul 2020 11:57:28 +0800

class collections.defaultdict([default_factory[, …]]) 返回一个新的类似字典的对象。 defaultdict 是内置 dict 类的子类。它重载了一个方法并添加了一个可写的实例变量。其余的功能与 dict 类相同，此处不再重复说明。第一个参数 default_factory 提供了一个初始值。它默认为 None 。所有的其他参数都等同与 dict 构建器中的参数对待，包括关键词参数。 python标准文档对defaultdict的翻译很模糊，以下是实践。

idea构建spark项目(Libraries在不同级别下的定义--Exception in thread “main“ java.lang.NoSuchMethodError: scala.Pr)

stan1111 — Sun, 26 Jul 2020 00:48:06 +0800

一、构建过程中遇到的一些问题用global libraries的scala就会出现如下错误。（我的改动是把global libraries里面的scala的sdk删除，在project setting下的libraries里面添加了spark里的jars和本机安装的2.10.7版本的Scala。这样按照下面的配置，可以成功执行spark项目）我在idea官网上面查到的信息：In IntelliJ IDEA, libraries can be defined at three levels:.

在Spark命令行下添加JDBC

stan1111 — Sat, 25 Jul 2020 21:13:24 +0800

spark-shell --jars D:\Spark\spark\jars\mysql-connector-java-5.1.23-bin.jar --driver-class-path D:\Spark\spark\jars\mysql-connector-java-5.1.23-bin.jar 将上面中的路径改为你自己的路径即可。 spark-shell --help 运行上述命令可以查看spark-shell后可以添加哪些option，如下图所示。 ...

python中dataframe类型数据使用iloc和loc选择数据的问题

stan1111 — Wed, 15 Jul 2020 17:57:14 +0800

这几天把学习python过程中遇到的问题记录一下 1.iloc[数字,] == iloc[数字] 我想使用dataframe的iloc选择数据，可是我以为能根据前面的index进行选择没想到图中所示语句指定了选择第0行的数据，逗号后面不写表示选择所有列。还有一种选择方式如下图：可以看到上述两种方式都可以选择你想要的一行时间，但是有一点要注意两种选择方式返回的类型不同。类型如下图所示 2.loc[数字] 这里面的数字就是前面index所表示的值，如下图所示如果用默认的选择第几行的方式就会出现错

近日记录

stan1111 — Sun, 05 Jul 2020 23:35:01 +0800

离上次发帖已经很久了，这中间也发生了很多事情。老师布置了很多东西要学，自己进度缓慢。在校外短租暑假这段时间，搬进来蚊子特别多。家里老人身体不好，也在住院。今天实验室师兄叫我们选位置，本来都选好了，后来突然私聊我说漏算了一个人，想叫我换一下，我给拒绝了。这位师兄就在群里叫我们重新选择。差不多二十天的时间，也没有怎么好好静下心来学习。在这里写下来，提醒一下自己别想着玩了，每天作息规律一些，早饭早点吃。现在要做的事情就是学习老师说的node.js。等再熟悉一下scala，就开始学spark。希望病魔不要再折磨

临近毕业的总结喝想法

stan1111 — Sun, 14 Jun 2020 10:11:02 +0800

这段时间总算把大头的事情弄完了，接下来就是好好学习研究生阶段的知识。等周一交完论文拍完毕业照，就有大把空闲出来的时间了，最近两天出现了一些不想学习的念头，导致我注意力不集中，效率很低。自己好好调整吧，小玉也要二战，等暑假出去住了，定个作息表都好好学习。虽然有时候会累一点，但是也挺充实的，希望能在七月之前把Scala用的熟练点。导师也在叫我们参加一个比赛，培养我们的实践能力，但是我的水平确实还差很多，好好学习_ ...

scala递归实现归并排序

stan1111 — Sat, 13 Jun 2020 21:51:42 +0800

object merge { def Merge_Sort(arr: Array[Int],l:Int,r:Int): Unit = { if (l

scala 闭包之外的自由变量存在的一些问题

stan1111 — Sat, 06 Jun 2020 22:09:20 +0800

##今天在看闭包的时候，书上说只要能找到名字为more的变量，f这个函数值(对象)就能正常工作。可是我在接下来的语句中定义了一个可变的more之后，f这个函数值还是只能读入之前的 val more这个自由变量。 #但是这里为什么没有读到最新的more，我还没有查到这是为什么 #这里我重新定义val more为2，可是执行f函数值之后，里面的more看样子还是1没有变化。。。我将more1定义为可变的之后就能正常改变more1的值，并得到想要的结果 ...

scala 两种风格打印乘法表

stan1111 — Fri, 05 Jun 2020 21:25:40 +0800

感觉自己上面的实现应该是偏函数式的写法但不完全是。 #row_print下面那个for循环里面写了println来隔行打印。本来我不想要花括号的，就想一句话实现。想不出在哪里加点什么才能把println这句去掉，使其变得更加精简。感觉应该是能在for的圆括号里面加点什么实现隔行打印，等我想出来再来加上 ...

来找老师签毕业论文

stan1111 — Fri, 05 Jun 2020 10:58:22 +0800

十点二十多就来了，真的人给我等傻了。在办公室外面的走廊上来回走。快走完1000米了

scala 用for实现过滤

stan1111 — Thu, 04 Jun 2020 17:14:59 +0800

import java.io.File object filter { def main(args: Array[String]): Unit = { val filesHere = (new File("xxx//xxx//test")).listFiles() for ( file <- filesHere if !(file.isFile) if file.getName.endsWith(".txt") )println(fil

用scala实现冒泡和选择排序

stan1111 — Wed, 03 Jun 2020 20:44:02 +0800

scala实现冒泡排序和选择排序 class sort{ def BubbleSort(arr: Array[Int]): Unit = { for (i <- 0 until arr.length-1) //总共运行n-1趟 { for (j <- 0 until arr.length-1-i) //一趟的比较次数,每轮减少一次 { if(arr(j+1)

5月31日

stan1111 — Sun, 31 May 2020 17:47:25 +0800

这几天把控制结构和scala包含的数据结构快读一遍和慢读一遍，准备把几个排序算法（快速、冒泡、选择）用scala实现一遍；熟悉一下Scala的语法，把没看懂的地方实践验证一下弄懂