stan1111的博客

原创 Radflow：时间序列网络的递归、聚合和可分解模型

本人依照对论文的理解对用pytorch在交通数据上复现了这篇论文，结果和论文给出的结果有一点出入，因为是个人理解所以难免有出入。如果大家发现错误请一定告知我，感谢！复现链接：https://github.com/stanli124/Radflow-Pytorch摘要我们提出了一种新的相互影响的时间序列网络模型。时间序列中的图形结构存在于不同的领域，例如受超链接影响的网络流量、受推荐影响的产品销售或受道路网络和天气影响的城市交通量。最近在图形建模和时间序列预测方面分别取得了一些进展，但目前还不存在一种用于

原创 attention is all you need

原创 cross_val_score中scoring参数

在使用交叉验证的过程中，我们需要指定评分指标用于查看模型性能的好坏。如上图所示，在交叉验证的每一次迭代过程中默认使用评估器（对应的模型）的score方法，每个评估器的score方法指定的评分标准有所不一样。比如逻辑回归模型的score方法使用的是accuracy，也就是预测值和真实值之间的正确率。如果我们想要指定其他的评分方法就要使用到cross_val_score的scoring参数,图中将clf这个评估器的评分方法换成了f1_macro方法。文档中还提到，当cv参数是整数或none时，且评估器是分.

原创 matplotlib中使用pyplot.figure创建图像和pyplot.subplot(s)创建图像

一直很疑惑使用fig = pyplot.figure创建一个画板后，接下来的代码不使用fig这个Figure对象来添加子图并绘制图。1.pyplot.figure可以在下面看到使用figure创建画板后，返回一个Figure实例。这时想使用fig创建子图就必须使用Figure对象的add_subplot()、add_axes()这两个方法添加子图2.subplot此方法会往当前的已有的Figure对象添加子图，并且返回这个子图，这里子图就是图中的axes，一个axes就是一个子图。**因为sub

原创 Python--迭代器、itertools库

可迭代对象(iterable)：可以逐次返回其成员的项的对象。所有序列类型(list、str、tuple、range)、非序列类型、已经定义了__iter__()方法或实现了__getitem__()的任意的自定义类对象。可迭代对象可用于for循环、以及需要序列的地方（zip()、map()函数等等）。迭代器(iterator)：表示一连串数据流的对象。可以使用内置函数iter()生成一个iterator对象,此函数返回的迭代器只能做一次性的遍历，也就是说把迭代器中的元素都访问一次之后，此迭代器就不包含元

原创 Spark---DataFrame学习(二)——select、selectExpr函数

select：处理列或表达式selectExor：处理字符串表达式数据集格式如下：有三个字段，目的国家、出发国家、count一.select从df中选择列的方式，1.DataFrame.select(“列名”)，参数是列名的字符串格式。想要选出多列，可以用相同方式添加更多列名小技巧：传入"*"选择所有列。2.通过函数选择列这些函数有DataFrame.col(“列名”)、col(“列名”)、column(“列名”)、expr（“列名”）；以及两种scala特有的语言支持，$“列名

原创 Spark---DataDrame学习(一)

一.结构化API–DataFrameSpark结构化API是处理各种数据类型的工具，能处理非结构化的日志文件、半结构化的csv文件、高度结构化的Parquet文件。包括以下三种核心分布式集合类型API：DatasetDataFrameSQL表和视图DataFrameDataFrame由记录(record)组成，record是Row类型。一个record由多列组成，这里可以类比python中的DataFrame。创建DataFrame1.从Dataset创建这里range函数会返回一个D

原创 python标准库高级工具--defaultdict

class collections.defaultdict([default_factory[, …]])返回一个新的类似字典的对象。 defaultdict 是内置 dict 类的子类。它重载了一个方法并添加了一个可写的实例变量。其余的功能与 dict 类相同，此处不再重复说明。第一个参数 default_factory 提供了一个初始值。它默认为 None 。所有的其他参数都等同与 dict 构建器中的参数对待，包括关键词参数。python标准文档对defaultdict的翻译很模糊，以下是实践。

原创 idea构建spark项目(Libraries在不同级别下的定义--Exception in thread “main“ java.lang.NoSuchMethodError: scala.Pr)

一、构建过程中遇到的一些问题用global libraries的scala就会出现如下错误。（我的改动是把global libraries里面的scala的sdk删除，在project setting下的libraries里面添加了spark里的jars和本机安装的2.10.7版本的Scala。这样按照下面的配置，可以成功执行spark项目）我在idea官网上面查到的信息：In IntelliJ IDEA, libraries can be defined at three levels:.

原创 在Spark命令行下添加JDBC

spark-shell --jars D:\Spark\spark\jars\mysql-connector-java-5.1.23-bin.jar --driver-class-path D:\Spark\spark\jars\mysql-connector-java-5.1.23-bin.jar将上面中的路径改为你自己的路径即可。spark-shell --help运行上述命令可以查看spark-shell后可以添加哪些option，如下图所示。...

原创 python中dataframe类型数据 使用iloc和loc选择数据的问题

这几天把学习python过程中遇到的问题记录一下1.iloc[数字,] == iloc[数字]我想使用dataframe的iloc选择数据，可是我以为能根据前面的index进行选择没想到图中所示语句指定了选择第0行的数据，逗号后面不写表示选择所有列。还有一种选择方式如下图：可以看到上述两种方式都可以选择你想要的一行时间，但是有一点要注意两种选择方式返回的类型不同。类型如下图所示2.loc[数字]这里面的数字就是前面index所表示的值，如下图所示如果用默认的选择第几行的方式就会出现错

原创 近日记录

离上次发帖已经很久了，这中间也发生了很多事情。老师布置了很多东西要学，自己进度缓慢。在校外短租暑假这段时间，搬进来蚊子特别多。家里老人身体不好，也在住院。今天实验室师兄叫我们选位置，本来都选好了，后来突然私聊我说漏算了一个人，想叫我换一下，我给拒绝了。这位师兄就在群里叫我们重新选择。差不多二十天的时间，也没有怎么好好静下心来学习。在这里写下来，提醒一下自己别想着玩了，每天作息规律一些，早饭早点吃。现在要做的事情就是学习老师说的node.js。等再熟悉一下scala，就开始学spark。希望病魔不要再折磨

原创 临近毕业的总结喝想法

这段时间总算把大头的事情弄完了，接下来就是好好学习研究生阶段的知识。等周一交完论文拍完毕业照，就有大把空闲出来的时间了，最近两天出现了一些不想学习的念头，导致我注意力不集中，效率很低。 自己好好调整吧，小玉也要二战，等暑假出去住了，定个作息表都好好学习。虽然有时候会累一点，但是也挺充实的，希望能在七月之前把Scala用的熟练点。导师也在叫我们参加一个比赛，培养我们的实践能力，但是我的水平确实还差很多，好好学习_...

原创 scala递归实现归并排序

object merge { def Merge_Sort(arr: Array[Int],l:Int,r:Int): Unit = { if (l<r){ val mid = (l+r)/2 //使用这种计算mid时，必须传mid给左边，传mid+1给右边；其它方式会有错误，比如mid-1给左边，mid给右边这种方式 Merge_Sort(arr,l,mid) Merge_Sort(arr,mid+1,r) merge(ar

原创 scala 闭包之外的自由变量存在的一些问题

##今天在看闭包的时候，书上说只要能找到名字为more的变量，f这个函数值(对象)就能正常工作。可是我在接下来的语句中定义了一个可变的more之后，f这个函数值还是只能读入之前的 val more这个自由变量。#但是这里为什么没有读到最新的more，我还没有查到这是为什么#这里我重新定义val more为2，可是执行f函数值之后，里面的more看样子还是1没有变化。。。我将more1定义为可变的之后就能正常改变more1的值，并得到想要的结果...

原创 scala 两种风格打印乘法表

感觉自己上面的实现应该是偏函数式的写法但不完全是。#row_print下面那个for循环里面写了println来隔行打印。本来我不想要花括号的，就想一句话实现。想不出在哪里加点什么才能把println这句去掉，使其变得更加精简。感觉应该是能在for的圆括号里面加点什么实现隔行打印，等我想出来再来加上...

原创 来找老师签毕业论文

十点二十多就来了，真的人给我等傻了。在办公室外面的走廊上来回走。快走完1000米了

原创 scala 用for实现过滤

import java.io.Fileobject filter { def main(args: Array[String]): Unit = { val filesHere = (new File("xxx//xxx//test")).listFiles() for ( file <- filesHere if !(file.isFile) if file.getName.endsWith(".txt") )println(fil

原创 用scala实现冒泡和选择排序

scala实现冒泡排序和选择排序class sort{ def BubbleSort(arr: Array[Int]): Unit = { for (i <- 0 until arr.length-1) //总共运行n-1趟 { for (j <- 0 until arr.length-1-i) //一趟的比较次数,每轮减少一次 { if(arr(j+1)<arr(j)) {

原创 5月31日

这几天把控制结构和scala包含的数据结构快读一遍和慢读一遍，准备把几个排序算法（快速、冒泡、选择）用scala实现一遍；熟悉一下Scala的语法，把没看懂的地方实践验证一下弄懂

原创 初级scala学习计划

原创 配置scala时遇到的问题

因为以后实验室做项目需要使用spark，所以先学习scala这门语言。在配置的时候java jdk的版本和scala的版本需要对应。这个在scala的官网上面有说明，个人建议从适配的最低版本开始尝试，我自己才开始使用的是scala-2.10.7+java1.9，因为Java是很久之前安装的就懒得去换了。我试了好几个scala的版本才运行成功。。。...

原创 研究生生活

按照放假前的打算是过完年2月初就回学校认认真真准备复试和毕设，但没想到突如其来的天灾打乱我的计划。在家的整整三个月无法沉下心学习，可能是因为家庭关系不和睦，但是我心里清楚”懒“才说主因。这段时间复试基本上没有准备，连英语自我介绍都是视频面试前两天所写，因此面试时自然没有将自我介绍完整说出。幸运的是，今年研究生扩招，而我正好排在末流的名次，在加上本校的一点点优势成功录取。所以，以此文谨记那段时间的颓废，再也不想回到那段时光。...