笔记
关注
分享
扫一扫
文章平均质量分 62
dltan
百川终到海。微信：realtimedata
展开
-
常用数据分析软件清单
清单Actuate, Alpine, Alteryx, Angoss, Apache Flink, Apache Hive, Apache Mahout, Apache MXNet, Apache Pig, Apache Spark, BMDP, C, C++ or C#, Caffe, Cognos, DataRobot, Domino Data Labs, Enterprise Miner,...原创 2020-01-14 14:24:57 · 465 阅读 · 0 评论 -
学习UI设计的小技巧
本文源自原文链接：https://blog.youkuaiyun.com/Z_Silence/article/details/100701835如果说不能得罪的职业其中肯定是有UI设计师的，其中道理你懂得，UI设计在人们心中一直是一种高逼格的职业。从而致使有一个梦想就是自己也想学习UI设计，学习的途径有很多，不过最好的还是找到适合自己UI设计学习路线进行学习。这样可以起到事倍功半的效果，那么作为一个新手应该...转载 2020-01-10 10:59:42 · 373 阅读 · 0 评论 -
何为程序？何为代码？何为命令？何为脚本？
程序为了使计算机程序得以运行，计算机需要加载代码，同时也要加载数据。从计算机的底层来说，这是由高级语言（例如Java，C/C++，C#等）代码转译成机器语言而被CPU所理解，进行加载。代码代码就是程序员用开发工具所支持的语言写出来的源文件，是一组由字符、符号或信号码元以离散形式表示信息的明确的规则体系。代码设计的原则包括唯一确定性、标准化和通用性、可扩充性与稳定性、便于识别与记忆、力求短小...原创 2019-12-23 22:44:43 · 3313 阅读 · 0 评论 -
Python的kemans聚类和数据标准化
python的输出对象到excel文件中，对数据进行标准化，进行kemans聚类。原创 2019-12-11 16:51:18 · 2956 阅读 · 1 评论 -
R语言自主数据挖掘平台
R语言可视化平台多个数据集，同一个代码实现可视化挖掘？R语言有强大的可视化功能，不在进行过多阐述，明确告诉大家是可以解决这个问题的。步骤如下：一、.数据读取1.读取和导入常用方法你第一步要解决的问题是将数据导进去对吧？先不提及需要搭建的平台，首要任务是得解决读取数据的功能吧！R语言中还有一些其他较为普遍的数据集读入方法，比如程序代码包，R文件，工作空间等。如下读取 **install...原创 2018-10-19 18:28:48 · 774 阅读 · 0 评论 -
linux命令--find的用法
查找方式有很多种，比如按文件类型（-type），文件名（-name），文件属主（-user），文件所属组）（-group），文件权限（-perm），文件长度（-size），文件修改时间（-mtime）等查找。在path路径下查找文件名称为namefile的文件find path -name namefile查找/路径下，创建文件时间小于n天或者创建时间大于n天的 find...原创 2019-01-23 19:10:56 · 451 阅读 · 0 评论 -
linux下安装R语言报错问题解决
安装依赖环境yum install gcc-gfortranyum -y install gcc gcc-c++ yum -y install readline-devel yum -y install libXt-devel将文件放到路径中进行解压 tar zxvf R-3.5.1.tar.gz ls cd R-3.5.1 ./configure此时配置中选项出现no,继...原创 2019-01-24 18:54:33 · 1988 阅读 · 0 评论 -
python小基础常识
python语言是一种被广泛使用的高级通用脚本编程语言，具有通用性，可以用于几乎任何与程序设计相关应用的开发，不仅适合训练编程思维，更适合数据分析，机器学习，人工智能，web开发等技术领域。1.python语言中，不能作变量名的字符有：（1）变量名可以字母或下划线开头，但不能以数字开头。3p可以_fg不可以（2）变量名不能包含空格，但可使用下划线来分隔其中的单词。（3）Python关键...原创 2019-01-24 18:55:23 · 2908 阅读 · 0 评论 -
linux的yum使用
安装R语言软件： yum -y install R对当前系统的软件进行更新： yum update列出全部可更新的软件：yum check-update更新指定软件：yum update “软件名称”删除指定软件：yum -y remove “软件名称”显示可更新的软件：yum list显示系统中可更新的rpm包：yum list updates列出已经安装的所有的rp...原创 2019-01-24 19:20:33 · 617 阅读 · 0 评论 -
Linux下安装应用启动失败处理（一）
应用启动之前，检查环境变量是否进行加载，加载好环境变量，进行服务启动[jhadmin@tandelin unischeduler]$ . conf/profile.unischeduler [jhadmin@tandelin unischeduler]$ jjobs得到服务启动失败：Failed to connect to sched检查报错日志[jhadmin@tandelin...原创 2019-01-25 19:20:27 · 1303 阅读 · 0 评论 -
Linux的ps进程
输入：ps axo，查看ps命令如下********* simple selection ********* ********* selection by list *********-A all processes -C by command name-N negate selection -G by real...翻译 2019-01-26 20:56:02 · 507 阅读 · 0 评论 -
Linux的ps和kill进程
ps是显示瞬间进程的状态，并不动态连续；如果想对进程进行实时监控应该用top命令。[root@tandelin ~]# ps -lF S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD4 S 0 20724 20721 0 80 0 - 27088 wait pts/4 00:00:...翻译 2019-01-26 21:05:16 · 589 阅读 · 0 评论 -
Linux下的文件操作（一）
0.文件基础文件路径切换：cd加路径，ls 查看当前所有文件，ll显示所有文件，vi查看并修改文件，vim编辑文件,tail显示文件1.touch创建文件,vi写入文件，cat查看文件[root@tandelin data]# touch test.txt[root@tandelin data]# vi test.txt [root@tandelin data]# cat test.tx...原创 2019-01-31 18:20:24 · 328 阅读 · 0 评论 -
Linux目录整理
/bin：bin是Binary的缩写, 这个目录存放着最经常使用的命令。即系统中常使用的基本命令或者是加载软件时新加入的命令。/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。如配置文件。/dev ：dev是Device(设备)的缩写, 该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的。/etc：这个目...转载 2019-01-27 21:07:56 · 243 阅读 · 0 评论 -
Linux的文件操作（二）
1.查看文件类型 [jhadmin@tandelin data]$ file index.html index.html: HTML document text2.压缩文件zip [option] filename3.统计文件的字数wc[jhadmin@tandelin data]$ wc a.txt 3 3 34 a.txt4.显示有谁登陆在机器上 [jha...原创 2019-02-01 17:25:43 · 273 阅读 · 0 评论 -
linux命令--用户的处理
Linux命令—增加用户添加用户# useradd test 给新增用户的密码为test# passwd test 给用户的权限为最高权限root# usermod -g root test执行su test切换到用户为test ，以$开头是普通用户,#开头是管理员root账户 # su test查看管理员组 # vi /etc/passwd删除...原创 2019-01-22 19:33:48 · 299 阅读 · 0 评论 -
Linux下的ps命令使用
Linux下的ps命令即为查看当前进程的命令工具经常用该命令查找系统中应用程序的进程状况：例如，需要查看 superset的启动情况，输入如下：ps -ef|grep superset [jhadmin@tandelin unischeduler]$ ps -ef|grep supersetjhadmin 25275 1 0 19:04 pts/2 00:00:01 /...原创 2019-01-28 17:25:41 · 598 阅读 · 0 评论 -
linux系统调用
linux通过系统接口，通过操作系统核心进行调用，基本是内核进行提供。系统调用：底层系统和程序之间。计算机硬件辅助系统调用/命令/图标/窗口/操作系统等进行完成程序运行。用户空间：应用程序和用户。用户程序不能访问系统内核，也无法使用系统内核函数。内核空间：系统调用/命令/图标/窗口和操作系统及计算机硬件。程序调用通常是通过用户编程接口进行实现。linux的系统调用包含在libc库中，即...原创 2019-01-28 19:09:12 · 260 阅读 · 0 评论 -
linux的日志常用基本整理
查看操作日志[root@tandelin logs]# cat /var/log/messagesJan 27 08:09:25 tandelin dhclient[2460]: DHCPREQUEST on eth0 to 192.168.0.1 port 67 (xid=0x3f1af445)Jan 27 08:09:25 tandelin dhclient[2460]: DHCPACK...原创 2019-01-28 19:17:06 · 604 阅读 · 0 评论 -
Python基础小常识（二）
1. wxPython是Python语言的一套优秀的GUI图形库。2. PyQt是Python语言的GUI编程解决方案之一。可以用来代替Python内置的Tkinter。其它替代者还有PyGTK、wxPython等。与Qt一样，PyQt是一个自由软件。PyQt是PyKDE的基础。3.wordcloud一款非常好的词云包https://blog.youkuaiyun.com/cy776719526/arti...原创 2019-02-14 18:33:15 · 407 阅读 · 0 评论 -
Linux下R语言参数传递
Linux下构建R语言统计模型，前端输入参数，后端获取接受参数，运行程序脚本得到分析结果。都离不开参数的传递。参数传递分为形参和是实参。形参：指出现在Sub 和Function过程形参表中的变量名、数组名，该过程在被调用前，没有为它们分配内存，其作用是说明自变量的类型和形态以及在过程中的作用。形参可以是除定长字符串变量之外的合法变量名，也可以带括号的数组名。实参：实参就是在调用Sub 和Fun...原创 2019-01-29 11:47:14 · 4288 阅读 · 0 评论 -
R语言代码规范书写
1.对象命名赋予意义使用空行来分割逻辑使用注释和花括号不用的代码和引用删除不要用中文拼音做变量名可用，清晰优雅，高效多写代码，多思考...原创 2019-01-29 19:44:20 · 12826 阅读 · 1 评论 -
Linux下安装R语言及Rstudio的web版本
1.安装EPELEPEL (Extra Packages for Enterprise Linux)是基于Fedora的一个项目，为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux.安装一个叫”epel-release”的软件包，这个软件包会自动配置yum的软件仓库。[root@localhost jhbigdata]# yum -y ins...原创 2019-02-15 18:16:51 · 1780 阅读 · 1 评论 -
python和R一键运行脚本
互换R和python环境首先环境安装annconda，其次R和python安装上[hdfs@hadoop1 /]$ conda install rpy2互相切换可以使用函数命令R脚本一键运行source(test.R)python脚本一键运行exec(open(‘hdfs_python.py’).read())...原创 2019-02-21 18:24:42 · 977 阅读 · 0 评论 -
优快云-markdown编辑器模板
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...转载 2019-02-16 13:09:02 · 232 阅读 · 0 评论 -
Linux的文件下载到本地与本地文件传输
以centos6.8为例。linux当前目录下的文件，下载到本地：首先，服务器要安装了rz，szyum install lrzsz将windows的文件传到linux服务器，直接进行选择[root@tandelin data]# rz将文件下载到windows本地[root@tandelin data]# sz filenamewget [参数列表] [目标软件、网页的网址]...原创 2019-01-30 18:03:01 · 18694 阅读 · 1 评论 -
基于ARIMA模型的空气质量AQI时间序列分析
（程序代码见后）背景：随着全球气候的变暖，空气质量每天发生变化，而人们的生活质量和空气质量息息相关。如下表1所示，空气质量和空气的成分有很大的关系，为此文中选择某城市一年内的空气指数数据进行分析。注：数据源自中国气象网数据基本描述对数据进行基本统计，得到时序数值共365个，AQI的基本数值情况如下表1所示，通过查询空气质量指数得到AQI空气质量指数取值范围及其相应内别，如下表2...原创 2019-02-17 13:22:35 · 17726 阅读 · 3 评论 -
R语言系统内部文件读取
产生一个文件生成到系统的指定路径中，如何获取系统中指定的文件数据呢？采用configr包即可实现library(configr)config.ini <- system.file('extdata', 'data.ini', package='configr')is.ini <- is.ini.file(file =config.ini)ini <- get.config...原创 2019-02-17 23:15:32 · 3525 阅读 · 0 评论 -
R语言饼图占比分析
饼图饼图是一种应用非常广泛的统计图形，是针对离散型变量的统计图，饼图多用于展示频率、占比等数值。1 饼图绘制library(readxl)data=read_excel("D:/TASK/净水器建模（1月19日）副本1.xlsx")freq = table(data$保修期) #查看保修期的频数freq通过数据结构显示得知：最高频数1年保修期的净水器为592个样本量，最低频数的保...原创 2019-02-22 23:56:26 · 21526 阅读 · 0 评论 -
R语言如何单独保存输出图片文件
前言：记得设置图片的保存工作路径，即数据文件路径：setwd(“C:\Users\TDL\Desktop\test.picture”)1.图片文件保存输出jpeg(file = "style.jpg")plot(iris[,1],col="red") ## 画图程序dev.off();2.图片尺寸调整输出p.picture=paste(a,"test.jpg")jpeg(p.pi...原创 2019-02-23 11:38:39 · 70039 阅读 · 2 评论 -
linux下进程的理解
1.关于进程的理解进程即运行的所有程序和打开的服务，关掉其进程和服务将有利于释放内存，减轻电脑空间压力。（1）windows的进程如下（2）linux中的进程如下查看所有进程 ，ps命令可以列出系统中当前运行的进程，所列出的进程是在执行ps命令这个时刻正在运行的进程。此外也可以用：[root@tandelin ~]# ls /proc/2.查看指定进程（例如要查看PID为2的进程...原创 2019-02-23 14:05:13 · 583 阅读 · 0 评论 -
Linux下虚拟机的IP修改与固定
在局域网下，虚拟机的ip不进行静态设定一般会发生变化，当然不断网断电，该IP也会一直属于你。linux中配置文件，常伴随ip的限制，对IP进行修改也可以免掉部分不必要文件进行重新配置：（1）查看ip[root@tandelin appform]# ifconfigeth0 Link encap:Ethernet HWaddr 08:00:27:B4:2B:4B ...原创 2019-02-12 18:56:05 · 7209 阅读 · 1 评论 -
Python的环境变量设置、虚拟环境、包加载
包的调用（1）将模块中所有的数据赋值给模块名，调用时需要模块名.方法名import 模块名 ===》 （2）将该方法单独放到当前文件运行一遍，调用时只需要方法名（）即可运行from 模块名 import 方法名 ==》导入一个包 就是执行包下的__init__.py文件。导入系统环境设置包import sys,os获取当前文件的全名os.path.abspath(__fil...原创 2019-02-27 22:58:33 · 3263 阅读 · 0 评论 -
Linux下文件的挂载
文件挂载：简单讲可理解为想将本机服务端的文件目录/var/test共享给其他电脑进行使用，在此过程操作中，需要注意ip和挂载的对象。方法一：安装mount.nfs进行挂载（B）（1）下载安装mount.nfs[root@tandelin /]# yum install mount.nfs（2）确定挂载路径，可默认，也可创建文件（B）（3）进行挂载：从A挂载到B，ip是A的，B是被挂的。...转载 2019-02-12 22:12:58 · 1577 阅读 · 1 评论 -
R语言与Python交互使用reticulate包的交互使用
前言reticulate包能绑定到不同版本的Python，包括虚拟环境和Conda环境。应用1.source_python()获取任何Python脚本2.python和R互相获取对象，可以通过reticulate导出py对象，并在R中进行调用；Python代码还可以使用r对象访问R会话中的对象。3.使用python版本library(reticulate)use_python("/u...原创 2019-02-27 23:19:59 · 1968 阅读 · 0 评论 -
主机无法连接，ping不通
安装软件包时，无法获得主机连接。 [root@tandelin ~]# yum packages Warning: failed to download mirrors file (cannot open URL 'https://cran.r-project.org/CRAN_mirrors.csv'); using local file '/usr/share/doc/R-3.5....原创 2019-02-18 18:08:18 · 2147 阅读 · 0 评论 -
从Github上获取R包/安装
注：install.packages()函数可以安装发布在CRAN上的R包，R包由不同的人所创建开发，依托devtools包使得开发R包的渠道增加。要想找到其它开源者的包，就需要通过devtools包。1.通过Github仓库名和包名加载不是所有的R包都提交上传到CRAN，如Github，需要通过一定的渠道进行安装install.packages(&quot;devtools&quot;)library(de...原创 2019-02-18 18:09:08 · 41009 阅读 · 2 评论 -
R语言变量降维分析
变量降维: （Variable dimension reduction） 涉及因子分析/主成分分析等，通过使用这个工具，可以将多个变量减少，用新的核心变量进行替代，并将新变量用线性关系表示。从而减少变量字段过多造成的数据分析复杂度。将20个变量用6个变量进行替换，该6个变量及就成为新的变量。# Retain numeric digitscovariances<-newdatacovar...原创 2019-02-13 09:21:25 · 3343 阅读 · 0 评论 -
R语言与Hadoop和Hbase的联合使用
HBase和rhbase的安装与使用，分为3个章节。环境准备及HBase安装rhbase安装rhbase程序用例每一章节，都会分为”文字说明部分”和”代码部分”，保持文字说明与代码的连贯性。注：Hadoop环境及RHadoop的环境，请查看同系列前二篇文章，此文将不再介绍。环境准备及HBase安装文字说明部分：首先环境准备，这里我选择了Linux Ubuntu操作系统12.0...转载 2019-02-13 11:26:56 · 1041 阅读 · 0 评论 -
Linux下R语言和HBase连接（一）
R语言和HBase连接，通过查找资料得到信息是要启动HBase的Thrift Server，另外安装R的机器需要安装thrift-0.8.0.tar和rhbase_1.2.1.tar将两个软件放到R的路径后解压并编译后，就安装成功了（make编译的时间长，需要等待。第一次发现编译时间长以为宕机了，第二次下载了thrift-0.8.0.tar发现并不是），但是启动HBase时，遇到了新的问题。如下...原创 2019-02-13 15:32:18 · 568 阅读 · 0 评论