Verycoldddd-优快云博客

原创解决Namenode is in safe mode方法

bin/hadoop dfsadmin -safemode leave 即可离开安全模式其他参数： enter —-进入安全模式 get —-返回安全模式是否开启的信息 wait —-一直等到安全模式结束

2017-04-24 21:14:40 799

原创解决MySQL安装时出现的10061问题

1. data文件夹必须为空2. 在dos命令行中进入MySQL安装目录下的bin目录3.输入命令mysqld --initialize-insecure --user=mysql

2016-12-12 15:11:56 4432 1

转载 Spark与Pandas中DataFrame的对比

PandasSpark工作方式单机single machine tool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop，能处理大量数据

2016-12-06 19:50:51 1518

原创 Java修改Excel时间格式

原时间格式：修改后的时间格式：代码如下：package com.tyut.rcr;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.IOException;import java.i

2016-11-30 19:19:46 805

原创 Java根据某一字段合并两个 Excel文件

两个Excel表根据时间字段合并在一起：代码如下：package com.tyut.rcr;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.InputStreamReader;impo

2016-11-30 19:16:01 2348 1

原创 Spark DataFrame创建与操作

添加依赖文件到Scala Maven工程 <dependency> <groupid>com.databricks</groupid> <artifactid>spark-csv_2.10</artifactid> <version>1.3.0</version> </dependency> 从csv文件创建DataFrameimport com.dat

2016-11-25 10:32:33 2654

原创 MapReduce处理公共自行车数据

利用Hadoop平台处理公共自行车数据，数据Excel表如下： Excel表中有一列duration表示自行车使用时间，利用MapReduce统计自行车使用时间为60s,120,180s以此类推的使用量。代码如下：Map端：package com.tyut.rcr;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.i

2016-10-17 19:18:36 1291

原创 Windows下安装MySql-5.7.14

1. 解压mysql-5.7.14-winx64.zip。2. 配置环境变量MYSQL_HOME, 以及bin目录加入path。3. 新建my.ini文件配置信息如下： [client] port=3306 default-character-set=utf8 [mysqld] skip-grant-tables port=3306 ch

2016-10-15 18:36:00 590

原创 Java IO流

File→FileInputStream→InputStreamReader→BufferedReaderFile→FileReader→BufferedReader

2016-10-14 16:00:12 466

原创 JAVA调用Matlab函数

1.电脑上已经装好了Matlab以及Java运行环境（本人使用Matlab 2015a jdk为1.7.0_79） 2.Matlab源码 `function [dependency,smp_csst]=clsf_dpd_fast(path,delta) load(‘wine.mat’); data_array=standdata; %standdata 178*14; delta=0.5

2016-10-13 14:39:24 651

Cairong530的博客