learningcoder-优快云博客

原创 C#调用Java代码

准备：Java环境1.8 ikvmbin-8.1.5717.0过程1. 解压ikvmbin-8.1.5717.0，并将其路径放入环境变量中ikvmbin-8.1.5717.0-其它文档类资源-优快云下载系统 > 高级系统设置 > 环境变量 > 系统变量path：添加ikvm中bin文件路径2. javac java代码路径生成对应的class字节码文件package com.jav...

2021-11-29 22:54:25 1101

转载 python解析xml的方法

转自： https://www.jb51.net/article/79494.htm https://blog.youkuaiyun.com/weixin_39274753/article/details/82221859

2020-08-19 00:05:01 192

原创 pandas 行列转换

# -*- coding:utf-8 -*-import pandas as pd# 一行转多行df = pd.DataFrame( {'Code': ['1111', '2222'], 'Color': ['a, b, c,d', 'blue, pink, yellow'], 'Size': ['1, 2, 3', '7, 6, 10']})id_df ...

2019-12-24 00:00:59 1153

原创 pandas 第三节 (merge用法)

df1df2join是按照行索引来关联操作,列名不能相同df1.join(df2) #返回df1的行数，df1和df2的所有列名值没有的话用NaNmerge是按照列索引来关联操作，和关系型数据库很相近1. df1.merge(df2,on=0) #等价于df1.0=df2.0 0 1_x 2 3 4 1_y0 18 15 19...

2019-12-22 21:13:42 886

原创 panda 第二节(常用操作)

# -*- coding:utf-8 -*-import pandas as pdimport numpy as np# DataFrame初始化 numpy.ndarraydf = pd.DataFrame(np.arange(12).reshape(3, 4), columns=["col" + str(i) for i in range(4)], index=list("ABC"...

2019-12-22 16:56:18 299

原创 pandas 第一节（初始化和切片）

# -*- coding:utf-8 -*-import pandas as pdimport string'''Series 对象是由两个数组组成，一个是索引(Index) 一个是值(values) 构造成键值对'''# Series数据初始化列表s1 = pd.Series([1, 2, 3], index=["a", "b", "c"])print(type(s1))...

2019-12-22 16:55:17 729

原创 numpy 第四课--拼接

# -*- coding:utf-8 -*-import numpy as npt1 = np.arange(6).reshape(2, 3)t2 = np.arange(10, 16).reshape(2, 3)# 竖直拼接,vertically 相当于union all# print(np.vstack((t1, t2)))# 水平拼接 horizontally# print...

2019-12-21 17:11:11 124

原创 numpy 第三课 --索引

# -*- coding:utf-8 -*-import numpy as npt1 = np.arange(24).reshape(4, 6)print(t1)print("-" * 100)# 获取二维表中记录,通用方法 [行,列]# 取一行记录print(t1[1, :]) # <class 'numpy.ndarray'># 取连续多行记录print...

2019-12-20 23:08:31 123

原创 numpy 第二课--计算

# -*- coding:utf-8 -*-import numpy as np# 和数字计算，广播计算(加，减，乘，除)t1 = np.arange(5)print(t1) # [0 1 2 3 4 ]print(t1 + 1) # [ 1 2 3 4 5]# print(t1 / 0) # [nan inf inf inf inf] nan=not a num...

2019-12-20 23:07:16 107

原创 numpy初体验

# -*- coding:utf-8 -*-import numpy as npimport random# ############数值型的数组############## 创建数组t1 = np.array([1, 2, 3])print(t1) # [1 2 3]print(type(t1)) # <class 'numpy.ndarray'>t2 =...

2019-12-19 23:23:53 1621

原创 Storm分组策略

1. allGrouping全分组,相当于广播 builder.setSpout("spout", new MySpout(), 2); builder.setBolt("bolt", new MyBolt(), 3).allGrouping("spout").setNumTasks(2);bolt的2个task,每个executor执行1个，所以共开启2个bol...

2019-09-02 00:01:04 224

原创 Storm-1.0.3完全分布式安装

jdk1.7+zookeeper集群信息 hadoop1 192.168.0.131 zk nimbus, core hadoop2 192.168.0.132 zk Supervisor hadoop3 ...

2019-09-01 19:03:45 196

原创 HBASE 1.2.7 完全分布式安装

0.前提安装jdk安装hadoop1.下载HBASE 1.2.7 http://mirror.bit.edu.cn/apache/hbase/2.解压$>tar -zxvf hbase-2.1.0-bin.tar.gz apps/创建软连接$>ln -s hbase-1.2.7 hbase3.配置环境变量$>sudo vi /etc/pro...

2018-10-19 00:07:14 495

原创 MapReduce二次排序

默认情况下，Map输出的结果会对Key进行默认的排序，但个别需求要求对Key排序的同时还需要对Value进行排序这时候就要用到二次排序了。本章以hadoop权威指南中计算每年最大气温值为例，原始数据杂乱无章2008 332008 232008 432008 242008 252008 332008 132008 222008 332008 332009 232009...

2018-09-29 00:43:55 157

原创 Hadoop数据压缩

文件压缩有两个好处1.减少存储文件的所需的磁盘空间2.加少数据在网络和磁盘上的传输在hadoop中文件压缩方式有很多种，各有千秋压缩要权衡空间和时间两个维度,虽然减少了空间，但增加了cpu的使用率gzip是个通用的压缩工具，在空间和时间性能上居中，后面有案例测试。 Codec是压缩-解压缩算法的一种实现举例测试将指定文件调用hadoop压缩方...

2018-09-21 00:16:34 695

原创 hadoop 伪分布式安装

在一台主机模拟多主机，Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。这种模式常用来开发测试Hadoop程序的执行是否正确2.1 修改配置文件core-site.xml hdfs-site.xmlmapred-site.xml yarn-site.xm...

2018-09-11 22:29:13 325

原创 Hive学习----分区操作

1.创建分区对表中的数据进行管理，并能提高查询效率，Hive的分区实际上就是表下创建子目录创建表分区通过关键字PARTITIONED BYCREATE TABLE IF NOT EXISTS tb1(id int,name string)PARTITIONED BY (year int,month int)ROW FORMAT DELIMITED FIELDS TERM...

2018-09-02 20:48:15 617

原创 Hive学习----基本操作

1. Hive入门hive中数据库和表都是目录，默认在hdfs的/user/hive/warehouse/下在元数据库mysql中2.简单操作Hive表分为两类，外部表和管理表（或叫内部表）区别：删除表结构时(drop table tableName),外部表数据保留，内部表数据也被删除因为大数据开发，数据量很大，删除数据是很危险的操作，建议一般使用外...

2018-09-02 19:30:48 219

原创 Cenos6.6中安装Hive 1.2.2和Hive 2.3.3

Hadoop版本：hadoop-2.6.4CentOS版本：CentOS release 6.6 (Final) 1.下载Hive2.3.3会额外多一点点操作先装1.2.2hive安装包下载地址：http://mirror.bit.edu.cn/apache/hive/2.解压并改名tar -zxvf apache-hive-2.3.3-bin.tar...

2018-09-01 20:42:22 784

原创 centos6.6中安装mysql 5.7.23

1.Linux版本 cat /etc/issue2.下载mysql包，本次安装的是5.7.23 https://dev.mysql.com/downloads/mysql/5.6.html#downloads 3.解压到/usr/local/目录下tar -zxvf /home/omc/mysql-5.7.23-linux-glibc2.12-x86_64.tar....

2018-09-01 17:06:21 2250

原创 Spark安装

下载的是spark-1.6.1-bin-hadoop2.61. 解压tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C apps/2. 修改配置文件增加export JAVA_HOME=/home/omc/apps/jdk1.7.0_45export SPARK_MASTER_IP=192.168.0.131export SPAR...

2018-07-23 23:26:40 731