- 博客(27)
- 收藏
- 关注
RSS订阅原创 为什么对数组使用小括号来访问数组中的元素？
在Scala中一切都是对象，数组也是对象。 （）运算符会调用t实例中的apply方法。 使用 （）来进行赋值时，会调用实例t的update方法。package hgsoho.comclass TT { private val x : Int = 1 def apply(m:Int) : Int = { println("call apply...")...
2018-07-13 16:36:07
1362
原创 【sqoop】sqoop1使用metastore保存job
将job信息保存起来，让多个client之间共享job数据。两台虚拟机分配情况 node3作为存储数据的结点。node1作为client使用。配置 # node3# $SQOOP_HOME/conf/sqoop-site.xml<property> <name>sqoop.metastore.server.location&l...
2018-06-01 17:32:28
2089
原创 【sqoop】sqoop1和sqoop2环境安装
sqoop2 版本：sqoop-1.99.6 安装目录：/usr/local/sqoop 参考博文 https://blog.youkuaiyun.com/zhexcel/article/details/52192770 https://blog.youkuaiyun.com/gamer_gyt/article/details/55225700安装步骤解压软件包...
2018-06-01 17:29:13
617
原创 hadoop streaming map端join
测试数据 # lixiang_list.txt(小表，可以在map端加载到内存中) #立项ID 立项名称 1800 心愿券测试003 1801 fw心愿单 1802 wtest心愿券0524 1803 HW心愿单01 1804 心愿券测试006 1805 心愿券测试007 1806 心愿券测试008 # ...
2018-05-29 17:32:17
600
原创 mapreduce 常用的map/reduce的key分隔符,自定义partition设置，
-D stream.map.output.field.separator ：设置map输出中key和value的分隔符 -D stream.num.map.output.key.fields ： 设置map程序分隔符的位置，该位置之前的部分作为key，之后的部分作为value -D map.output.key.field.separator : 设置map输出中key内部的分割符——备注...
2018-05-25 14:39:03
2447
原创 hadoop streaming reduce端join的python两种实现方式
实现student和course数据表的join操作,以学生编号（sno）为连接字段测试数据student.txt文件#以一个空格分隔#学生编号 姓名#sno sname01 lily02 tom03 jack04 rosecourse.txt文件#以一个空格分隔#学生编号 课程名 课程成绩#sno cname ...
2018-05-25 14:33:34
1288
原创 hadoop streaming自定义partitioner方式
测试数据1,2,1,1,11,2,2,1,11,3,1,1,11,3,2,1,11,3,3,1,11,2,3,1,11,3,1,1,11,3,2,1,11,3,3,1,1目的 在map中数据以‘,’分隔，分隔后的前两列作为key，相同的key会被分到同一个reduce中。配置参数说明map.output.key.field.separator： map中ke...
2018-05-25 14:30:00
1589
原创 HDFS namenode HA(QJM方式)环境搭建实践
虚拟机环境#hosts192.168.75.20 node1 192.168.75.21 node2192.168.75.10 node3192.168.75.22 node4192.168.75.23 node5#进程说明NameNode 名称结点DataNode 数据结点Journal...
2018-05-25 14:26:40
606
原创 HDFS笔记
block(数据块) 建立在磁盘之上，数据块的大小是磁盘块的整数倍，HDFS中的文件被划分为多个分块(chunk),一个小于一个块大小的文件不会占用整个块的空间。 1.x的HDFS块大小默认为64MB，2.x的HDFS块大小默认为128MB。查看HDFS中文件的块信息hadoop fsck / -files -blocks使用数据块概念的优点 一个文件可以分成多...
2018-05-25 14:18:29
195
原创 Django多数据库使用
可能使用的场景 一个应用使用一个数据库，数据库主从结构.配置多个数据库 在项目的settings.py中配置DATABASES项，Django 要求default 数据库必须定义，但是如果不会用到，其参数字典可以保留为空。若要这样做，你必须为你的所有的应用的模型建立DATABASE_ROUTERS（如果不使用default配置数据库连接信息的话，必须制定DATABASE_ROU
2018-01-09 16:38:07
479
原创 字符串模板(Python)
使用%的方式格式化字符串时，如果采用dict进行格式化时,需要指定类型符号(例如：%(name)s ),并且这种形式容易忘记。采用字符串模板的方式会很好的规避这种情况。 字符串模板使用的是string模块下的Template类，在使用的时候先使用字符串创建一个对象，字符串中使用${变量名}的方式作为占位符。然后调用Template实例对象的substitute或者safe_substitu
2017-12-14 18:15:21
2564
原创 ==,is,isinstance的区别（Python）
== 比较的是两个对象的值is 比较的是两个对象是否是同对象isinstance 判断一个对象的类型是否在元组中的对象中。 如果使用== 对两个对象进行比较的话，即使是同一个对象，也会把对象的值再进行一次比较（此步骤对于同一个对象来说是多余的）,使用is比较两对象的话，只需要判断两个对象是否为同一个即可，当判断一个对象的类型时，使用is的效果会比 ==更好一些。示例：a = 1b = 1
2017-12-14 11:25:27
1194
原创 模拟可变分区存储管理的内存分配（C）
要求：系统根据申请者的要求，按照一定的分配策略分析内存空间的使用情况，找出能满足请求的空闲区，分给申请者；当程序执行完毕或主动归还内存资源时，系统要收回它所占用的内存空间或它归还的部分内存空间，主存分配算法使用最坏适应分配算法。程序运行时根据文件内容初始化空闲区表，文件内容为每行两项：起始地址 长度 中间以逗号隔开，文件内容如下：10,313,417,230,8
2017-03-03 14:00:46
13642
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人