- 博客(9)
- 收藏
- 关注
RSS订阅原创 Spark学习
RDD parallelize- 创建RDD两种方式 （一）.从内存中创建 - makeRDD #创建方法如下val listRDD: RDD[Int] = sc.makeRDD(List(1,2,3,4))#makeRDD源码def makeRDD[T: ClassTag]( seq: Seq[T...
2019-09-18 15:38:33
187
原创 win10 vmware虚拟机配置桥接网络
1、配置本地以太网共享模式 右键点击桌面右下角工具栏网络图标，进入网络和Internet设置2、进入更改适配器选项3、选择当前使用网络我这里是Realtek PCIe GbE Family Controller，右键点击当前网络进入属性-》共享-》勾选“允许其他用户通过此计算机的Internet连接来连接”-》查看vmware网络编辑器查看当前虚拟网卡名称我这里是“...
2019-08-22 10:18:05
2492
原创 Flume使用案例
最近研究flume遇到一些问题，如下逐一进行解释：使用场景如下Flume+kafka具体操作：模拟实时数据生产-脚本方式for data_line in `seq 1 1000`;do new_line=我是$data_line号,你好我是`expr $data_line + 10`的弟弟 echo $new_line echo $new_line >> /home/h...
2019-08-02 18:04:58
427
原创 HBase 协处理器加载以及卸载
disable ‘Your_tablename’alter 'mytable', METHOD => 'table_att','coprocessor' => '/usr/alex/hbaseexample-1.0-SNAPSHOT.jar|HelloWorldObserver|1001'
2019-07-22 14:37:06
1677
原创 Python GIL
最近学习Python听到GIL，所以就来说道说道，见笑见笑：GIL特点：感觉就像是一个全局的排他锁，在一个python程序中若是有多个线程-不论主线程还是多个子线程，当程序运行时，只有一个线程再跑。程序运行开始，解释器会让他们先抢锁，谁抢到了锁，谁就执行。这感觉就像是java中的synchronized似的但是本质解决的问题不一样。虽然看似我们保证了资源的不被滥用，但是这没法达成我们想要多线程进...
2019-07-19 11:50:21
122
原创 HBase学习小结
宏观架构HBase角色构成Master：负责启动的时候分配Region到具体的RegionServer，执行各种管理操作，比如Region的分割和合并。HBase中的Master的角色功能比其他类型集群弱很多（更像一个打杂的），当Master挂掉后，并不影响客户端查询数据。但是比如创建表、修改列族配置，以及更重要的splite和compact。RegionServer：Regi...
2019-07-12 17:11:28
256
原创 python学习小结
第一次写博客，见笑面向对象 属性的获取机制（向上查找机制） 当一个类被创建完成后，我们通过该类创建了某一个对象时调用属性的过程如下 在当前对象内部查找其属性 若没找到，向上到创建该对象的类中寻找属性 若在没找到则报错 AttributeError: 'XiaoTianQuan' object has no attribute 'barkz' ...
2019-07-09 10:33:34
134
原创 Python中元组应用场景
python中元组的应用场景可以接收一个函数的多个返回值，或者参数格式化字符串，本质上来说格式化后的字符串本质上就是元组保护数据安全，因为元组被创建以后不能被修改...
2019-06-26 15:29:07
796
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人