- 博客(60)
- 收藏
- 关注
RSS订阅原创 Python100天学习笔记 Day06-10
Python - 100天从新手到大师项目地址：https://github.com/jackfrued/Python-100-DaysDay 06 函数和模块的使用在Python中可以使用def关键字来定义函数，函数名命名规则和变量的命名规则一致，在函数后面的圆括号中可以放置传递给函数的参数，函数体的最后通过return关键字来返回一个值。例如：构建一个阶乘函数def fa...
2019-06-25 15:29:38
794
原创 Python100天学习笔记 Day01-05
Python - 100天从新手到大师项目地址：https://github.com/jackfrued/Python-100-Days本文代码皆为自己手撸，标程请参考每一节自带的code目录Python - 100天从新手到大师Day 01 初识PythonDay 02 语言元素Day 03 分支结构Day 04 循环结构Day 05 构造程序逻辑Day ...
2019-06-11 13:45:31
1033
原创 Python学习笔记：面向对象高级编程
Python学习笔记：面向对象高级编程__slots__，@property，多重继承，定制类，枚举类，元类
2018-12-24 17:01:43
309
原创 Python学习笔记：Python函数式编程
Python学习笔记：Python函数式编程学自廖雪峰巨佬的Python3教程：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014317848428125ae6aa24068b4c50a7e71501ab275d520001.我们通过把大段代码拆成函数，通过一层一层...
2018-12-21 09:24:21
603
原创 Python学习笔记：函数
Python学习笔记：函数调用函数，定义函数，函数的不同参数（位置参数，可变参数，关键字参数），递归以及汉诺塔的递归算法分析及实现
2018-12-17 11:01:29
274
原创 Kafka学习笔记：Kafka开发环境搭建（Java）
Kafka开发环境搭建（Java）新建maven工程，然后这是用到的pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst...
2018-10-11 07:29:40
575
原创 Kafka学习笔记：Kafka命令行工具
Kafka命令行工具启动Kafkakafka-server-start.sh /opt/software/kafka_2.11-1.1.0/config/server.properties &查看所有Topic列表kafka-topics.sh --zookeeper Hadoop01:2181 --list查看指定Topic信息kafka-topics.sh --...
2018-10-09 20:54:50
1346
原创 Kafka学习笔记：Kafka环境搭建
Kafka环境搭建Kafka单机环境搭建安装必需jdk，这里使用的是jdk1.8 scala，需要独立安装scala，这里使用的是scala 2.11.8 zookeeper，Kafka会自带zk，但是最好使用独立的安装步骤1.将Kafka的tar包上传到测试环境，解压到/opt/software，配置环境变量KAFKA_HOME=/opt/software/kafka...
2018-10-05 10:41:41
635
原创 Kafka学习笔记：Kafka的Topic、Partition和Message
Kafka的Topic和PartitionTopicTopic是Kafka数据写入操作的基本单元，可以指定副本 一个Topic包含一个或多个Partition，建Topic的时候可以手动指定Partition个数，个数与服务器个数相当 每条消息属于且仅属于一个Topic Producer发布数据时，必须指定将该消息发布到哪个Topic Consumer订阅消息时，也必须指定订阅哪个...
2018-09-27 08:05:35
49877
1
原创 Spark学习笔记：DStream的transformation操作概览
DStream的transformation操作概览一.Spark Streaming开发步骤创建输入DStream，如将Flume、Kafka、HDFS和Socket等作为数据源 对输入DStream进行转换操作 对转换后的DStream进行输出操作，比如存储到DBMS中二.DStream分类Input DStream，是最原始最初的DStream，它是依据不同的数据源创建的，...
2018-09-16 22:21:46
822
原创 Spark学习笔记：基于Socket的实时计算WordCount
基于Socket的实时计算WordCountSocket简述Socket（套接字），用来描述IP地址和端口，是通信链的句柄，应用程序可以通过Socket向网络发送请求或者应答网络请求。Socket是支持TCP/IP协议的网络通信的基本操作单元，是对网络通信过程中端点的抽象表示，包含了进行网络通信所必须的五种信息：连接所使用的协议，本地主机的IP地址，本地远程的协议端口，远程主机的IP地址以...
2018-09-14 19:56:38
488
原创 Spark学习笔记：Spark Streaming工作原理
目录 Spark Streaming概述一、Apache SparkSpark CoreSpark SQLSpark Streaming二、Spark Streaming处理数据的流程1.数据源2.数据处理3.存储结果三、Spark Streaming工作原理Spark Streaming概述目前对于流式数据实时处理方案主要有两种：一条一条数...
2018-09-14 09:49:03
1188
原创 Spark学习笔记：Spark UDF/UDAF
目录 Spark UDF/UDAF1.SparkUDF2.Spark UDAF（1）求平均数Spark UDF/UDAF1.SparkUDF（1）测试数据: emp.csv文件（2）定义case class case class Emp(empno:Int,ename:String,job:String,mgr:String,hiredate:S...
2018-09-13 18:55:57
594
原创 Scala学习笔记：Scala面向对象基础
Scala面向对象基础1.面向对象的基本概念2.面向对象的特征3.如何定义一个类4.内部类5.类的构造器 6.单例对象（object）单例模式7.应用程序对象8.apply方法9.类的继承 10.抽象类11.特质（Trait）12.包的使用
2018-08-29 23:40:53
450
原创 Scala学习笔记：Scala基础
Scala基础：数据类型，变量常量，函数，条件表达式，循环，函数参数，Lazy特性，异常处理，数组，映射和元组
2018-08-28 12:02:23
8289
3
原创 Flume学习笔记：Flume自定义Agent
Flume自定义Source、Sink、Interceptor，以及美团技术团队的DualChannel实现
2018-08-26 18:37:01
2167
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人