- 博客(71)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 史上最全大数据学习资料
史上最全大数据学习资料阿甘阿甘琐记昨天本教程包含视频和书籍两部分，视频主要是各大培训机构的教学视频，书籍主要是题主自己收集的。关注微信公众号”阿甘琐记“，后台回复”大数据“，即可免费领取。下面有公众号二维码。视频教程：一：xx课堂大数据教学视频这是一个比较完整的教学视频，从基础知识到项目实战，一应俱全，真正的从入门到精通。具体包含的内容如下图所示：主要有Java、Ha...
2020-10-24 14:10:02
3057
1
原创 推荐一份完整的大数据教学视频
最近又收集了一份关于大数据的完整的视频教程，感兴趣的的小伙伴可以看一下，教程非常全面。下面一起来看一下，关于获取方式在文末。首先来看一下完整的课程目录，可以看出教程很详细，从java基础到项目实战，可以说是包含了从事大数据行业所需的所有技能，如果你想转行大数据行业，这一份课程基本足够了。这份课程即适合入门和又适合提高，因为里面的项目实战视频可以帮助大家提高。一份完整的...
2019-04-29 14:25:19
2642
3
原创 推荐一份完整的python教学视频
关注微信公众号”阿甘琐记“，后台回复”python“，即可免费领取全部教程。下面有公众号二维码。 前一段时间在学习python，所以专门找了这方面的课程，现在来分享一下。这一套教学视频非常完整，从入门到进阶。视频共包含就各部分，分别是python基础、python核心编程、数据结构预算法、数据库、前端、django、爬虫、tornado、shell和自动化运维。 第一部...
2019-02-24 16:33:48
23037
19
原创 正则表达式学习笔记
一、匹配规则1、“.”匹配任意一个字符，三个”.”匹配任意三个字符。2、“*”匹配前一个字符出现0次或者无限多次。3、“+”匹配前一个字符出现一次或者多次。4、“？”匹配前一个字符出现一次或者0次。5、[] 匹配方括号内的任意一个字符,[0-9]表示匹配0-9的任意一个字符，[a-z]表示匹配任意一个a-z的字符。6、{m}匹配前一个字符出现m此。7、{m,n}匹配前...
2019-06-17 15:23:52
296
原创 python包有哪些镜像安装源
清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pypi.hustunique.com/山东理工大学：http://pypi.sdutlin...
2019-06-17 15:20:09
4922
原创 优达前端课程免费分享
零基础掌握前端开发的基本技能 前端设计，可以将无数富有创意的想法和设计化为现实。优达学城和硅谷前端技术明星一起，手把手教你从零开始写代码。你将通过充满活力的硅谷课程内容、优质实战项目和专业代码审阅，快速掌握前端设计的基础知识和简单应用，为成为一名前端开发者打下基础。你将学到什么零基础掌握网站开发的必备技能你将学习Web...
2019-06-08 09:06:34
632
原创 机器学习入门30天实战-唐宇迪
课程介绍：系列课程包含Python机器学习库，机器学习经典算法原理推导，基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导，以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理，案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作！具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战，信用卡欺诈...
2019-04-25 14:00:41
1204
原创 python爬虫视频教程
因此，今天给大家精心准备了一份python的爬虫视频教程，文末有免费获取方式。第一章是python爬虫简介，带大家了解什么是爬虫。第二章是网络请求，讲的非常细，包括urlopen函数的原理和用法，以及request使用代理，cookie模拟登陆，还实战项目。第三章是数据解析和数据的可视化。第四章如何把爬来的数据存储起来。...
2019-04-12 21:44:11
2599
6
原创 python量化交易视频教程
量化交易是指以先进的数学模型替代人为的主观判断，利用计算机技术从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略，极大地减少了投资者情绪波动的影响，避免在市场极度狂热或悲观的情况下作出非理性的投资决策。简单来说，量化分析就是数据分析的一种。如今，在数据分析领域python可以说是最热的工具，python的优势，一是容易...
2019-04-12 16:16:00
8720
2
原创 优达数据分析课程免费分享
关注微信公众号”阿甘琐记“，后台回复”优达数据分析“，即可免费领取优达数据分析学习课程。下面有公众号二维码。优达深度学习之数据分析课程，官网报名价格6899，现在免费分享，关注微信公众号”阿甘琐记“，后台回复”优达数据分析“，即可免费领取优达深度学习课程。课程目录如下：关注微信公众号”阿甘琐记“，后台回复”优达数据分析“，即可免费领取优达数据分析学习课程。...
2019-04-07 14:46:35
2613
1
原创 优达深度学习教程免费分享
关注微信公众号”阿甘琐记“，后台回复”优达深度学习“，即可免费领取优达深度学习课程。下面有公众号二维码。优达深度学习之计算机视觉课程，官网报名价格6899，现在免费分享，关注微信公众号”阿甘琐记“，后台回复”优达深度学习“，即可免费领取优达深度学习课程。课程目录如下：关注微信公众号”阿甘琐记“，后台回复”优达深度学习“，即可免费领取优达深度学习课程。...
2019-04-07 14:32:51
444
原创 推荐一份完整的MySQL教学视频
自己花钱买的课程，看了一下感觉还不错，在这里给大家分享一下。获取方式在文末。课程总览：第一部分：第二部分：第三部分：关注公众号“阿甘琐记”，后台回复mysql，免费获取。...
2019-04-05 17:07:41
6798
2
原创 一份包罗万象的的IT书籍
以下截图只是部分书籍： 这是题主多年来辛苦收集的成果，几乎包括了所有的IT教程。关注公众号“阿甘琐记”，回复“IT书单”，即可免费获取。...
2019-04-05 16:47:36
225
原创 推荐一份机器学习项目实战课程
总共六个机器学习的项目实战视频，内容非常精彩,文末有获取方式。课程总览：全部课程：好了，现在来说大家最关注的，也就是获取方式。关注微信公众号”阿甘琐记“，后台回复”机器学习实战视频“，即可免费领取课程。另外，公众号里还有大量的其他资源，欢迎订阅哦！！！...
2019-04-05 16:27:30
1150
1
原创 推荐一份完整的机器学习课程
课程总览：python部分算法部分：深度学习部分：数据挖掘部分：kaggle实战部分：关注公众号“阿甘琐记”，后台回复“机器学习课程”，即可免费获取。...
2019-04-05 16:19:16
749
原创 互联网运营教程
前几天准备建一个自己的公众号所以收集了一下关于互联网运营方面的教程，在这个跟大家分享一下，有感兴趣的小伙伴可以一起学习一下。文末有获取方式。这是一个总的课程架构： 第一部分主讲营销思维： 第二部分如何做到年薪25万： 第三部分讲一些实际操作的案例： ...
2019-04-02 10:49:08
469
原创 高效玩电脑的软件
关注微信公众号”阿甘琐记“，后台回复”小工具“，即可免费领取所有安装包。下面有公众号二维码。1、剪切板增强工具-ditto有的时候需要复制粘贴多条内容，尤其是在写总结或者写报告的时候，这样你需要不停的来回切换两个文档，甚至是都个文档。有了ditto这款神器，你就可以复制复制复制，粘贴粘贴粘贴，看下图。你需要做的只是设置一个激活快捷键，一同ctrl+c之后，激活ditto，鼠标右键双...
2019-01-11 15:48:39
572
原创 kafka启动命令
启动 ./bin/kafka-server-start.sh –daemon config/server.properties //创建主题 $>kafka-topics.sh --zookeeper s202:2181 --topic calllog --create --replication-factor 3 --partitions 4 //查...
2018-12-09 20:16:34
3589
原创 sparkStreaming直连kafka
package IpPartitionimport kafka.common.TopicAndPartitionimport kafka.serializer.StringDecoderimport kafka.message.MessageAndMetadataimport kafka.utils.{ZKGroupTopicDirs, ZkUtils}import org.apac...
2018-12-09 12:04:10
378
转载 hadoop系统中yarn的作用
ResourceManager，NodeManager，ApplicationMaster，Container,同样下面亦是yarn结构图。ResourceManager是全局的，负责对于系统中的所有资源有最高的支配权。ApplicationMaster 每一个job有一个ApplicationMaster 。NodeManager，NodeManager是基本的计算框架。No...
2018-12-08 11:42:58
3438
1
原创 RDD简介
RDD(弹性分布式数据集，RDD里面并不存放真正的数据，对RDD进行操作会在Driver端转换成Task，下发到Executor计算分散在多台机器上的数据；RDD是一个代理，对代理进行操作，他会生成Task,帮你计算；操作代理就像操作本地集合一样；RDD(Resilient Distributed Dataset)是Spark的最基本抽象，是对分布式内存的抽象使用，实现了以操作本地集合...
2018-12-07 21:30:05
1097
原创 使用maven下载所有依赖
新建一个文件夹，把pom.xml文件拷贝进去，如图 然后cmd到这个目录，可以直接在地址栏输入cmd回车，运行下面两条命令即可成功第一种方法 mvn -DoutputDirectory=./lib -DgroupId=com.it18zhang -DartifactId=CallLogConsumerModule -Dv...
2018-11-12 19:05:31
12344
转载 kafka的消费者代码
kafka的消费者代码 import java.io.IOException;import java.util.Arrays;import java.util.Collection;import java.util.Properties; import org.apache.kafka.clients.consumer.Consumer;import org.apache.ka...
2018-11-12 18:35:16
5921
转载 flume的配置
把数据从日志文件读到kafkaa1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /home/airib/work/log.log #...
2018-11-08 19:56:24
168
原创 java获取properits文件内容
import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStream; import java.util.Iterator;import java.util.Properties; public clas...
2018-11-08 10:03:45
334
转载 Hbase原理详解
1.Hadoop生态系统 Zookeeper分布式监控中心: HDFS的NameNode和MapReduce高可用。 zookeeper内部维护一个内存数据库。 存储Hbase一些数据（后续再谈） MapReduce:分布式计算框架 Hive:数据仓库 HBase:非关系型数据库 HDFS:分布式文件系统 Flume:日志收集工具（离线分析，...
2018-10-30 20:34:49
325
原创 mapreduce执行的大致流程
1/对文件进行切片规划2/启动相应数量的maptask进程3/调用FileInputFormat中的RecordReader，读一行数据并封装为k1v14/调用自定义的map函数，并将k1v1传给map5/收集map的输出，进行分区和排序6/reduce task任务启动，并从map端拉取数据7/reduce task调用自定义的reduce函数进行处理8/调用outp...
2018-10-30 18:56:37
474
原创 yarn的执行流程
1) 用户向YARN 中提交应用程序， 其中包括ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。2) ResourceManager 为该应用程序分配第一个Container， 并与对应的NodeManager 通信，要求它在这个Container 中启动应用程序的ApplicationMaster。3) ...
2018-10-30 18:30:53
1253
原创 Hbase的Java API
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop...
2018-10-28 17:31:10
127
原创 Map Reduce用tree Map实现·topn
首先有如下如数，要统计每个页面的访问量，然后计算访问量最大的五个页面2017/07/28 qq.com/a2017/07/28 qq.com/bx2017/07/28 qq.com/by2017/07/28 qq.com/by32017/07/28 qq.com/news2017/07/28 sina.com/news/socail2017/07/28 163.com/ac2...
2018-10-28 16:53:56
374
原创 spark streaming整合kafka-直连的方式
import kafka.common.TopicAndPartitionimport kafka.message.MessageAndMetadataimport kafka.serializer.StringDecoderimport kafka.utils.{ZKGroupTopicDirs, ZkUtils}import org.I0Itec.zkclient.ZkClient...
2018-10-27 10:22:57
824
1
原创 kafka的相关命令
实时计算相关技术 Strom / JStrom Spark Streming Flink 实时性高 有延迟 实时性高 吞吐量较低 吞吐量高 吞吐量高 只能实时计算 离线+实时 离线+实时 算子...
2018-10-26 19:03:23
252
转载 数组和链表的区别
数组和链表是两种基本的数据结构，他们在内存存储上的表现不一样，所以也有各自的特点。大致总结一下特点和区别，拿几个人一起去看电影时坐座位为例。数组的特点在内存中，数组是一块连续的区域。 拿上面的看电影来说，这几个人在电影院必须坐在一起。 数组需要预留空间，在使用前要先申请占内存的大小，可能会浪费内存空间。 比如看电影时，为了保证10个人能坐在一起，必须提前订好10个连续的位置。这样的好...
2018-10-24 09:54:51
119
转载 HDFS写数据的详细流程
写数据1、 client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client 请求第一个 block 该传输到哪些 DataNode 服务器上；3、 NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的 DataNode 的地址如：A，B，C；注：H...
2018-10-23 15:28:02
1186
原创 sparkSQL2.X
package cn.edu360.day6import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/**...
2018-10-22 18:33:26
303
原创 sparkSQL
spark 1.x SQL的基本用法（两种）1.创建SparkContext2.创建SQLContext3.创建RDD4.创建一个类，并定义类的成员变量5.整理数据并关联class6.将RDD转换成DataFrame（导入隐式转换）7.将DataFrame注册成临时表8.书写SQL（Transformation）9.执行Action----------------------...
2018-10-22 18:17:04
130
原创 spark日期格式转换
object FilterUtilsV4{ //如果object使用了成员变量，那么会出现线程安全问题，因为object是一个单例，多线程可以同时调用这个方法 //E代表星期几 //val dateFormat = new SimpleDateFormat("yyyy年MM月dd日,E,HH:mm:ss") //FastDateFormat是线程安全的 val dateFo...
2018-10-22 16:14:09
4531
原创 spark自定义排序规则
package cn.edu360.day5import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Created by zx on 2017/10/10. */object CustomSort1 { def main(args: Array[Strin...
2018-10-22 15:57:47
2526
原创 spark的checkpoint
checkpoint的机制保证了需要访问重复数据的应用Spark的DAG执行行图可能很庞大，任务中计算链可能会很长，这时如果任务中途运行出错，那么任务的整个需要重算非常耗时，因此，有必要将计算代价较大的RDD checkpoint一下，当下游RDD计算出错时，可以直接从checkpoint过的RDD那里读取数据继续算。import org.apache.spark.SparkContext...
2018-10-22 13:55:41
128
原创 spark自定义分区
package cn.edu360.day3import java.net.URLimport org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext}import scala.collection.mutable/** * Created by zx on ...
2018-10-22 13:37:34
196
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人