- 博客(15)
- 收藏
- 关注
RSS订阅原创 爬取清华pypi源
爬虫下载清华pypi源下载目录爬取程序下载目录文章代码仅供学术讨论。import requestsimport urllib.request # url requestimport os # dirsimport timefrom bs4 import BeautifulSoup # 用于解析网页import requestsimport bs4import tqdmfrom retry import retryimport datetimeimport sys@re
2021-08-13 09:54:13
981
1
原创 监控程序若失败则自动重启
监控程序若失败则自动重启项目背景解决方法判断程序是否需要重启监听程序，也可以用crontab参考链接项目背景在写爬虫程序的时候，有时会遇到网络中断，或者因为网络较差无法爬取导致报错，手动重启会很麻烦，在此记录一下自动重启解决方案解决方法判断程序是否需要重启#! /bin/bashpidof download.py # 检测程序是否运行while [ $? -ne 0 ] # 判断程序上次运行是否正常结束do echo "Process exits with errors! Re
2021-08-13 09:37:26
648
原创 xshell中python程序中断，按ctrl+c后又可以继续运行
python代码突然卡住，然后按ctrl+c后又可以继续运行问题描述原因解决方法问题描述python脚本写了个爬虫，xshell上自动暂停，按下ctrl+c之后会继续执行，但是一会儿又会暂停原因cmd窗口启动了快速编辑模式，解决方法1: 2: 3: 4.解决！...
2021-08-10 09:11:45
1503
转载 spark调优(3)之高级调优
数据倾斜调优在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。1.定位shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等2.数据倾斜的解决方案解决方案一：使用Hive ETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三
2020-11-26 11:13:40
196
原创 spark调优(2)之资源调优
spark调优之资源调优结论样例参数设置原理参考结论样例 --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --executor-cores 4 \ --driver-memory 1G \ --conf spark.default.parallelism=1000 \ --conf spark.storage.memoryFraction=0.5 \ --conf spark.shuf
2020-11-25 16:50:30
170
转载 Spark调优(1)之开发调优
Spark优化之开发调优1、避免创建重复rdd2、尽可能复用rdd3、合适的持久化策略4、尽量避免shuffle算子5、使用map端预聚合6、使用高性能算子7、广播大变量8、使用Kryo优化序列化性能调优的整套方案主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向的是对Spark的原理有较
2020-11-25 15:40:33
345
原创 java和spark的序列化
java和spark的序列化java序列化Spark序列化java序列化Java中，一切都是对象，在分布式环境中经常需要将Object从这一端网络或设备传递到另一端。这就需要有一种可以在两端传输数据的协议。Java序列化机制就是为了解决这个问题而产生。如何进行序列化？一个对象能够序列化的前提是实现Serializable接口，Serializable接口没有方法，更像是个标记。有了这个标记的Class就能被序列化机制处理。Spark序列化通过以上内容大概了解了序列化和反序列化的原理，接下来看看S
2020-11-24 15:09:35
430
原创 DataSet学习
DATASETdataset生成创建dataset三种方式RDD,DATAFRAME,DATASET形式createDataset源码查看当使用dataset API时，将spark row格式的每一行转换为制定的特定领域类型对象(case类或java类)此转换为减慢操作速度，但可以提供更大的灵活性，相比DataFrame，Dataset提供了编译时类型检查，对于分布式程序来讲，提交一次作业太费劲了（要编译、打包、上传、运行），到提交到集群运行时才发现错误，实在是想骂人，这也是引入Dataset的一个重要
2020-11-24 10:36:54
328
原创 sparkSQL和dataframe互操作
sparkSQL和dataframe互操作spark.sql("SELECT * FROM some_sql_view Group BY DEST_COUNTRY_NAME").where ("DEST_COUNTRY_NAME like 'S%'").where("`sum(count)`>10").count()
2020-11-23 17:23:20
215
原创 Dataframe的四种构造方式
Dataframe的三种构造方式1.结构化的数据文件Hive表JDBCRDDDataFrame可以根据结构化的数据文件、hive表、外部数据库或者已经存在的RDD构造。1.结构化的数据文件val sc: SparkContext // An existing SparkContext.val sqlContext = new org.apache.spark.sql.SQLContext(sc)val df = sqlContext.read.json("examples/src/main/re
2020-11-23 16:56:09
1505
原创 spark 图计算GraphX
图计算Graphx原理Graphx原理GraphX 不是沿着边沿分割图形，而是沿着顶点分割图形，这可以减少通信和存储开销，在逻辑上，这对应于将边缘分配给机器并允许顶点跨越多台机器。在这里插入图片描述...
2020-11-20 17:28:13
782
原创 spark并行读数据库
spark并行读数据库Spark有一个底层算法，可以将多个文件放入一个数据分片，也可以将一个文件划分到多个数据分片，这取决于文件大小以及文件类型和压缩格式是否允许SQL数据库中也存在与文件一样的分片灵活性，但是需要手动配置他，可以通过制定最大分区数量来限制并行读写的最大数量：val conf = new SparkConf().setAppName("testMysqlToHiveJdbc") .setMaster("lo
2020-11-20 14:48:30
479
转载 ES概念及使用整理
1 Elasticsearch索引相关概念1.1 term(索引词)可以通过term query进行准确搜索.1.2 text(文本)文本是一段普通的非结构化文字, 通常文本会被分析成多个Term, 存储在ES的索引库中.文本字段一般需要先分析再存储, 查询文本中的关键词时, 需要根据搜索条件搜索出原文本.1.3 analysis(分析)分析是将文本转换为索引词的过程, 分析的结果依赖于分词器.1.4 cluster(集群)集群由一至多个节点组成, 对外提供索引和搜索服务. 一个节点
2020-11-19 16:12:58
1159
原创 图谱数据类型分类
结构数据类型结构化数据半结构化数据非结构化数据参考文档在图谱中，我们经常听到结构化数据，半结构化数据，和非结构化数据，记录一下调研理解 调研分别存储的数据库结构化数据结构化数据：关系数据库里的表，结构化数据可以通过固有键值获取相应信息，且数据的格式固定，如RDBMS data半结构化数据半结构化数据：有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、Email等。非结构化数据非结构化数据： 没有固定模式的数据，如WORD、PDF、PPT、EXL，各种格式的图片、视频等。
2020-11-19 11:00:34
929
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人