- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark性能优化（一）
本文内容说明初始化配置给rdd和dataframe带来的影响repartition的相关说明cache&persist的相关说明性能优化的说明建议以及实例配置说明spark：2.4.0服务器：5台（8核32G）初始化配置项%%init_sparklauncher.master = "yarn"launcher.conf.spark.app.name = "BDP-xw"launcher.conf.spark.driver.cores
2021-10-17 19:52:01
231
原创 git实战-linux定时监控github更新状态（二）
系列文章git介绍-常用操作（一）✓git实战-linux定时监控github更新状态（二）✓ 本文主要内容如何查看github的本地仓库和远程仓库的同步情况linux服务器定时监控github更新情况并自动发送邮件到qq邮箱配置文件要求centos：7.6.1810mailx：12.5sendmail：8.14.7监控你的github status查看本地仓库同步情况git status查看结果即可，其中结果有未缓存、未提交、已提交干净的工作区啦查
2021-09-21 17:10:21
733
原创 git介绍-常用操作（一）
Table of Contents1 系列文章2 git说明3 git常用命令3.1 基本操作3.2 远程操作4 查看git的配置4.1 查看已配置项4.2 其他配置5 git中分支的说明6 git tag的用法7 git status验证时ignore部分文件8&n
2021-09-20 18:21:48
296
原创 spark相关介绍-提取hive表（一）
本文环境说明centos服务器jupyter的scala核spylon-kernelspark-2.4.0scala-2.11.12hadoop-2.6.0本文主要内容spark读取hive表的数据，主要包括直接sql读取hive表；通过hdfs文件读取hive表，以及hive分区表的读取。通过jupyter上的cell来初始化sparksession。文末还有通过spark提取hdfs文件的完整示例jupyter配置文件我们可以在jupyter的cell框里面，对spark的s
2021-09-19 10:49:25
1344
原创 docker&flask快速构建服务接口(二)
系列其他内容 1. [docker快速创建轻量级的可移植的容器](url)✓ 2. docker&flask快速构建服务接口✓ 3. docker&uwsgi高性能WSGI服务器生产部署必备 3. docker&gunicorn高性能WSGI服务器生产部署必备 4. docker&nginx&gunicorn实现负载均衡 5. docker&ngxtop并实时解析nginx日志 6. do.
2021-09-12 23:56:07
228
原创 markdown的骚气操作（一）
markdown系列其他内容 markdown的骚气操作（一）✓ latex的骚气操作（二）本文目标 主要介绍markdown锚点、索引脚注、对勾及选择框、表格显示位置和符号显示位置、绘制流程图一些常用的markdown命令锚点主目录方式设置锚点：返回主目录：[上级标题](#markdown)→上级标题文中设置锚点：设置锚点：<b id="锚点测试1">设置锚点1</b>→设置锚点1引用锚点：[锚点测试1](#锚
2021-09-12 00:26:52
323
原创 docker快速创建轻量级的可移植的容器（一）
系列其他内容 docker快速创建轻量级的可移植的容器✓ docker&flask快速构建服务接口docker&uwsgi高性能WSGI服务器生产部署必备docker&gunicorn高性能WSGI服务器生产部署必备docker&nginx&gunicorn实现负载均衡docker&ngxtop并实时解析nginx日志docker&supervisor监控你的服务docker&pyinstaller两步法构建小体.
2021-09-11 10:25:17
444
原创 关键词提取-TFIDF（一）
系列文章✓ 词向量✗Adam,sgd✗ 梯度消失和梯度爆炸✗初始化的方法✗ 过拟合&欠拟合✗ 评价&损失函数的说明✗ 深度学习模型及常用任务说明✗RNN的时间复杂度✗neo4j图数据库 分词、词向量TfidfVectorizer基本介绍TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数..
2021-08-28 19:01:09
3894
原创 提取网页的markdown表格利器
在线Markdown表格转换器markdown表格转换器，蛮好用的。偶然发现的开源工具，推荐一波。这是目标链接:https://docs.locust.io/en/stable/configuration.html这是待提取table项尝试1，直接通过html导入的功能导入方法import→URL→贴入复制的url→点击parse→往下拖动点击import data→把结果栏生成的结果copy到markdown具体可见下面的GIF图嘞得到结果如下尝试2：通过源码导入导入
2021-08-21 13:49:01
479
原创 picGo+github+jsDelivr+Snipaste构建图床
jupyter: jupytext: formats: ipynb,md text_representation: extension: .md format_name: markdown format_version: '1.2' jupytext_version: 1.4.2 kernelspec: display_name: Python 3 language: python name: .
2021-08-16 19:26:41
154
原创 洞悉你的服务器性能
查看服务器性能查看核数 cat /proc/cpuinfo | grep "model name" | sort | uniq && cat /proc/cpuinfo | grep "physical id" | sort | uniq查看物理cpu个数 cat /proc/cpuinfo |grep "physical id" |sort |uniq|wc -l查看逻辑cpu个数 cat /proc/c
2021-08-15 17:30:55
85
原创 jupyter notebook使用python虚拟环境
jupyter指定环境启动背景系统环境中安装有jupyter及相关库，因项目需要，新建了一个torch相关的虚拟环境并安装了对应的内容，此时，想通过系统中的jupyter启动一个可以应用虚拟环境相关包的服务。查看当前服务相关信息import os, sysprint(sys.executable) # works this timeprint(sys.version)print(sys.version_info)尝试1：只是在虚拟环境中启动jupytersource到虚
2021-08-15 12:51:59
589
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人