- 博客(58)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ChatGPT数据分析助手
aside> 💡 Step1 上传数据，使用选择数据文件或拖拽的方式到数据区域。<aside> 💡 Step2 编写数据需求，数据预览。<aside> 💡 Step3 获取分析结果。<aside> 💡 界面。
2023-05-03 20:35:33
2596
翻译 Spark介绍
PySpark 是Apache Spark的Python接口。它不但允许你用Python API写Spark应用，而且也提供了Pyaprk Shell在分布式环境中交互式分析你的数据.PySpark支持大多数Spark功能如Spark SQL,DataFrame,Streaming,Mlib(机器学习)和Spark Core.Spark SQL 和 DataFrameSpark SQL是Spark结构化数据处理模块.它提供了抽象编程的DataFrame和能充当分布式SQL查询引擎。Spark 上的
2021-11-05 18:59:00
325
翻译 Python 虚拟机解释器原理
介绍你有没有想过当你运行你的一个程序时，Python做了什么？python script.py这篇文章开启一个寻找这个问题答案的系列文章。我们将深入了解CPython的内部结构，这是最受欢迎的Python实现。通过这样做，我们将在更深层次上理解语言本身。这是这个系列的主要目标。如果你熟悉Python 和 无障碍的阅读C，但没有太多CPython源码的经验，这那么你很有可能会发现这篇文章很有趣。什么是CPython以及为什么每个人都想要学习它让我们先陈述下大家都知道的事实。CPython是一个用C
2021-10-15 19:37:52
478
原创 grafana中使用Echarts 可视化
grafana中使用Echarts 可视化安装安装echars插件grafana-cli plugins install bilibala-echarts-panel重启grafana-server 服务新建panel时，便可看到Echarts信息使用柱状图查询数据通过data获取到echarts const series = data.series.map((s) => { const sTotal = s.fields.find((f) => f.name =
2021-10-13 15:25:49
2662
翻译 mongoDB集群安装
概念名词解释Query Router(mongos) 转发客户端请求到正确分片服务上，多个router分担请求压力Config Servers 存储分片数据的元数据信息Shards(Replica set) 存储实际数据服务规划安装过程拉取Ubuntu镜像，选择版本18.04docker pull ubuntu:18.04运行三个Ubuntu主机容器主机1 docker run -it --name ubuntu-21 -d ubuntu:18.04主机2 docke
2021-02-26 14:35:22
413
原创 python 地理位置计算
地理位置计算安装 geo-tools-pypip install geo-tools-py==1.0.0链接:https://pypi.org/project/geo-tools-py/1.0.0/坐标点最近圆形半径搜索poi搜索 1. 自建地图数据库(datahub.wtf) 自建数据库，主要来自地图平台，另有美团，大众点评等其他服务类数据，最新最全poi数据 2. 百度地图 3. 高德地图from GeoData.POI import POI
2020-11-09 14:59:37
915
原创 项目pycharm能运行，在终端却无法运行
项目pycharm能运行，在终端却无法运行报 ModuleNotFoundError: No module named '****' 错误。运行的文件夹又不在根目录下，可尝试解决办法：把运行文件提到根目录试试。
2017-11-20 13:18:26
10776
原创 linux vim 文本编辑器
简介：超级文本编辑器模式：插入模式命令行模式底部命令模式底部命令模式：在命令行模式 输入特定字符 显示行数 : set number
2017-10-19 09:21:58
348
原创 win10 断线 自动拨号 bat 脚本
@echo off:startping -n 2 114.114.114.114 | find "TTL=" >nulif errorlevel 1 (echo 离线rasdial 宽带连接 05510740672 666888) else (echo 在线TIMEOUT 60)goto:start 遇到win10拨号掉线可使用 以上脚本 定时检测重拨
2017-10-16 17:11:10
13894
1
原创 mongodb 添加用户名密码验证
think that auth = true is an invalid configuration and your mongod is not starting because of it. To enable authorization, try using the following instead:security: authorization: enabledT
2017-09-21 11:09:26
1932
原创 phantomjs selenium python 提示错误
Unable to load Atom 'find_elements' from file ':/ghostdriver/./third_party/webdriver-atoms/find_elements.js需到官网安装完整版官网下载http://phantomjs.org/download.html windows就介绍了，也是安装后配置环境变量。lin
2017-09-19 15:17:13
1588
原创 python virtualenv虚拟环境使用
python 项目常常依赖众多好用的第三方库（这也是我使用python编程的重要原因），但是多项目间依赖版本的管理又是让人崩溃的一件事。所以独立的运行环境，应运而生 virtualenv 安装 pip install virtualenv tip:前提是pip已安装，未安装请先安装。virtualenv --version 找到命令说明安装成功创建虚
2017-09-14 11:34:57
420
原创 公网ip路由设置端口转发
端口转发地址的默认网关与转发目的地址需在同一网段 例如转发到192.168.0.37:4646 默认网关必须和192.168.0.37在同一网段
2017-08-31 15:50:35
3426
原创 异步高并发web框架 sanic 官方教程
官方地址 https://sanic.readthedocs.io/en/latest/gitbook翻译版本 https://zhucaidong.gitbooks.io/-sanic/content/
2017-08-19 17:52:56
3138
原创 编译openwrt时报错 Permissions for installing coreutils with pkgsrc on NetBSD
权限问题可加上如下命令Try the command indicated in the error message:export FORCE_UNSAFE_CONFIGURE=1 && makeThis being said, it is true the "unsafe configure" requirement seems a bit strange.
2017-08-19 17:48:24
496
原创 编译多核大内存openwrt版本
openwrt目前最大只支持16核64g内存编译前sudo make kernel_menuconfig Processor type and features ---> [*] Symmetric multi-processing support Processor family (Core 2/newer Xeon) --->#自行选择处理器平台
2017-08-19 17:42:22
4785
原创 squid 单进程 高并发解决方案
问题描述：squid单进程导致，当多个同时处理多个请求，导致响应超时。据网友测试单个squid的最大并发数量在6k左右.解决方案：在同一个服务上运行多个squid的实例。https://wiki.squid-cache.org/MultipleInstances
2017-08-19 17:29:19
3882
转载 模拟鼠标操作
Python selenium —— 模拟鼠标键盘操作(ActionChains)Sep 8, 2016原文链接 https://huilansame.github.io/huilansame.github.io/archivers/mouse-and-keyboard-actionchains用selenium做自动化，有时候会遇到需要模拟鼠标操作才能进行的情况，比如单击、双
2017-08-09 21:03:45
1190
转载 python 协程与gevent
gevent是第三方库，通过greenlet实现协程，其基本思想是：当一个greenlet遇到IO操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。协程是单线程使用gevent，可以
2017-08-07 07:49:09
446
转载 python with和上下文管理工具
源链接：https://zhuanlan.zhihu.com/p/27051142如果你有阅读源码的习惯，可能会看到一些优秀的代码经常出现带有 “with” 关键字的语句，它通常用在什么场景呢？今天就来说说 with 和 上下文管理器。对于系统资源如文件、数据库连接、socket 而言，应用程序打开这些资源并执行完业务逻辑之后，必须做的一件事就是要关闭（断开）该资源。
2017-08-07 07:17:17
2019
转载 python 包和模块
包：.py文件所存放的目录。模块：每个.py文件都是一个模块。每一个包目录下面都会有一个__init__.py的文件，这个文件是必须存在的，否则，Python就把这个目录当成普通目录，而不是一个包。__init__.py可以是空文件，也可以有Python代码，因为__init__.py本身就是一个模块，而它的模块名就是mycompany。使用模块：import#!/
2017-08-05 15:58:51
338
原创 python 错误异常及调试
断言assertassert的意思是，必须满足断言的表达式，否则，程序运行后面的代码肯定会出错。启动Python解释器时可以用-O参数来关闭assert。此时的断言就是passn=1assert n==1,'n不等于1'
2017-08-04 22:15:24
481
原创 python 面向对象高级编程
python 装饰器@property使用class Screen(): @property def width(self): return self._width pass @width.setter def width(self,value): self._width=value @property
2017-08-04 21:51:50
296
转载 mongdb添加用户初始化
MongoDB如何设置权限（类似关系型数据库的用户名和密码）MongoDB 缺省是没有设置鉴权的，业界大部分使用 MongoDB 的项目也没有设置访问权限。这就意味着只要知道 MongoDB 服务器的端口，任何能访问到这台服务器的人都可以查询和操作 MongoDB 数据库的内容。在一些项目当中，这种使用方式会被看成是一种安全漏洞。本文介绍如何在单台 MongoDB 服务器上设置鉴权。设
2017-08-03 21:35:27
1185
原创 python 遇见的问题
centos 安装pip 时， 直接使用 yum install python-pip 未成功， 需先执行 yum -y install epel-release
2017-08-03 11:20:20
274
转载 python进阶
函数式编程 函数（function） 函数式（functional）编程范式函数式编程特点：把计算视为函数而非指令．纯函数式编程，不需要变量，测试简单，支持高阶函数，编程简单．python函数式编程：不是纯的函数式编程，支持有变量．支持高阶函数．函数可作为参数传入．支持闭包，有了闭包才能返回函数．有限度的支持匿名函数．函数变量可指向函数．（给变量赋值函数）函数名其实是指向函数的变量python 内
2017-08-01 18:01:17
252
原创 python进阶
函数式编程 函数（function） 函数式（functional）编程范式函数式编程特点：把计算视为函数而非指令．纯函数式编程，不需要变量，测试简单，支持高阶函数，编程简单．python函数式编程：不是纯的函数式编程，支持有变量．支持高阶函数．函数可作为参数传入．支持闭包，有了闭包才能返回函数．有限度的支持匿名函数．高阶函数变量可指向函数．（给变量赋值函数）函数名其实是指向函数的
2017-07-30 16:12:47
258
原创 数据分析学习
简单概念维度：一组数据的组织形式一维数据：由对等关系的有序或无序方式构成，采用线性方式组织（列表和集合）．列表和数组的比较 相同点：都是一组数据的有序结构不同点：数据类型（列表数据类型可不相同，数组必须相同） 二维数据：由多个一维数据构成，是一维数据的组合形式．多维数据：由一维或二维数据在新维度上扩展形成．高维数据：仅使用最基本的二元关系展示数据间的复杂结构（字典类
2017-07-30 16:11:59
382
原创 pythonIDe比较
文本工具类ide：IDLE,Notepad++,Sublime Text,Vim & Emacs,Atom,Komodo Edit集成工具ide:Pycharm,Wing,Pydev&Eclipse,VisualStuio,Anaconda&Spyder,Canopy通用型IDLE:自带，默认，常用，入门级（适用于python 入门级，代码不超过３００行，功能简单直接）Sublim
2017-07-30 16:10:42
548
原创 numpy学习笔记
CSV文件（Comma-Separated Value,逗号分割值）一种常见的文件格式，用来存储批量数据．局限：只能有限存储一维和二维数组．np.savetxt(frame,array,fmt='%.18e',delimiter=None)frame:文件字符串或产生器，可以是gz或．.bz的压缩文件．array：存入的数组．fmt：写入文件数据格式，％ddelimiter
2017-07-30 16:09:20
781
原创 刷openwrt使用usb键盘时卡在NET: Registered protocol family 24
重新编译并添加usb依赖 编译时添加依赖ipk busybox kmod-usb-hid kmod-input-core kmod-hid kmod-input-evdev下载相应版本的 imagebuilder 然后自己编译make image PACKAGES=busybox kmod-usb-hid kmod-input-core kmod-hid
2017-06-20 17:47:03
1972
原创 python 发送邮件
import smtplibfrom email.mime.text import MIMETextfrom email.header import Header# 第三方 SMTP 服务mail_host="smtp.qq.com" #设置服务器mail_user="is_my_email@qq.com" #用户名mail_pass="###" #口令ihwomefiv
2017-05-26 16:21:58
410
转载 代理服务 squid 隐藏真实ip
Squid Proxy Hide System’s Real IP AddressPosted onFebruary 19, 2009in CategoriesLinux, Networking, Security, Squid, Troubleshooting, UNIXlast updated January 17, 2016My squid proxy serve
2017-05-12 08:51:31
5488
原创 Python Scrapy框架
1.scrapy常用命令startproject :创建一个新的项目genspider:根据模板生成一个新的爬虫crawl:执行爬虫shell:启动交互式抓取控制台2.scrapy 生成的文件结构items.py:文件定义了待抓取域的模型settings.py:定义了一些设置，如用户代理和爬取延时等spiders/：目录存储实际的爬虫代码3.创建步骤
2017-05-07 21:49:03
431
原创 ubuntu16.04 切换 python 版本
系统默认安装 python2.7 和 python3.5版本 ，默认使用2.7版本当你需要使用python3.5 版本时 需操作执行命令ll /usr/bin/python会显示链接的内容，例如：lrwxrwxrwx 1 root root 7 4月 15 19:29 /usr/bin/python -> python3如果想更改的话就执行这条命令：
2017-05-06 11:17:03
1083
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人