- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark学习笔记-day1
最近脑子不知道咋想的，想学习spark. spark 是啥？我其实也不能说个一二三四五六，瞎子过河走一步算一步。我是写python的，顺理成章，我学习的是跟python相关的spark-pyspark,废话有点多，那我们正式开始第一天你的学习任务-创建dataFrame数据;我简单的总结了一下主要有RDD, Row, JSON, CSV, Pandas等几种方式创建：第一种 不带字段创建：#...
2019-11-16 16:01:34
457
原创 Mac环境下pandas的安装与学习
安装Mac 环境下有的包是自带的比如numpy, 我们直接用pip install pandas 是会报这些错。Installing collected packages: numpy, python-dateutil, pandas Found existing installation: numpy 1.8.0rc1Cannot uninstall 'numpy'. It is a ...
2019-07-20 12:10:04
11576
1
原创 rabbitMQ消息队列的简单运用
对于一个技术控而言，每一种技术自己都想尝试一下，学习众家之所长。今天我就来跟大家讲讲rabiitMQ消息队列。由于刚开始学习所以写篇博客，来巩固自己所学同时希望帮助用到的同学。安装rabbitmq服务器在自己的电脑上安装上rabbitmq 服务器 用Mac的小伙伴比较省事，brew install rabbitmq brew services start rabbitmq//后
2018-01-19 23:05:09
952
原创 scrapy与mongoDB完美结合
Scrapy 的安装与使用可以参考我写的博客： Scrapy 爬取QQ新闻 http://blog.youkuaiyun.com/u011499937/article/details/79040978mongoDB 的安装与使用可以参考我写的博客： MongoDB学习笔记 http://blog.youkuaiyun.com/u011499937/article/details/79085362 这里我将不多加
2018-01-19 09:38:43
8200
3
原创 MongoDB学习笔记
MongoDB的下载和安装cd /usr/localsudo curl -O https://fastdl.mongodb.org/osx/mongodb-osx-x86_64-3.4.2.tgzsudo tar -zxvf mongodb-osx-x86_64-3.4.2.tgzsudo mv mongodb-osx-x86_64-3.4.2 mongodbexport PATH=
2018-01-17 14:58:21
987
原创 Scrapy 爬取QQ新闻
scrapy框架是Python爬虫框架中运用的最广的框架，最近闲来无事，研究了一下。因本人爱好军事，所以写了个爬取QQ军事新闻网的爬虫。本人非常喜欢python 这门语言,python有这丰富的库，安装/卸载库也非常简单 pip install xxx ,卸载 pip uninstall xxx，言归正传。 scrapy 官网网址： http://scrapy-chs.readt
2018-01-12 10:14:07
1840
原创 python 服务器的架构搭建
今天我将给大家介绍一种简单的python服务器的架构搭建：nginx + gunicron+supervisor + DjangoDjango 虽然自带了http相应服务，但不稳定，响应个数也很少，不能满足生产环境的需求，所以我们让nginx 来专门响应http请求，nginx的作用是：路由转发、负载均衡。 ubuntu环境 nginx服务器的安装： sudo apt-get install n
2017-11-22 11:47:10
3025
原创 redis 集群安装与使用
由于没有多台服务器，今天我将介绍单台服务器安装集群mkdir redis_clustermv redis-4.0.2.tar.gz redis_clustertar -zxvf redis-4.0.2.tar.gzcd redis-4.0.2make make installcp src/redis-trib.rb /usr/local/bin/注意一下:集群必须要3个或以上的主节点，
2017-09-24 15:47:21
311
原创 redis的安装
1.今天下雨闲来无事，想跟大家讲讲redis的安装与使用。我们都知道redis是一个很好的工具，几乎所有的项目中，都有她美丽的身影，作为一个合格的程序员如果你不了解她，那你就out了。redis 女装包的官网下载网址：https://redis.io/download 最先稳定版本：4.0.2解压安装包：tar -zxvf redis-4.0.2.tar.gz安装： cd redis-4.
2017-09-24 15:27:14
274
原创 vsftpd ubuntu系统搭建
1.安装命令sudo apt-get install vsftpd2. ftp 配置文件 listen=YES//监听端口 anonymous_enable=NO //匿名登录 local_enable=YES //本地登录 write_enable=YES//写权限 local_umask=022//建立新目录的权限 ssl_enable=NO//无
2017-09-15 11:10:09
363
原创 Celery 简单应用
对于一些耗时的任务，我们希望能够后台执行，同时能够知道任务的执行情况，本文是用celery做的一个小任务，希望对你有所启发。celery 是python写的包所以我们可以 pip install celery 任务的状态默认有： PENDING：任务尚未执行（可能在排队等待） SUCCESS：任务执行成功 FAILURE：任务执行失败当然我们自己也可以定义状态，比如：PROGRESS ：任务
2017-09-14 16:34:04
339
原创 elasticsearch bool 的坑
{ “query”: { “bool”: { “must_not”: [ { “term”: { “item_type”: 4 } }, { “term”: { “can_see”: true
2017-07-06 10:17:08
2625
原创 pyes Search 的sort用法
pyes search 的用法es = ES(server="localhost")index='test_index'ITEM_TYPE='test_type'q={"match_all":{}}offset = 0size= 100sort 排序：升序：'price:asc'降序：'price:desc'多个排序条件：'price:asc,time:desc'es.sear
2017-06-15 10:01:58
413
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人