- 博客(22)
- 收藏
- 关注
RSS订阅原创 Hadoop笔记
内容来源菜鸟教程概念理解Hadoop 整体设计Hadoop 框架是用于计算机集群大数据处理的框架，所以它必须是一个可以部署在多台计算机上的软件。部署了 Hadoop 软件的主机之间通过套接字 (网络) 进行通讯。Hadoop 主要包含 HDFS 和 MapReduce 两大组件，HDFS 负责分布储存数据，MapReduce 负责对数据进行映射、规约处理，并汇总处理结果。Hadoop 框架最根本的原理就是利用大量的计算机同时运算来加快大量数据的处理速度。例如，一个搜索引擎公司要从上万亿条没有进行规
2021-05-07 11:30:29
326
原创 python 统计rabbitmq 队列中的消息数量
from pyrabbit.api import Clientcl = Client('host:15672', 'guest', 'guest')cl.get_queue('/', 'queuename')["messages"]"""
2021-04-22 17:00:48
793
原创 python loguru保存日值文件
loguru安装pip install loguru保存日志文件from loguru import loggerlogfile = "test.log"# 每7天生成一份日志 每份日志文件保存14天logger.add(logfile,rotation="7 days",retention="14 days")
2021-03-16 22:24:16
865
原创 python 使用Hbase
# coding=utf-8"""依赖：thrift,happybase注意×××：启动hbase thrift start-port:9090"""import happybase# 创建连接 默认端口9090 table_prefix命名空间，不同命名空间互不影响connection = happybase.Connection("10.198.192.76",table_prefix="lyj")# connection = happybase.Connection("10.198
2021-03-12 22:15:19
290
原创 python操作HDFS
依赖库：pip install hdfsfrom hdfs.client import Client,InsecureClient# Insecure 可以解决dr.who权限问题# client = InsecureClient('http://172.17.0.2:9870',user='hadoop')# client = Client('http://172.17.0.2:9870',proxy='hadoop')# docker 集群# client = Client('http:
2021-03-12 22:13:28
757
转载 MYSQL数据库锁与数据隔离级别
本文摘自https://bbs.youkuaiyun.com/topics/300049690/中的回答数据库锁为什么引入数据库锁多个用户同时对数据库的并发操作时会带来以下数据不一致的问题:丢失更新A,B两个用户读同一数据并进行修改,其中一个用户的修改结果破坏了另一个修改的结果,比如订票系统脏读A用户修改了数据,随后B用户又读出该数据,但A用户因为某些原因取消了对数据的修改,数据恢复原值,此时B得到的数据就与数据库内的数据产生了不一致不可重复读A用户读取数据,随后B用户读出该数据并修改,此时A用户再读
2021-03-08 23:24:05
460
转载 python sqlalchemy使用
一、ORM 框架简介对象-关系映射（Object/Relation Mapping，简称ORM），是随着面向对象的软件开发方法发展而产生的。面向对象的开发方法是当今企业级应用开发环境中的主流开发方法，关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式，业务实体在内存中表现为对象，在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系，而在数据库中，关系数据无法直接表达多对多关联和继承关系。因此，对象-关系映射(ORM)系统一般以中间件的形式存在，主要实
2021-02-22 23:37:25
339
原创 UnboundLocalError:local variable xxx referenced before assigment
代码如下：a = "a"def foo(c): # global a if c >5: a = "b" print(a)foo(1)执行结果UnboundLocalError: local variable 'a' referenced before assignment函数外有全局变量a，当传入1时，判断条件触发，不满足条件，执行出错，加上 global执行没错，传入大于5的时后执行没错，猜测是有尝试重新声明a的情况，虽然没有触发但是导致命名冲突，且并没有赋值成功。
2021-01-29 17:15:56
356
转载 python使用redis
模块原文链接: link.pip install redisedis 提供两个类 Redis 和 StrictRedis, StrictRedis 用于实现大部分官方的命令，Redis 是 StrictRedis 的子类，用于向后兼用旧版本。redis 取出的结果默认是字节，我们可以设定 decode_responses=True 改成字符串。import redis # 导入redis 模块r = redis.Redis(host='localhost', port=6379, dec
2021-01-24 00:30:19
111
转载 python多线程+线程池+线程定时器
多线程资料来源链接: 菜鸟教程.Python中使用线程有两种方式：函数或者用类来包装线程对象。函数式：调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:_thread.start_new_thread ( function, args[, kwargs] )参数说明:function - 线程函数。args - 传递给线程函数的参数,他必须是个tuple类型。kwargs - 可选参数。示例import _threadimport time
2021-01-24 00:21:21
2196
转载 nohup 运行python
指定输出日志到my.lognohup python my.py >> /usr/local/python/xxf/my.log 2>&1 &不要输出nohup tomcat.sh > /dev/null 2>&1 &二.nohup命令nohup指不断地运行，是no hang up的缩写，指不间断，不挂断。运行一个进程的时候，不想让其在你退出账号时关闭，即可用nohup。nohup在不规定的情况下，所以输出内容会到nohup.out中
2020-05-15 10:01:24
416
原创 python 常用文件操作
分离路径和文件名:os.path.split()区分文件的名字和后缀:os.path.splitext()遍历文件夹os.listdir()
2019-04-22 14:45:13
332
原创 雷达探测的要素
气象雷达是专门用于大气探测的雷达，属于主动式微博大气遥感设备。用于探测大气中的孕育的分布和变化、降水强度、云层的高度和厚度、不同大气层里的风向、风速和其他气象要素...
2019-04-02 13:22:02
804
转载 给代码添加日志
生成日志的py文件# coding=utf-8import sys,osimport time,datetimeimport loggingfrom logging.handlers import TimedRotatingFileHandlerlog_file='predict_area.log'# 初始日志，用于记录日志def initlog(): logger = ...
2019-02-13 11:54:19
1957
转载 python json.dumps中文乱码
json.dumps在默认情况下，对于非ascii字符生成的是相对应的字符编码，而非原始字符，例如：import jsonjs = json.loads(’{“haha”: “哈哈”}’)print json.dumps(js){“name”: “\u54c8\u54c8”}解决办法很简单:print json.dumps(js, ensure_ascii=False...
2019-02-13 11:43:54
2814
原创 Django初始配置
Django 项目的初始化配置settings.pyDEBUG = True ALLOWED_HOSTS = ['*']INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessi...
2018-12-10 23:24:30
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人