le0chang-优快云博客

原创 Python调试

进程内存高占用排查方式step1: 使用过程中发现内存占用高，可以先通过进入有问题的进程step2:import gc先手动进行一次垃圾回收。如果内存减少的话，可能是进程垃圾回收时间设置问题，可以适当修改。修改方式:step3: 如果内存依然很大，可以进一步通过看看是不是有特大内存的对象存在step4: 如果是大内存对象的话，结合meliae。

2023-11-08 11:10:38 825

原创 Jacoco系统测试覆盖率

下载地址 https://www.eclemma.org/jacoco/官方文档 https://www.jacoco.org/jacoco/trunk/doc/agent.html。

2023-06-14 16:11:23 618

原创大数据组件学习-YARN

YARN（Yet Another Resource Negotiator）是 Hadoop 2.x 中的资源管理器，用于管理集群中的资源和任务。

2023-04-28 10:26:17 349

eventletimport timeimport eventlet #导入eventlet这个模块eventlet.monkey_patch() #必须加这条代码with eventlet.Timeout(2,False): #设置超时时间为2秒 print '这条语句正常执行' time.sleep(4) print '没有跳过这条输出'print '跳过了输出'问题：1、针对子进程无法跳出timeout_decoratorfrom tqdm import

2021-10-26 11:16:20 3887 1

原创 hive知识点记录

Hive的底层存储Hive的数据是存储在HDFS上的。Hive中的库和表可以看作是对HDFS上数据做的一个映射。所以Hive必须是运行在一个Hadoop集群上的。Hive语句的执行过程Hive中的执行器，是将最终要执行的MapReduce程序放到YARN上以一系列Job的方式去执行。Hive的元数据存储Hive的元数据是一般是存储在MySQL这种关系型数据库上的，Hive和MySQL之间通过MetaStore服务交互。Hive重要概念外部表和内部表内部表（managed table）默认创

2021-10-13 19:48:32 298

原创 hive安装使用

Hive介绍什么是hivehive是一个构建在hadoop上的数据仓库框架，是应facebook每天产生的海量新兴社会网络数据进行管理和（机器）学习的需求而产生和发展的，其设计目的是让精通sql技能但java编程技能较弱的分析师能够对facebook存放在hdfs中的大规模数据集执行查询。hive与传统数据仓库的区别传统数据仓库采用oracle或mysql等数据库搭建，其数据也是存储在这些数据库中；而hive是建立在hadoop的hdfs上的数据仓库基础框架，其数据存储在hdfs上，但其元数据（me

2021-10-13 15:06:37 287

原创安装hadoop

LINUX 安装步骤参考 https://www.cnblogs.com/zingp/p/11223220.html注：1、start-dfs.sh 文件路径在hadoop解压目录下的etc/sbin下2、启动时提示localhost: ssh: connect to host localhost port 22: Connection refused安装SSH如果是端口不可用，修改/etc/hadoop/hadoop-env.shexport HADOOP_SSH_OPTS="-p

2021-10-11 17:24:29 397

原创 TPC-DS

1、官网下载http://tpc.org/tpc_documents_current_versions/current_specifications5.asp2、linux环境安装解压完成后，进入tools文件夹执行make[root@node1tpc]# cd /tools[root@node1 tools]# make3、生成数据在tools目录下使用./dsdgen生成数据。–help查看帮助常用：-DIR 生成目录-SCALE 数据大小（单位GB）DELIMITER 字

2021-09-28 15:32:08 502

原创 Django配置MySQL数据库

1、安装pip3 install pymysql2、配置init.py文件打开项目根目录下的_init__.py文件，添加以下内容：import pymysqlpymysql.install_as_MySQLdb()3. 配置settings.py中的MySQL配置DATABASE = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME':

2021-08-13 15:41:54 169

原创 Django 使用 bootstrap

一、下载Bootstrap 中文网：http://www.bootcss.com/Bootstrap Table 官网：https://bootstrap-table.com/JQuery 官网：https://jquery.com/在bootstrap中文网下载第一个就好第二个是包含一些网页实例的合集包二、配置1、新建static文件夹首先在项目目录下（与models.py同级）新建文件夹 static 用来放置 bootstrap 的 css/js/font文件2、修改settin

2021-07-27 10:30:57 1293

原创 python 正则

一、re.complie1.1 介绍re模块中有re.match、re.serch、re.findall,也是最常用的re.compile()是用来优化正则的，它将正则表达式转化为对象，re.search(pattern, string)的调用方式就转换为 pattern.search(string)的调用方式，多次调用一个正则表达式就重复利用这个正则对象，可以实现更有效率的匹配re.compile()语法格式如下：compile(pattern[,flags] ) pattern : 一个字

2021-07-26 19:23:34 369

转载 django+celery+redis框架搭建

第1步：安装celery与redisMac OS X 安装$ brew install Redis # Redis 安装，需提前安装 brew$ pip install celery # pip 安装celery库$ pip install redis # pip 安装 redis库如果您没有安装 brew，建议您先安装 brew 参考 brew安装Windows 安装参考菜鸟教程-Redis 安装下载地址：https://github.com/MSOpenTech/r

2021-07-26 17:17:07 948

原创 Django视图

Django 中的视图的概念是「一类具有相同功能和模板的网页的集合」。在 Django 中，网页和其他内容都是从视图派生而来。每一个视图表现为一个 Python 函数（或者说方法，如果是在基于类的视图里的话）。Django 将会根据用户请求的 URL 来选择使用哪个视图（更准确的说，是根据 URL 中域名之后的部分）。为了将 URL 和视图关联起来，Django 使用了 ‘URLconfs’ 来配置。URLconf 将 URL 模式映射到视图。下面是一个投票系统的视图实例一、viewspolls/

2021-07-26 16:38:14 122

原创 Django数据模型

Django将数据库的语法转换成了 Python 的语法形式，我们只要写 Python 代码就可以了，Django 会把 Python 代码翻译成对应的数据库操作语言，提供了一套 ORM（Object Relational Mapping）系统。一、数据库配置在settings.py里进行设置通常，这个配置文件使用 SQLite 作为默认数据库，如果你想使用其他数据库，你需要安装对应数据库，然后改变设置文件中 DATABASES ‘default’ 项目中的一些键值：ENGINE – 可选值有 ‘d

2021-07-26 16:23:50 276

原创 django 安装和建立项目

django 安装和建立项目一、安装djangopip3 install django查看版本：python -m django --version二、建立django工程打开命令行，cd 到一个你想放置你代码的目录，然后运行以下命令：django-admin startproject mysite这行代码将会在当前目录下创建一个 mysite 目录。mysite/manage.pymysite/init.pysettings.pyurls.pyasgi.pywsg

2021-07-26 15:56:24 229

le0chang的博客