- 博客(29)
- 收藏
- 关注
RSS订阅转载 静态语言和动态语言的区别
转载：https://blog.youkuaiyun.com/hard_days/article/details/84967298基本概念动态类型语言：在运行期进行类型检查的语言，也就是在编写代码的时候可以不指定变量的数据类型，比如Python和Ruby 静态类型语言：它的数据类型是在编译期进行检查的，也就是说变量在使用前要声明变量的数据类型，这样的好处是把类型检查放在编译期，提前检查可能出现的类型错误，典型代表C/C++和Java 强类型语言，一个变量不经过强制转换，它永远是这个数据类型，不允许隐式的类型
2020-07-14 00:24:08
462
转载 hive执行报错：Both left and right aliases encountered in JOIN
原因：两个表join的时候，不支持两个表的字段 非相等 操作。可以把不相等条件拿到 where语句中。SELECT * FROM T1LEFT JOIN T2 on T1.id=T2.id and T1.name != T2.name...
2018-12-11 21:38:37
8229
原创 事故报告模板
没有写过事故报告的程序员不是好程序员（捂脸）。事故报告需要包含以下内容：事故概述事故过程回顾（从发现问题到解决问题）事故责任人、影响范围和损失情况，严重程度评级事故原因分析处理措施后续跟进（如何采取措施避免出现类似问题）...
2018-12-02 18:33:23
12037
原创 线上事故反思
16年刚开始工作的时候，因为误操作数据库造成了线上事故。当时进行了总结反思，现在回头再看，有了新的感悟和思考（细体为16年记录，粗体为近期更新）制度问题：这是当时我忽视的一点，现在来看，恰恰是最重要的一点。是人总会犯错误，稳定性和可靠性必须建立在正确合理的制度之上，通过制度的规范发现和纠正人的错误。就误操作线上数据库这一事件而言简单的制度应该是：限制开发人员对线上数据库的操作权限（理论...
2018-12-02 18:21:25
2037
1
原创 MongoDB进阶——高级查询和聚合统计（aggregate)
MongoDB初识——安装连接（centos）https://blog.youkuaiyun.com/maxmao1024/article/details/84426836MongoDB入门——增删改查https://blog.youkuaiyun.com/maxmao1024/article/details/845286491. 数据准备> use test> db.event.drop()&...
2018-11-27 22:51:39
30402
1
原创 MongoDB入门——增删改查
centos下的 MongoDB 安装和使用这一节介绍一下 MongoDB 基本的使用方法，增删改查。首先简单说明一下 mongo 的三层逻辑存储结构：数据库(db), 集合(collection), 文档(document)数据库包含多个集合，集合包含多个文档，文档以Json格式存储。和关系型数据库的对应关系如下MongDBMysql数据库数据库集合表...
2018-11-26 10:52:51
860
原创 MongoDB初识——安装连接（centos）
1. 安装1.1 把Mongo的安装配置添加的yum中vi /etc/yum.repos.d/mongodb-org-3.4.repo添加以下内容[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.4/x86_64/gpg...
2018-11-24 10:14:52
688
原创 -bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory
mac 连接 centos 服务器时报警告：-bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory原因是 ssh连接的时候会传递环境变量，这个变量如在服务器没有本地的环境，就会报这个错误，其实就是$LC_CTYPE 这个环境变量导致的。LC_CTYPE这个参数，m...
2018-11-23 17:49:20
12958
3
原创 程序员的核心竞争力
离职之前，结合《程序员修炼之道》一书、几篇热门博客以及自己的一些思考，给大家做了一个关于程序员核心竞争力的分享。程序员的核心竞争力是什么？这是一个开放的问题，技术基础、学习能力、分析能力等，都是合理的答案，但是相对片面，在我看来，解决问题的能力是这些基础能力的综合也是最终的体现，是核心之所在。这里对于需要解决的问题的定义比较宽泛，包括新的功能需求、性能优化需求、程序问题（bug）以及开发中的规...
2018-11-23 17:20:59
1105
原创 灰度发布和AB Test
文章目录一、灰度发布1. 简介2. 优点3. 缺点二、AB Test1. 简介2. 优缺点3. 核心思想4. 实现步骤三、实现方案1. nginx控制2. 后台代码控制3. 前端代码控制四、第三方框架五、参考资料一、灰度发布1. 简介灰度发布，是指在黑与白之间，能够平滑过渡的一种发布方式。通过不同策略对用户进行分流，不同的用户组使用不同的应用版本。2. 优点互联网服务变动频繁，发布周期...
2018-11-20 16:55:37
1562
原创 Python 连接 Hive
安装组件pip install saslpip install thriftpip install thrift-saslpip install pyhivedemofrom pyhive import hiveconn = hive.Connection(host="xxx.xxx.xxx.xxx", port=10000, username="root", databa...
2018-11-20 11:21:07
211
原创 催收分案设计
1. 业务背景逾期账单会进入催收阶段，需要制定和实施合理的催收方案，跟踪催回情况，及时调整分案策略2. 业务内容评估逾期：根据历史逾期情况和到期账单数，估计未来一个月的需要催收的账单数量确定策略：商务与催收公司协商，结合公司情况和逾期评估，制定催收策略，签订协议分案：根据分案规则使用不同的催收方式，将订单分派给不同的催收人员报表：统计分案情况，跟踪催回率，对催收策略进行调整结算：催...
2018-11-20 11:16:49
7121
原创 项目发布邮件模板
负责过多次项目发布的工作，深感发布邮件是比较重要的一个环节，对初创公司有一定的参考价值。项目介绍项目名称，项目内容，发布时间，发布方式（是否停机）发布前准备工作版本号准备，项目回滚方案准备，潜在问题应对方案准备，C端和B端的通知发布流程时间点，负责人员，负责内容发布项目列表配置修改列表数据库修改内容发布后工作线上回归测试安排运营、客服跟进遗留问题和潜在风险...
2018-11-14 10:27:20
4626
原创 数据仓库简介
1. 定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合面向主题：数据仓库的设计和实现围绕主题展开集成的：所有与数据仓库主题相关的数据（业务数据库，业务日志等）都集中加载到数据仓库随时间变化：最新生成的数据按照设置的周期定时加载到数据仓库相对稳定：源数据加载成功后，一般不会修改，只执行查询操作2. 目标从数据中挖掘价值，为决策提供依据分析用户行为...
2018-11-12 23:33:31
444
原创 pandas 入门
pandas 数据结构 series（一维）, DataFrame（二维）, Panel（少用）输出不显示省略号# 行或列的数量多的时候，pandas 的输出会默认用省略号代替pandas.set_option('display.max_rows',None)pd.set_option('display.max_colwidth',None)创建orde...
2018-07-23 09:18:11
316
原创 python wordcloud 词云
词云是最近比较流行的一个玩法，javascript, python, R 等语言都有库可以实现。简单介绍一下python的wordcloud。github: https://github.com/amueller/word_cloud示例代码地址： 1. 安装pip install wordcloud2. 入门例子constitution.py...
2018-07-22 22:21:22
421
原创 pipenv
1. 简介python的开发者对包管理工具pip 和它的配置文件requirement.txt 都很熟悉，但是使用中很可能遇到这样的问题，pip install 安装了新包，但是忘记更新requirments.txt，导致项目在其他环境运行的时候报错。为什么不能在安装的时候自动更新配置文件呢？pipenv实现了这个痛点。pipenv 兼备了 virtualenv 和 pip 的功能，并...
2018-07-21 22:50:12
511
原创 docker 入门
基本概念 镜像，容器，客户端，主机，仓库，Machine优点方便部署，易于扩展提高资源利用率，节约成本安装yum -y install docker-io # centosbrew cask install docker # mac 下载有点慢，下了三次才成功启动service docker start # centoslaunchp...
2018-06-22 10:00:37
229
原创 flask Blueprint (application factories)
一个最小的flask 应用server.pyfrom flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return 'Hello, World!'启动应用：$ export FLASK_APP=server.py$ flask run * Runni...
2018-04-10 00:04:21
219
原创 Restful API 以及对 Put/Post 区别理解
REST: Representational State Transfer RESTful API: 符合REST设计标准的APIRESTful 设计标准： url 对应服务器上的一种资源，e.g. 数据，图片等，所以url 中只含有名词，通过HTTP动词来描述对资源的操作方式。 url示例：https://api.example.com/v1/zoosHTTP 动词G...
2018-03-17 14:18:53
38592
原创 mysql 未提交事务问题定位和解决 (pymysql的autocommit)
起因：下午同事在修改表结构时，发现修改语句被阻塞无法执行。查询后发现有几个事务已经执行了几个小时，一直没有提交，修改表结构的操作必须等待所有已经开启的事务提交后才能执行。查看事务 select * from information_schema.INNODB_TRX\G; 查看线程 SELECT * FROM information_schema.processlist;只能...
2018-03-15 23:45:30
9369
原创 对控制反转（IOC）的理解
IOC(Inversion of Control)，即控制反转，是一种设计思想。在Java开发中，IOC意味着将你设计好的对象交给容器控制，而不是传统的在你的对象内部直接控制。IOC 是Spring框架的核心思想之一。传统的依赖关系和实现方式： 复杂对象包含简单对象，复杂对象的实现依赖于简单对象的实现，比如汽车包含轮子，汽车对象依赖于轮子对象，在汽车类的实现中会调用轮子类生成实例对象，这样的...
2018-03-11 22:50:17
1337
原创 mac环境 安装和使用sqoop
1. 安装和配置brew install sqoop sqoop versioncd /usr/local/Cellar/sqoop/1.4.6/libexec/confcp sqoop-env-template.sh sqoop-env.shvim sqoop-env.sh export HADOOP_HOME="/usr/local/Cellar/hadoop/3.0...
2018-03-08 00:12:11
1625
转载 Mac上Hive环境搭建
[原文链接](https://www.cnblogs.com/micrari/p/7067968.html)本文介绍在Mac上搭建Hive环境。建议首先配置好Hadoop，搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置。当然你也可以选择使用Docker搭建环境，本文不作介绍。安装对于MacOs，推荐使用HomeBrew安装hive，一步到位。$ brew install...
2018-02-23 10:52:36
1046
转载 [Mac] 记录使用Homebrew安装Mysql全过程
环境操作系统：macOS Sierra Version 10.12.1 Homebrew：1.1.7步骤安装Homebrew，详细步骤参见Homebrew官网。brew doctor确认brew在正常工作。brew update更新包。brew ins...
2018-02-22 17:11:32
246
原创 mac 搭建hadoop伪分布式
公司因为业务需求使用Hbase存储和分析数据。在mac上搭建hadoop伪分布式，记录过程如下。准备工作： - 安装brew - 安装java开发环境1. 安装brew install hadoop hadoop version # 查看安装版本, 目前默认安装版本是 3.0.02. 配置进入配置目录 cd /usr/local/Cellar/hadoo...
2017-12-19 23:44:46
1558
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人