mulangren1988-优快云博客

原创 shell中浮点数比较大小

shell中浮点数比较大小$ a=2.3$ if [ `echo "$a < 2.0" |bc` -eq 1 ];then> echo "$a < 2.0"> else> echo "$a > 2.0"> fi>

2020-07-20 15:25:37 3899

Linux下根据文件大小展示按文件从大到小其是按照由大到小排序ls -Slorll -S如果想要从小到大:ls -Slror ll -Sr如果想要输入是按照“便于人类阅读的方式”，那么就再加一个-h，表示"–human-readable"。ll -Shor ll -Shr这样单位就是k或者M ，比较容易看清楚结果。如果想查看特定类型的文件，比如 excelll -Sh | grep xlsx割 ✂️✂️✂️✂️✂️✂️✂️✂️✂️后续遇到其他有用的用途

2020-06-12 14:46:11 1296

原创 LeetCode.601.Human_Traffic_of_Stadium

601.Human_Traffic_of_Stadiumhttps://leetcode.com/problems/human-traffic-of-stadium/Solution-for-3_or_more consecutive_visit_dateCreate table temp_visit_date select b.id, b.visit_date, b.people,...

2019-06-13 17:17:22 624

原创 LeetCode-262.Trips and Users

LeetCode-262.Trips and Users262.Trips and UsersSQL SchemaTable TripsTable UsersRequiementSolution262.Trips and Users原题链接：https://leetcode.com/problems/trips-and-users/SQL SchemaCreate table If Not...

2019-06-13 10:03:10 349

原创 Azkaban与阿里云EMR-数据开发对比结果

背景目前我司大数据部门使用的 ETL 调度工具是 Apache Azkaban，因为该服务会占用独立的机器，因此考虑迁移到阿里云的 EMR 上，因此在整体迁移之前，我们先做了一下作业配置和工作流调度方面的测试，看看目前 EMR 上的功能能否满足现有的ETL 调度需求。经过几天的文件迁移和工作流调度测试，对两个工具的对比情况进行了整理。Azkaban与阿里云EMR-数据开发对比结果Az...

2019-05-21 17:07:30 1602

转载 2019-03-13#Java中Joda高效处理时间

2019-03-13#Java中Joda高效处理时间在经历的所有的 Java日期处理库中，Joda 是一种令人惊奇的高效工具。无论您是计算日期、打印日期，或是解析日期，Joda都将是工具箱中的便捷工具。参考https://www.cnblogs.com/wihainan/p/5999771.html最常用时间处理DateTime dt = new DateTime();//昨天Da...

2019-03-13 17:19:05 345

原创 hive多分区写入

hive多分区写入-- 多分区写入set mapred.max.split.size=256000000;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=800;set hive.exec.max.dynamic.partitions.pernode=800;INS...

2019-02-22 14:54:14 3731

原创 2017-07-20#Hive Analytics Functions : row_number rank over

2017-07-20#Hive Analytics Functions : row_number rank over在做数据分析是，会统计用户访问app不同页面的开始时间，理论上同一个用户访问不同页面的开始时间应该不同。为了排查app端是否存在bug，用到row_number() over () 窗口函数。row_number oversql如下selecta.gu_id,startti...

2019-02-22 11:25:15 336

原创我国大陆地区的手机号正则匹配

我国大陆地区的手机号正则匹配-- hive sql 测试通过select phone_num RLIKE "^(\\+?86)?((13[0-9])|(14[5,7])|(15[0-3,5-9])|(17[0,3,5-8])|(18[0-9])|161|166|198|199|(147))\\d{8}$"在线正则测试http://tool.oschina.net/regex#测试的时...

2019-02-22 10:28:45 874

原创 Hive 正则提取英文名称和中文名称

Hive 正则提取英文名称和中文名称提取英文名称select regexp_extract("Aptamil 爱他美(德国)",'([A-Z][a-z]*(\\s|$))+', 1);select regexp_extract("Skin 伊思",'(\\w*(\\s|$))+', 1);select regexp_extract("SKIN 伊思",'(\\w*(\\s|$))+',..

2018-11-12 16:51:30 9374 6

原创 2018-11-01#互联网科技日报

1.【字节跳动在印度推广App被诉法院禁止冒用别家名称】字节跳动在印度推广“Helo”，居然以本地App“ShareChat”作为关键字投广告.ShareChat愤而起诉，称除广告问题外，自家产品的功能、观感和各种图标也被抄袭了！印度法院裁定，禁止字节跳动的冒用行为2.【小米滑板车遭Lyft滥用致信要求和后者撇清关系】小米声称Lyft在关于共享电动滑板车业务的广告以及文件中引用了小米的品牌，...

2018-11-01 11:15:57 281

原创 2018-10#技术团队高效开发工具

技术团队高效开发工具团队中，开发工具不统一，遇到问题没有现成解决方案，需要花费额外的时间去处理。因此，有必要在组件团队的一开始，就统一开发工具。以下是很多国内乃至国外开发人员推荐比较多的工具，作为团队中核心基础。文章目录技术团队高效开发工具云笔记代码编辑器文本编辑器版本管理工具浏览器文件实时同步本地文件管理格式化JSON 格式化云笔记有道笔记官网印象笔记官网代码编辑器IDEA ...

2018-10-16 17:28:23 462

原创 2018-09-27#hive数据检查的常见方式

hive数据检查的常见方式主键上的数据是否用重复select phone_segment,count(1) as cntfrom dw.dim_phone_segment_info agroup by phone_segmenthaving cnt &gt; 1;对比去重前后的数据量select count(1), count(distinct phone_num) from dw...

2018-09-27 20:44:06 744

原创 2018-09-27#hive 表写入数据的方式

hive 表写入数据的方式少量数据 insert intocreate table dw.dim_area_code (country_name string comment "国家名称",country_code string comment "国家代码",province_name string comment "省份名称",city_name string comment "地级...

2018-09-27 18:12:17 2569

原创大数据仓库分层

数据仓库分层ODS 与 DW我们的分层ODS 与 DW对于ODS层，一般大家都能够认同它是一种操作型比较强的、未保留历史或者保留近期历史的数据。所谓操作型，是相对分析型而言的。后者多是汇总的、便于分析统计的结构。操作型的另一个特点就是经常会被更新，而分析型数据很少如此。。我们的分层由于2B业务的原因，一个企业一个库，一个订单一张表，因此整体上数据存储比较杂乱。在同步时，我们另外加了一个 B...

2018-09-20 09:45:12 982

原创 hive 非分区表导入csv数据

非分区表-- 示例1：use temp;drop table tmp_cuiwei_main_recommend;create table IF NOT EXISTS tmp_cuiwei_main_recommend( sml_sa_id int,sml_set_time int,sml_cancel_ti...

2018-05-03 16:25:12 575

原创 2018-04-28 hive 常用的日期函数

先看代码最后的私房先看代码## 当前日期和时间SELECT current_timestamp();-- 2018-04-28 11:46:03.136## 获取当前日期，当前是 2018-04-28SELECT current_date;ORSELECT current_date();-- 2018-04-28## 获取unix系统下的时间...

2018-04-28 15:02:05 1488

原创 MySQL-时间+日期函数图

MySQL-时间+日期函数图

2017-11-29 14:52:12 527

原创 gitbash https git credentials 小乌龟 TortoiseGit 配置备忘

gitbash https git credentials 配置备忘第1步找到配置第2步配置htps的证书第3步配置git账户信息访问验证小乌龟界面验证gitbash 更新代码小乌龟创建的配置文件gitbash https git credentials 配置备忘https://git-scm.com/docs/gitcredentials参考官方创建了 .git-credential

2017-11-07 18:54:46 1502

原创 hive mapjoin 方案

hive mapjoin 使用方式和限制

2017-09-22 10:44:41 1470

原创 hive-修改hive表字段的注释

修改hive表字段的注释修改之前hive> desc dw.fct_user_ctag_today;OKuser_id int 用户id user_tag int 精准化新老客标签 rpt_tag

2017-08-23 18:00:43 31951

原创 Git 命令思维导图

Git 命令思维导图

2017-08-09 12:13:50 686

原创健康比什么都重要

健康比什么都重要做开发也不过5年多，但是现在越来越觉得体力不如以前了，每况日下。经常听人说身体是革命的本钱，也经常有人说活久见，不管怎么样，健康的活的长久才有意义。今年的武汉，似乎有很多不安和躁动，哪怕是最近几天的新闻，也是什么被开除员工报复社会，还有同事的小区一位刚刚当爸爸的小伙子在跑步的过程中猝死。武汉的7月太热了，热到一点点都不想动，只想装死，好心静自然凉。

2017-07-29 22:58:49 1009

原创闲暇时光-越是忙碌的时候，越想找一个地方，自在独处

闲暇时光-越是忙碌的时候，越想找一个地方，自在独处

2017-07-28 15:53:01 838

原创闲暇时光-拉黑世界，做回自己

闲暇时光，拉黑世界，做回自己

2017-07-28 15:51:07 850

原创硅谷之谜-工程师的五个等级

工程师的五个等级工程师的五个等级第五等的工程师第四等的工程师第三等的工程师第二等的工程师第一等的工程师读《硅谷之谜》，取他人之长处，补己之不足。本文主要内容摘自《硅谷之谜》，心得似乎只可意会。第五等的工程师是我们在前面提到的能够独立设计和实现一项功能的人。这是对工程师的基本要求，如果一个人只是懂一点工程实现的手段，需要别人告诉他怎么做，那最多算是助理工程师或者技工，不在我们

2017-07-25 21:05:31 3829

原创 Git Flow 咀嚼：git flow 对应的git实现

接触git flow也有很长一段时间了，中途偶尔用了一下，由于自己的手上的项目也不是大型项目，基本都是两三个人在做，master主要还是我自己，用git flow反而比较麻烦。也没有对这个原理进行深入理解。正好这段时间接手了一个项目，想试试git flow，然后就又了解了一下。git flow 的流程，可以用下面纯git命令来实现。

2017-07-25 18:26:40 520

原创在国内做开发，为何很多领导觉得技术精没什么用？

在国内做开发，为何很多领导觉得技术精没什么用？

2017-07-25 08:48:37 684

原创硅谷之谜 - 读书笔记

硅谷之谜 - 读书笔记

2017-07-21 17:30:53 498

原创 Hive Analytics Functions row_number rank over partition by

Hive Analytics Functions row_number rank over partition by

2017-07-20 15:20:12 694

原创 hive mapreduce reducer 调优

hive mapreduce reducer 调优

2017-07-20 09:52:11 1130

原创 hive weekofyear 怪异的姿势

hive weekofyear : Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row

2017-07-19 19:58:56 1248

原创 org.apache.hadoop.mapreduce.task.reduce.Shuffle error in shuffle in fetcher

org.apache.hadoop.mapreduce.task.reduce.Shuffle error in shuffle in fetcher 分析及方案

2017-07-19 14:11:29 6120 1

原创硅谷之谜

硅谷的奇迹不在于它产生的GDP 有多高、技术有多领先，而在于它不断地创造卓越，这既包括那些改变世界的伟大公司、超一流的大学，也包括那些拥有世界情怀的理想主义者。硅谷的奇迹还在于，自诞生以来，硅谷在历次技术革命中都没有落伍。这些才是硅谷独一无二的地方。那么是什么造就了硅谷的成功呢？

2017-07-18 14:15:40 1430 1

原创 Scala Iterator（迭代器）

Scala Iterator（迭代器）不是一个集合，它是一种用于访问集合的方法。迭代器 it 的两个基本操作是 next 和 hasNext。调用 it.next() 会返回迭代器的下一个元素，并且更新迭代器的状态。调用 it.hasNext() 用于检测集合中是否还有元素。让迭代器 it 逐个返回所有元素最简单的方法是使用 while 循环：object IteratorDemo

2017-07-07 14:56:16 611

原创 Scala 字符串插值: s插值

val pageLevelId = 3val pageLevelName = "entrance"val funnel = Map(2 -> List(11111), 4 -> List(7), 3 -> List(402, 403), 5 -> List(1572, 1574))val bg = s"$pageLevelName.page_id = 254" :: s"$pageLevelN

2017-07-07 11:22:50 2921

原创 Scala JDBC 查询和更新MySQL

Scala JDBC 查询和更新MySQL完整代码如下package com.biimport java.sql.{Connection, DriverManager, Timestamp}import java.util.Calendar/** * Created by gongzi on 2017/6/28. */object MySqlConn { // for test en

2017-07-07 09:34:53 2715

原创 Scala File 文件操作

写文件package com.biimport java.io.{File, PrintWriter}/** * Created by gongzi on 2017/6/30. */object FileHandler { def fileWriter(fileName: String, content: String): Unit = { val writer = new P

2017-07-07 09:29:25 3184

原创 scala 枚举类

object PageLevel extends Enumeration{ type PageLevel = Value val entrance = Value(1) val entrance2, guide, guide2, before_goods, goodsPage, shoppingCart, userPay = Value}第1行：通过type定义枚举类型的别名第2行

2017-07-06 20:19:00 670

原创 shell 两个日期之间循环

shell 日期循环#!/bin/bashif [ $# == 2 ]; then datebeg=$1 dateend=$2else echo "请输入开始时间和结束日期，格式为2017-04-04" exit 1fitStart=$(date +%s)THIS="$0"THIS_DIR=`dirname "$THIS"`cd ${THIS_DIR}beg_

2017-07-05 18:14:32 2760

Git for Windows x64 2017年8月更新

说明：现在上传的资源无法设置为0分，更全的下载渠道见博客：http://blog.youkuaiyun.com/mulangren1988/article/details/60324070 Git for Windows 主要提供了一个轻量的、本地化的git 命令工具，提供了命令行下的全功能界面操作。 Git for Windows 提供了一个仿真环境，可以从windows命令行执行git命令. *NIX 用户应该会觉得很顺手, 在这个仿真环境下，使用git命令跟linux 和 UNIX 一样一样的。 Windows 用户基本一关于图形界面, Git for Windows 同样提供了一套Git图形操作界面, 功能强如Git BASH, 每一git命令都有对应的界面操作, 甚至包括必不可少的diff 工具. 希望使用shell命令？超简单的，在任何一个文件夹下，鼠标右键，在弹出菜单中选择git bash

2017-08-22

Git for Windows 32位 2017年8月更新

说明：现在上传的资源分没法设置成0分，更全的下载渠道见博客：http://blog.youkuaiyun.com/mulangren1988/article/details/60324070 Git for Windows 主要提供了一个轻量的、本地化的git 命令工具，提供了命令行下的全功能界面操作。 Git for Windows 提供了一个仿真环境，可以从windows命令行执行git命令. *NIX 用户应该会觉得很顺手, 在这个仿真环境下，使用git命令跟linux 和 UNIX 一样一样的。 Windows 用户基本一关于图形界面, Git for Windows 同样提供了一套Git图形操作界面, 功能强如Git BASH, 每一git命令都有对应的界面操作, 甚至包括必不可少的diff 工具. 希望使用shell命令？超简单的，在任何一个文件夹下，鼠标右键，在弹出菜单中选择git bash。

2017-08-22

Visual Studio Code 完美的免费的code编辑器

VS Code（Visual Studio Code）是由微软研发的一款免费、开源的跨平台文本（代码）编辑器。几乎完美的编辑器。是Sublime和Atom的强力竞争对手。 VSC 的编辑器界面依然是微软经典的 VS 风格，对于常接触的人来说会很亲切。在编程语言和语法上支持 C++, jade, PHP, Python, XML, Batch, F#, DockerFile, Coffee Script, Java, HandleBars, R, Objective-C, PowerShell, Luna, Visual Basic, Markdown, JavaScript, JSON, HTML, CSS, LESS, SASS, C#, TypeScript (支持情况)。经实际体验测试，VS Code 的启动速度以及打开大型文件的速度都非常迅速流畅，完全不卡，加载大文件几乎秒开，相比 Atom、Sublime Text 等感觉都要优秀！这一点对于某些追求效率的朋友来说的确非常诱人！文档：https://code.visualstudio.com/docs 源码：https://github.com/Microsoft/vscode

2017-06-15

Git-2.12.2.2-32-bit Git for Windows 2017 32位

首先，这个是32位的。然后呢，Git for Windows 主要提供了一个轻量的、本地化的git 命令工具，提供了命令行下的全功能界面操作。 Git for Windows 提供了一个仿真环境，可以从windows命令行执行git命令. *NIX 用户应该会觉得很顺手, 在这个仿真环境下，使用git命令跟linux 和 UNIX 一样一样的。 Windows 用户基本一关于图形界面, Git for Windows 同样提供了一套Git图形操作界面, 功能强如Git BASH, 每一git命令都有对应的界面操作, 甚至包括必不可少的diff 工具. 希望使用shell命令？超简单的，在任何一个文件夹下，鼠标右键，在弹出菜单中选择git bash

2017-04-11

Git for Windows 2017 绿色最新版

Git for Windows 主要提供了一个轻量的、本地化的git 命令工具，提供了命令行下的全功能界面操作。 Git for Windows 提供了一个仿真环境，可以从windows命令行执行git命令. *NIX 用户应该会觉得很顺手, 在这个仿真环境下，使用git命令跟linux 和 UNIX 一样一样的。 Windows 用户基本一关于图形界面, Git for Windows 同样提供了一套Git图形操作界面, 功能强如Git BASH, 每一git命令都有对应的界面操作, 甚至包括必不可少的diff 工具. 希望使用shell命令？超简单的，在任何一个文件夹下，鼠标右键，在弹出菜单中选择git bash

2017-03-04

全球移动消费者调查之东南亚

2017-02-28

2016互联网家装白皮书-网易家居

2016互联网家装白皮书-网易家居: 1. 互联网家装发展背景 2. 互联网家装市场现状 3. 竞争关键点剖析 4. 互联网家装市场的未来

2017-02-23

secureCRT_x64_8.0.3.1183安装激活+教程

secureCRT_x64_8.0.3.1183安装激活+教程。已经很详细了，如果使用中遇到问题，请与我联系

2017-02-21

阿里巴巴Java开发手册2017-02-正式版

阿里巴巴Java开发手册2017-02-正式版。

2017-02-21

freemind1.0最新版思维导图软件开源免费上手快

FreeMind是一套由Java撰写而成的实用的开源思维导图/心智(MindMap)软件，可用来帮助你整理思绪的工具软体，可将每一个环节用图形表示，透过将思路图形化、结构化，帮助你对整个作业流程的了解。FreeMind开发项目组正致力于使其成为一款高效率的工具。FreeMind具有一键“展开/折叠”功能以及“链接”跟随操作，因而比MindManager的操作与导航更便捷。如果你也经常感到思维发散，头绪繁多，可以试试脑图软件。它可用来作为: 1.管理项目(包括子任务的管理，子任务的状态，时间记录，资源链接管理). 2.笔记或知识库. 3.文章写作或者头脑风暴. 4.结构化的存储小型数据库. 使用FreeMind必须安装Java Runtime Enviornment。 1. 支援了资料夹的概念。 2. 聪明的剪贴功能，能剪贴多种格式的文件类别。 3.可输出成为HTML档。 4. 支援不同作业平台。 5. 提供多种语言版本。 6. 可转不同图档格式。什么是Mindmap？它是由英国人托尼·巴赞创造的一种笔记方法，和传统的直线记录方法完全不同，它以直观形象的图示建立起各个概念之间的联系。在国内，MindMap又被称为脑图或思维导图。Freemind 是一款Java程序，它可以帮你在一些随机的内容之间建立起有机的联系。在Freemind中，首先你需要选中一个主题，然后从几个节点开始不断丰富 Mindmap的内容。每次加入新的元素，你都可以用连线将它与原有的元素联系起来。最终的Mindmap可以用HTML文档的形式输出。该软件的帮助信息十分全面，即便你对Mindmap不太熟悉也可以按照它的提示很快掌握Mindmap概念及软件的使用。

2011-06-17

Validator表单的验证整理

表单的验证一直是网页设计者头痛的问题，表单验证类 Validator就是为解决这个问题而写的，旨在使设计者从纷繁复杂的表单验证中解放出来，把精力集中于网页的设计和功能上的改进上。 Validator是基于JavaScript技术的伪静态类和对象的自定义属性，可以对网页中的表单项输入进行相应的验证，允许同一页面中同时验证多个表单，熟悉接口之后也可以对特定的表单项甚至仅仅是某个字符串进行验证。因为是伪静态类，所以在调用时不需要实例化，直接以"类名+.语法+属性或方法名"来调用。此外，Validator还提供3种不同的错误提示模式，以满足不同的需要。

2011-03-22

Extjs3.3 中文 chm格式

Ext包括多种控件，可以实现各种各样的功能文本框和文本域控制，可以控制文本框和文本域中的内容过滤，实现所见即所得的编辑形式。单选框和复选框控制 Grid control(表格控件)：可以轻松的实现表格数据统计，拖放。树形控制：生成树形目录，编辑管理树，点击展开或是关闭。 Tabs：可活动的标签页，标签页组，可自由添加和删除的标签页，功能丰富。工具条：在面板中可以方便的插入顶部工具条或是底部工具条，实现各种复杂的功能。桌面应用程序菜单：可以制作类似于Windows桌面的网页菜单。灵活的面板布局：将一个面板划分为东南西北中(ESWNC)五个部分，每个部分可以放不同的内容。滚动条：用滚动条来控制数据的显示。 Flash图表：flash制作的数据图表功能。

2011-03-22

TA关注的人

Git for Windows x64 2017年8月更新

Git for Windows 32位 2017年8月更新

Visual Studio Code 完美的免费的code编辑器

Git-2.12.2.2-32-bit Git for Windows 2017 32位

Git for Windows 2017 绿色最新版

全球移动消费者调查之东南亚

2016互联网家装白皮书-网易家居

secureCRT_x64_8.0.3.1183安装激活+教程

阿里巴巴Java开发手册2017-02-正式版

freemind1.0最新版思维导图软件 开源 免费 上手快

Validator表单的验证整理

Extjs3.3 中文 chm格式

HQL语法大全，并带有详细的例子

AJAX实例入门讲解

C++ Primer（第4版）完整习题答案

MapReduce的过程中，在不同的阶段中间数据是存储在哪里，内存还是本地磁盘还是hdfs？

大家在Scala项目开发过程中，感觉那个Scala ORM框架比较好？具体是怎么用的？

linux上nohup运行的程序，将输出都写到日志中，现在日志越来越大，如果不关闭程序，有什么办法？

freemind1.0最新版思维导图软件开源免费上手快