<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yown的专栏]]></title><description><![CDATA[专注无线Wap和Web网站专业建设及应用软件开发,为您提供专业的网站建设和软件开发设计解决方案! ]]></description><link>https://blog.youkuaiyun.com/yown</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yown]]></copyright><item><title><![CDATA[Mongodb pipeline批处理distinct+group by、case when]]></title><link>https://blog.youkuaiyun.com/yown/article/details/84145326</link><guid>https://blog.youkuaiyun.com/yown/article/details/84145326</guid><author>yown</author><pubDate>Fri, 16 Nov 2018 20:25:03 +0800</pubDate><description><![CDATA[最近在做一个分享统计，分享记录user_share_log结构如下：



使用pipeline统计每个用户分享的文章个数及访问次数（相当于distinct+group by）
思路：先获得每个用户每个文章的访问次数，然后再分组统计每个用户分享的文章个数和累计访问次数。这两步统计我们直接使用pipeline进行两个group操作。如下：

db.runCommand({ 
 &amp;amp;quot;aggregate&amp;amp;quot;...]]></description><category></category></item><item><title><![CDATA[Mongodb aggregate 统计SQL(金额分类、分时统计、left join)]]></title><link>https://blog.youkuaiyun.com/yown/article/details/80671280</link><guid>https://blog.youkuaiyun.com/yown/article/details/80671280</guid><author>yown</author><pubDate>Tue, 12 Jun 2018 21:15:08 +0800</pubDate><description><![CDATA[记录一下用到的微信订单统计SQL:

- 订单统计：

db.orders.aggregate(
  { $match:{createDay:20180611} },
  { $group:{_id:null, recordCount:{$sum:1}, amount:{$sum:&amp;amp;amp;quot;$totalAmount&amp;amp;amp;quot;}, avgValue:{$avg:&amp;amp;amp;quot;$totalAmount&amp;amp;amp;quot;}]]></description><category></category></item><item><title><![CDATA[健康话语:心悸]]></title><link>https://blog.youkuaiyun.com/yown/article/details/77621534</link><guid>https://blog.youkuaiyun.com/yown/article/details/77621534</guid><author>yown</author><pubDate>Sun, 27 Aug 2017 17:08:21 +0800</pubDate><description><![CDATA[作为一个编程十年的老兵，特把发生在自己身上的一些健康问题整理记录下来，以便给大家参考，重视健康。同时也请关注、关心身边这一特殊群体的身心问题。病情：最近好多天发现上下楼梯有些吃力、腿脚有时不灵敏走路不稳、腋窝出现溃烂、早上醒得早、有时觉得心隐隐作痛，难受，头顶好像盖着什么厚布一样、眼睛容易疲劳、身心没有以前那么愉悦。诊断：觉察这些问题于是认为一定是身体出了什么毛病，赶紧找了一家心脑血管医院看病...]]></description><category></category></item><item><title><![CDATA[SaaS微服务十二要素应用宣言（The Twelve-Factor App）]]></title><link>https://blog.youkuaiyun.com/yown/article/details/77621023</link><guid>https://blog.youkuaiyun.com/yown/article/details/77621023</guid><author>yown</author><pubDate>Sun, 27 Aug 2017 16:07:47 +0800</pubDate><description><![CDATA[最近也在做SAAS平台，看到这个设计原则非常具有指导意义，故特转发供学习之用。十二要素应用宣言简介：Heroku是业内知名的云应用平台，从对外提供服务以来，他们已经有上百万应用的托管和运营经验。前不久，创始人Adam Wiggins根据这些经验，发布了一个“十二要素应用宣言（The Twelve-Factor App）”。]]></description><category></category></item><item><title><![CDATA[IDEA使用技巧、快捷键一览表]]></title><link>https://blog.youkuaiyun.com/yown/article/details/73877115</link><guid>https://blog.youkuaiyun.com/yown/article/details/73877115</guid><author>yown</author><pubDate>Thu, 29 Jun 2017 10:49:38 +0800</pubDate><description><![CDATA[Idea 使用技巧、常用快捷键 
1.Ctrl＋E，可以显示最近编辑的文件列表 
2.Shift＋Click可以关闭文件 
3.Ctrl＋[或]可以跳到大括号的开头结尾 
4.Ctrl＋Shift＋Backspace可以跳转到上次编辑的地方 
5.Ctrl＋F12，可以显示当前文件的结构 
6.Ctrl＋F7可以查询当前元素在当前文件中的引用，然后按F3可以选择 
7.Ctrl＋N，可以快速打开类 ...]]></description><category></category></item><item><title><![CDATA[闪亮的新星--Spark大数据处理平台]]></title><link>https://blog.youkuaiyun.com/yown/article/details/73730189</link><guid>https://blog.youkuaiyun.com/yown/article/details/73730189</guid><author>yown</author><pubDate>Tue, 27 Jun 2017 12:14:05 +0800</pubDate><description><![CDATA[时下，大数据概念非常火热，相关处理技术也在各行各业中应用开来，并开始展露头角：如我国已建成的国家级大数据中心，在证券行业兴起的云投顾、交易所大数据监察等等。那作为一名技术人员，如何紧跟发展趋势，学习并掌握大数据处理技术呢? 本文将主要介绍什么是大数据及特点、发展历程、Hadoop简介、着重讲解Spark特点、体系结构、生态 、学习路线。（后续将陆续推出实战进阶内容，敬请期待）一、何为“大数据”? 有]]></description><category></category></item><item><title><![CDATA[开源搜索平台选型：ElasticSearch、Solr]]></title><link>https://blog.youkuaiyun.com/yown/article/details/72804737</link><guid>https://blog.youkuaiyun.com/yown/article/details/72804737</guid><author>yown</author><pubDate>Mon, 29 May 2017 22:38:35 +0800</pubDate><description><![CDATA[由于系统积累的数据量越来越多（如访问日志、log4j打印的日志等）且散布在各应用的各服务器中，使得日志的查看、存储管理变得非常复杂，不得不去各机器上查找与存储管理。有没有一种平台可以省心地查找并集中存储管理好这些日志呢？经过选型比对，我们最终通过引入搜索平台来查找、管理这些日志数据。搜索平台有许多，但用的比较多的开源系统就属ElasticSearch、Solr，这两个搜索引擎都是基于建立在全文搜索引]]></description><category></category></item><item><title><![CDATA[Mongodb语句性能诊断、调优tuning]]></title><link>https://blog.youkuaiyun.com/yown/article/details/68942990</link><guid>https://blog.youkuaiyun.com/yown/article/details/68942990</guid><author>yown</author><pubDate>Sat, 01 Apr 2017 12:02:54 +0800</pubDate><description><![CDATA[线上发现查询mongodb中的用户积分变慢（超过2s），mongodb有和mysql类似的慢查询诊断方法，先开启慢查询：连上mongodb控制台，开启慢查询功能**：
[root@mongo ~]# mongo
mncg:PRIMARY> use admin
mncg:PRIMARY> db.auth('admin','*****')
mncg:PRIMARY> db.getProfilingLev]]></description><category></category></item><item><title><![CDATA[Nginx、tomcat访问日志准实时分析统计--goaccess]]></title><link>https://blog.youkuaiyun.com/yown/article/details/56027112</link><guid>https://blog.youkuaiyun.com/yown/article/details/56027112</guid><author>yown</author><pubDate>Mon, 20 Feb 2017 20:49:00 +0800</pubDate><description><![CDATA[需求：及时得到线上用户访问日志分析统计结果，以便给开发、测试、运维、运营人员提供决策！找了各种工具，最终还是觉得goaccess不仅图文并茂，而且速度快，每秒8W 的日志记录解析速度，websocket10秒刷新统计数据，站大巨人肩膀上你也会看得更远…先上图： 
具体方案如下步骤： 
一、linux上安装goaccess（版本 1.1.1，一般安装在nginx所在机器上的/opt目录） 
    a]]></description><category></category></item><item><title><![CDATA[spark与storm比对与选型]]></title><link>https://blog.youkuaiyun.com/yown/article/details/55000097</link><guid>https://blog.youkuaiyun.com/yown/article/details/55000097</guid><author>yown</author><pubDate>Sun, 12 Feb 2017 11:42:13 +0800</pubDate><description><![CDATA[大数据实时处理平台市市场上产品众多，本文着重讨论spark与storm的比对，最后结合场景进行选型。

主要内容：
一、spark与storm的比较
二、应用场景分析]]></description><category></category></item><item><title><![CDATA[剖析TCP/IP协议建立和释放连接的三次握手与四次挥手过程]]></title><link>https://blog.youkuaiyun.com/yown/article/details/53958997</link><guid>https://blog.youkuaiyun.com/yown/article/details/53958997</guid><author>yown</author><pubDate>Sat, 31 Dec 2016 23:22:25 +0800</pubDate><description><![CDATA[最近在与X公司进行http api联调时积累了一些关于tcp/ip协议建立和释放连接的三次与四次挥手的详细过程，顺便也回顾一下tcp/ip协议方面的知识。本文首先介绍tcp/ip包结构和tcpdump的基本使用方法，到连接建立的三次握手及tcpdump抓包分析，再到连接释放的四次挥手及tcpdump抓包分析。一、先来了解一下tcp/ip的包结构： 
 
主要说明一下上图中几个字段： 
    序号：]]></description><category></category></item><item><title><![CDATA[Mongodb数据统计分析：group by、count(distinct userId)]]></title><link>https://blog.youkuaiyun.com/yown/article/details/53946781</link><guid>https://blog.youkuaiyun.com/yown/article/details/53946781</guid><author>yown</author><pubDate>Fri, 30 Dec 2016 22:31:09 +0800</pubDate><description><![CDATA[最近在做mongodb数据统计查询，需求：统计一段时间内每天的分享次数和分享人数? 查了众多资料，居然未找到好的方案，最终还是自己写函数解决了，现分享出来（若有好的方法请指出）：
表t_share_log结构(习惯这么叫，虽mongodb中为collection):  字段名
  类型
  说明  id
  string
  记录id
  gmtCreate
  date
  创建时间
  user]]></description><category></category></item><item><title><![CDATA[大数据学习资源整理]]></title><link>https://blog.youkuaiyun.com/yown/article/details/53411006</link><guid>https://blog.youkuaiyun.com/yown/article/details/53411006</guid><author>yown</author><pubDate>Wed, 30 Nov 2016 17:34:35 +0800</pubDate><description><![CDATA[大数据定义与5V特征： 
  “大数据”（Big data）研究机构Gartner定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 
   大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。大数据国内发展历程：2015年9月，国务院印]]></description><category></category></item><item><title><![CDATA[mysql保存不了微信表情符emoji问题解决方案]]></title><link>https://blog.youkuaiyun.com/yown/article/details/52627223</link><guid>https://blog.youkuaiyun.com/yown/article/details/52627223</guid><author>yown</author><pubDate>Thu, 22 Sep 2016 20:36:48 +0800</pubDate><description><![CDATA[问题描述：当微信昵称中有emoji表情符时，mysql数据库报更新异常：java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\x94' for colum n 'nickname' at row 1at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)at]]></description><category></category></item><item><title><![CDATA[MySQL创建Function时报错误码1418的解决方案]]></title><link>https://blog.youkuaiyun.com/yown/article/details/52511926</link><guid>https://blog.youkuaiyun.com/yown/article/details/52511926</guid><author>yown</author><pubDate>Mon, 12 Sep 2016 11:17:55 +0800</pubDate><description><![CDATA[最近在创建function时，系统提示以下错误： 
This function has none of DETERMINISTIC, NO SQL, 
or READS SQL DATA in its declaration and binary logging is enabled(you might want to use the less safe log_bin_trust_function]]></description><category></category></item><item><title><![CDATA[Scrum敏捷研发体系初探]]></title><link>https://blog.youkuaiyun.com/yown/article/details/52072340</link><guid>https://blog.youkuaiyun.com/yown/article/details/52072340</guid><author>yown</author><pubDate>Sat, 30 Jul 2016 13:24:33 +0800</pubDate><description><![CDATA[当下“互联网+” 已深入人心，软件行业也在适应时代变化要求，做出适应性变革：如何接纳并响应变化、加快研发速度、持续交付软件价值乃是当务之急！近年来敏捷研发过程已得越来越多地得到世界各地软件公司特别是中小型创业团队的亲睐，让我们以审视的态度一起来看看敏捷研发到底是怎样的？汲取精华，打造属于我们自己的敏捷研发体系！]]></description><category></category></item><item><title><![CDATA[Mongodb高级进阶 MapReduce]]></title><link>https://blog.youkuaiyun.com/yown/article/details/51744910</link><guid>https://blog.youkuaiyun.com/yown/article/details/51744910</guid><author>yown</author><pubDate>Thu, 23 Jun 2016 16:47:05 +0800</pubDate><description><![CDATA[当前我们会对一些大量的访问日志、交易记录等存储到Mongodb中(也可以以其它方式存放)，以便进行统计分析，这里举例来说明Mongodb的MapReduce功能(和Hadoop的MapReduce原理相似)。先看一张图： 
 
如上图所示：orders订单字段有：客户id(cust_id)、数量(amount)、状态(status)，mapReduce的map处理过程：对状态为A的记录以cust_i]]></description><category></category></item><item><title><![CDATA[nosql mongodb group分组统计及索引优化]]></title><link>https://blog.youkuaiyun.com/yown/article/details/51720979</link><guid>https://blog.youkuaiyun.com/yown/article/details/51720979</guid><author>yown</author><pubDate>Mon, 20 Jun 2016 15:20:30 +0800</pubDate><description><![CDATA[最近在做mongodb的分析统计，发现group分组有多种做法，和sql还真是不太样，需要写点js代码，直接贴示例代码：这是我的collection，名字：t_user_score 
public class UserScore implements Serializable { 
  … 
  private Integer userId; 
  private BigDecimal userSc]]></description><category></category></item><item><title><![CDATA[CentOS7安装Docker与使用篇]]></title><link>https://blog.youkuaiyun.com/yown/article/details/51525035</link><guid>https://blog.youkuaiyun.com/yown/article/details/51525035</guid><author>yown</author><pubDate>Sat, 28 May 2016 15:14:34 +0800</pubDate><description><![CDATA[CentOS7安装Docker与使用篇，介绍了docker的安装、使用过程、docker镜像的上传等]]></description><category></category></item><item><title><![CDATA[Nosql Mongodb 并发控制之乐观锁]]></title><link>https://blog.youkuaiyun.com/yown/article/details/51501331</link><guid>https://blog.youkuaiyun.com/yown/article/details/51501331</guid><author>yown</author><pubDate>Wed, 25 May 2016 20:11:42 +0800</pubDate><description><![CDATA[我们知道sql中并发控制采用的乐观锁就是在记录中增加版本号或timestamp，那么mongodb中如何实现呢？Mongodb不善于处理事务，但提供了findAndModify命令。该命令允许对文档进行原子性更新，并在同一次调用中返回： 
代码如如：db.collection_yown.findAndModify(
    {
      query:{"name":"yown"},update:{]]></description><category></category></item></channel></rss>