- 博客(29)
- 收藏
- 关注
RSS订阅转载 项目管理经验
1. 大项目拆分成小项目，分几期完成；2. 设定每一期的目标和时间节点，设定大的里程碑事件；3. 把目标拆分到人，与每个人商量制定时间表并定期跟进发现项目风险并解决。转载于:https://www.cnblogs.com/wedata/p/5544822.html...
2016-05-31 09:37:00
140
转载 Cloudera Manager和CDH安装
主要参考文章：http://www.cnblogs.com/jasondan/p/4011153.html1. CM目录http://archive.cloudera.com/cm5/cm/5/2. CDH parchel目录https://archive.cloudera.com/cdh5/parcels/CM和CDH版本一定要一致，否则CM识别不了CDH...
2016-05-26 19:30:00
158
转载 数据库开发备忘
1. null与数字做运算的到得还是null，如select (NULL+100)/10结果为null，解决办法：用nvl处理select (NVL(NULL,0)+100)/10转载于:https://www.cnblogs.com/wedata/p/5500315.html...
2016-05-17 09:26:00
131
转载 django开发备忘
1. 进入home目录，创建apppython manage.py startapp nowamagic2.报错:django.core.exceptions.ImproperlyConfigured: Requested setting DEFAULT_INDEX_TABLESPACE, but settings are not configured. You must...
2016-04-26 22:03:00
89
转载 wedata系列------从0开始搭建一套数据化运营系统
404转载于:https://www.cnblogs.com/wedata/p/5433683.html
2016-04-26 08:59:00
165
转载 wedata系列------从0开始搭建一套数据应用系统
404转载于:https://www.cnblogs.com/wedata/p/5433673.html
2016-04-26 08:53:00
248
转载 wedata系列------从0开始搭建一套数据营销系统
接入第三方推广渠道转载于:https://www.cnblogs.com/wedata/p/5433659.html
2016-04-26 08:44:00
245
转载 wedata系列------从0开始搭建一套数据处理系统
pandas，spark转载于:https://www.cnblogs.com/wedata/p/5433655.html
2016-04-26 08:43:00
358
转载 wedata系列------从0开始搭建一套数据报表系统
echarst,highcharts转载于:https://www.cnblogs.com/wedata/p/5433652.html
2016-04-26 08:42:00
319
转载 wedata系列------从0开始搭建一套数据ETL系统
通过前端页面拼凑SQL，通过接口请求SQL转载于:https://www.cnblogs.com/wedata/p/5433651.html
2016-04-26 08:41:00
213
转载 wedata系列------从0开始搭建一套数据计算系统
spark,storm转载于:https://www.cnblogs.com/wedata/p/5433648.html
2016-04-26 08:40:00
191
转载 wedata系列------从0开始搭建一套数据传输系统
flume+kafka转载于:https://www.cnblogs.com/wedata/p/5433646.html
2016-04-26 08:39:00
178
转载 wedata系列------从0开始搭建一套数据存储系统
hadoop,hbase转载于:https://www.cnblogs.com/wedata/p/5433647.html
2016-04-26 08:39:00
224
转载 wedata系列------从0开始搭建一套数据采集系统
nginx+lua转载于:https://www.cnblogs.com/wedata/p/5433645.html
2016-04-26 08:38:00
236
转载 python开发笔记
一、 Python脚本运行出现语法错误：IndentationError （缩进错误）【解决过程】1.对于此错误，最常见的原因是，的确没有对齐。但是我根据错误提示的行数，去代码中看了下，没啥问题啊。都是用TAB键，对齐好了的，没有不对齐的行数啊。2.以为是前面的注释的内容影响后面的语句的语法了，所以把前面的注释也删除了。结果还是此语法错误。3.后来折腾了半天，突然想到了...
2016-04-15 09:31:00
64
转载 nginx做域名转发和uri转发
一、域名转发 www.qq.com ------> www.baidu.com nginx部署在192.168.1.100，本地配置host 192.168.1.100 www.qq.com ，浏览器输入www.qq.com会跳转到www.baidu.com#vi/etc/nginx/nginx.confuser nginx;worker_proce...
2016-03-18 19:06:00
433
转载 linux常用命令
1.查看进程的具体启动时间ps -eo pid,lstart|grep 25484转载于:https://www.cnblogs.com/wedata/p/5167035.html
2016-01-28 17:39:00
114
转载 数据分析常见指标
PCU Peak concurrent users 最高同时在线玩家人数ACU Average concurrent users 平均同时在线玩家人数 可以每5分钟记录一个在线人数，然后计算出PCU和ACUARPU Average Revenue Per User每用户平均收入付费ARPU 付费用户每用户平均收入活跃APRU 活跃用户每用户平均收...
2016-01-23 22:27:00
132
转载 hadoop安装报错记录
启动datanode失败启动命令：/data/hadoop/sbin/hadoop-daemon.sh start datanode查看日志有条FATAL日志：vi /data/hadoop/logs/hadoop-root-datanode-slave2.log......2016-01-06 20:27:17,702 FATAL org.apache.ha...
2016-01-06 20:48:00
69
转载 把小分区的大文件(夹)挂载到大分区，解决空间被占满问题
/data01/disk目录太大导致/data01分区被占满1.先把/data01/disk目录挪到/data02分区，这个时候/data01下面disk目录已经没有了mv /data01/disk /data022.把空间被占满的目录/data01/disk软连接到空闲目录/data02/disk，后续文件写入/data01/disk占用的是/data02的物理空间ln -s /dat...
2015-12-30 16:13:00
158
转载 raid
raid10读快写快；raid5RAID5的读取速度=（RAID0的磁盘个数N-1）x普通单个硬盘读取速度；RAID5的写入速度略小于普通单个硬盘写入速度；转载于:https://www.cnblogs.com/wedata/p/5071105.html...
2015-12-23 20:02:00
114
转载 HADOOP笔记
ZKFC高可用模式下查看hdfs-namenode的主备状态：hdfs haadmin -getServiceState nn1hdfs haadmin -getServiceState nn2手工实现主备切换：hdfs haadmin -failover --forcefence --forceactive nn2 nn1RPCRemote Proced...
2015-11-22 19:26:00
73
转载 网络工具汇总
1.查看网卡是千兆还是百兆# ethtool eth1Settings for eth1: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full...
2015-11-22 18:15:00
87
转载 网卡流量监控脚本
#!/bin/bashwhile [ "1" ]doeth=$1RXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $2}')TXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $10}')sleep 1RXn...
2015-11-20 19:33:00
62
转载 如何增大UDP收包效率
参考文章http://ref.onixs.biz/lost-multicast-packets-troubleshooting.htmlOperating system kernel network buffers tuning操作系统内核网络缓冲区调优LinuxRun thesysctl -A | grep net | grep 'mem\|backlog'...
2015-11-18 21:23:00
391
转载 spark笔记
运行任务的时候，有一些中间数据需要写集群的worker的目录，默认是写/tmp目录spark-env.sh 增加export SPARK_WORKER_DIR=/data/spark/workexport SPARK_LOCAL_DIRS=/data/spark/data需要先创建好目录给777权限mkdir -p /data/spark/work...
2015-11-17 10:46:00
81
转载 报表制作开源工具hcharts
http://www.hcharts.cn/转载于:https://www.cnblogs.com/wedata/p/4970001.html
2015-11-16 20:44:00
73
转载 shell脚本的几个参数
$0 这个程式的执行名字$n 这个程式的第n个参数值，n=1..9$* 这个程式的所有参数,此选项参数可超过9个。$# 这个程式的参数个数$$ 这个程式的PID(脚本运行的当前进程ID号)$! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)$? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误)$- 显示shell使用的当前选项，与...
2015-11-16 20:41:00
72
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人