SEHLL实现新浪日志同步系统

PV日志

       日志名称(按日生成)：YYYYMMDDisdn.log，例：20091022isdn.log

日志格式：

名称	格式	说明	示例
日期	YYYY-MM-DD	统计日期	2009-10-23
渠道编号	wm	网盟编号	5020_0010
预估用户	数字	通过apach日志中的来源IP计算出的用户总数	1863
pv	数字	该渠道下所有页面访问量	39872
pv2	数字	该渠道下注册及试玩链接点击量	1763
loginpv	数字	用户登录次数	1500

每行一条记录，各字段间以’|’分隔，例:

2009-10-23|5020_0010|1863|39872|1763|1500

2009-10-23|5020_0011|3762|98763|2736|2198

2009-10-23|5000_0010|8823|398723|7362|6838

 

#!/bin/bash # crontab -e 3 0 * * * /home/nemo/crontab/isdn.sh >> `date +%Y%m%d`isdn.txt # crontab -e 10 0 * * * sed -i 's///n//g' `date +%Y%m%d`isdn.log 过滤sql查询的 "/n" # crontab -e 10 0 * * * tr -s '/r/n ' ', ' <`date +%Y%m%d`isdn.txt >`date +%Y%m%d`isdn.log 过滤换行符 # 缩减为: # crontab -e 10 0 * * * /home/nemo/crontab/isdn.sh >> `date +%Y%m%d`isdn.txt ; tr -s '/r/n ' ', ' <`date +%Y%m%d`isdn.txt >`date +%Y%m%d`isdn.log ; rm -rf *.txt DB_USER="${hibernate.connection.username}" DB_PASS="${hibernate.connection.password}" DB_HOST="${hibernate.connection.host}" DB_PORT="${hibernate.connection.port}" # Others vars BIN_DIR="${LINUX.MYSQL.BIN_DIR}" #名称 格式 说明 示例 #日期 YYYY-MM-DD 统计日期 2009-10-23 #渠道编号 wm 网盟编号 5020_0010 #预估用户 数字 通过apach日志中的来源IP计算出的用户总数 1863 #pv 数字 该渠道下所有页面访问量 39872 #pv2 数字 该渠道下注册及试玩链接点击量 1763 #loginpv数字 用户登录次数 1500 NOW=`date +%Y-%m-%d` # 获得渠道的名称 VMS=`$BIN_DIR/mysql -u$DB_USER -p$DB_PASS -h$DB_HOST -P$DB_PORT << EOF use ${hibernate.connection.db}; select vm from UserLogin group by vm; EOF` for vm in $VMS ; do if [ "$vm" != "vm" ] && [ "$vm" != "NULL" ]; then # pv 该渠道下所有页面访问量(通过去读tomcat日志文件获得该数据) GUESTCOUNT=`cat ${LOGPATH}localhost_access_log.$NOW.txt | grep vm=$vm | wc -l` #DATAS[0] 预估用户 #DATAS[1] pv2 该渠道下注册及试玩链接点击量 #DATAS[2] 用户登陆次数 DATAS=`$BIN_DIR/mysql -u$DB_USER -p$DB_PASS -h$DB_HOST -P$DB_PORT << EOF use ${hibernate.connection.db}; select count(*) as '' from UserLogin where to_days(loginTime) = to_days(now()); select '$GUESTCOUNT' as '|'; select count(*) as '|' from User where uzoneToken = '$vm' and to_days(ctime) = to_days(now()); select count(*) as '|' from UserLogin where vm = '$vm' and to_days(loginTime) = to_days(now()); EOF` echo "$NOW|$vm|$DATAS" fi done

 

 

新用户日志

       日志名称(按日生成)：YYYYMMDDuser.log，例：20091022user.log

日志格式：

名称	格式	说明	示例
时间	YYYY-MM-DD hh:mm:ss	统计时间	2009-10-23 00:01:35
用户编号	userid	用户的sina id(新浪通行证ID)	2137291577
用户等级	数字	用户在游戏内的等级,多角色游戏取最高等级 用户等级小于2的请不要出现在此日志里。	2
渠道编号	wm	网盟编号	5020_0010

每行一条记录，各字段间以’|’分隔，例:

2009-10-22 00:00:04|2137291577|3|5007_0025

2009-10-22 00:00:10|2137291578|3|5019_0000

2009-10-22 00:01:35|2137291579|2|5019_0010

2009-10-22 00:02:06|2137291477|3|5020_0003

注意：本日志中的记录只是当天新增注册用户的信息，对于老用户不出现在本日志中。

 

#!/bin/bash # crontab -e 3 0 * * * /home/nemo/crontab/user.sh >> `date +%Y%m%d`user.log DB_USER="${hibernate.connection.username}" DB_PASS="${hibernate.connection.password}" DB_HOST="${hibernate.connection.host}" DB_PORT="${hibernate.connection.port}" # Others vars BIN_DIR="${LINUX.MYSQL.BIN_DIR}" #时间 YYYY-MM-DD hh:mm:ss 统计时间 2009-10-23 00:01:35 #用户编号 userid 用户的sina id(新浪通行证ID) 2137291577 #用户等级 数字 用户在游戏内的等级,多角色游戏取最高等级 #用户等级小于2的请不要出现在此日志里。 2 #渠道编号 wm 网盟编号 5020_0010 NOW=`date +%Y-%m-%d/ %H:%M:%S` $BIN_DIR/mysql -u$DB_USER -p$DB_PASS -h$DB_HOST -P$DB_PORT << EOF use ${hibernate.connection.db}; select '$NOW' as '','|' as '' ,username as '','|' as '',civili as '','|' as '',uzoneToken as '' from User,Player where to_days(ctime) = to_days(now()) and player_id = Player.id; EOF

 

 

 

 

 

 

用户消费日志

       日志名称(按日生成)：YYYYMMDDconsume.log，例：20091022consume.log

名称	格式	说明	示例
时间	YYYY-MM-DD hh:mm:ss	统计时间	2009-10-23 00:01:35
用户编号	userid	用户的sina id(新浪通行证ID)	2137291577
用户名称	username	用户在游戏中的角色名称	笑看天下
渠道编号	wm	网盟编号	5020_0010
道具编号	itemid	用户消费的道具编号	14030001
道具名称	Itemname	用户消费的道具名称	10格包包
道具金额	itemprice	用户消费的道具总金额（单价：元）	4[x1]

每行一条记录，各字段间以’|’分隔，例:

2009-10-22 00:00:15|2137291577|笑看天下|5000_0010|140300010044|10格包包|2

2009-10-22 00:04:07|2137291578|笑看天下|5000_0010|140300010078|回复药|2

2009-10-22 00:12:37|2137291579|凌云|5020_0002|140300010041|回魂丹|10

2009-10-22 00:22:01|2137291477|纳兰|5004_0009|140300010065|回气散|2

注意：消费日志为全用户的消费记录，包括新/老用户。 [x1]该处金额为购买一个订单消费的总金额

#!/bin/bash # crontab -e 3 0 * * * /home/nemo/crontab/consume.sh >> `date +%Y%m%d`consume.log # crontab -e 10 0 * * * sed -i 's/NULL/1/g' `date +%Y%m%d`consume.log 过滤sql查询的NULL为1 # 缩减为: # crontab -e 10 0 * * * /home/nemo/crontab/consume.sh >> `date +%Y%m%d`consume.log ; sed -i 's/NULL/1/g' `date +%Y%m%d`consume.log DB_USER="${hibernate.connection.username}" DB_PASS="${hibernate.connection.password}" DB_HOST="${hibernate.connection.host}" DB_PORT="${hibernate.connection.port}" # Others vars BIN_DIR="${LINUX.MYSQL.BIN_DIR}" #时间 YYYY-MM-DD hh:mm:ss 统计时间 2009-10-23 00:01:35 #用户编号 userid 用户的sina id(新浪通行证ID) 2137291577 #用户名称 username 用户在游戏中的角色名称 笑看天下 #渠道编号 wm 网盟编号 5020_0010 #道具编号 itemid 用户消费的道具编号 14030001 #道具名称 Itemname 用户消费的道具名称 10格包包 #道具金额 itemprice 用户消费的道具总金额（单价：元） 4 NOW=`date +%Y-%m-%d/ %H:%M:%S` $BIN_DIR/mysql -u$DB_USER -p$DB_PASS -h$DB_HOST -P$DB_PORT << EOF use ${hibernate.connection.db}; select '$NOW' as '','|' as '',username as '','|' as '',playerName as '','|' as '',uzoneToken as '','|' as '',vipType as '','道具',vipType as '','|' as '',spend as '' from User,Player,VipNotes where to_days(VipNotes.ctime) = to_days(now()) and playerID = player_id and playerID = Player.id; EOF