adx-desc-adtype统计

转载于 2017-12-04 10:50:00 发布 · 84 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lavin/p/7976046.html

本文分享了一个用于处理特定格式日志文件的数据分析脚本，该脚本使用Ruby语言编写，能够读取并解析日志文件，提取ADX、描述及请求类型等关键字段，并输出这些信息供进一步分析。

数据分析脚本：

 
filepath="request.log.2017-12-01-15"
  File.open("#{filepath}").each do |line|


begin  
  File.open("#{filepath}").each do |line|
    
   if ! line.valid_encoding?
     s = line.encode("UTF-16be", :invalid=>:replace, :replace=>"?").encode('UTF-8')
     line = s.gsub(/dr/i,'med')
   end 


   fields = line.split("\t") 
    if fields.length <10
        next 
    end
   adx = fields[3]
   desc = fields[10]
   ext10 = fields[45]
   reqtype= ext10['reqtype']

   puts "#{adx}\t#{desc}\t#{reqtype}"
 
  end
rescue SystemCallError
  puts "warn:: #{filepath} not  exits!!"
end