java 读取纯真IP数据库QQwry.dat的源代码(转)

最新推荐文章于 2021-02-21 08:24:41 发布

wangfishes

最新推荐文章于 2021-02-21 08:24:41 发布

阅读量335

点赞数

分类专栏： JAVA 文章标签： Java 数据结构 Cache QQ

本文链接：https://blog.youkuaiyun.com/wangfishes/article/details/83558031

版权

JAVA 专栏收录该内容

30 篇文章

订阅专栏

java读取纯真IP数据库QQwry.dat的源代码,要运行此程序必须到网上下载QQwry.da，由于太大，我这里就不提供了。
一、IPEntry.java
/** *
* 一条IP范围记录，不仅包括国家和区域，也包括起始IP和结束IP *
*
* @author
*/
public class IPEntry {
public String beginIp;
public String endIp;
public String country;
public String area;
/**
* 构造函数
*/
public IPEntry() {
beginIp = endIp = country = area = "" ;
}
public String toString(){
retur this .area+ " " + this .country+ "IP范围:" + this .beginIp+ "-" + this .endIp;
}
}
二、Utils.java
/*
* Created on 2004-8-4
*
*/
import java.io.UnsupportedEncodingException;
/**
* @author LJ-silver
*/
public class Utils {
/**
* 从ip的字符串形式得到字节数组形式
* @param ip 字符串形式的ip
* @return 字节数组形式的ip
*/
public static byte [] getIpByteArrayFromString(String ip) {
byte [] ret = new byte [ 4 ];
java.util.StringTokenizer st = new java.util.StringTokenizer(ip, "." );
try {
ret[0 ] = ( byte )(Integer.parseInt(st.nextToken()) & 0xFF );
ret[1 ] = ( byte )(Integer.parseInt(st.nextToken()) & 0xFF );
ret[2 ] = ( byte )(Integer.parseInt(st.nextToken()) & 0xFF );
ret[3 ] = ( byte )(Integer.parseInt(st.nextToken()) & 0xFF );
} catch (Exception e) {
System.out.println(e.getMessage());
}
return ret;
}
public static void main(String args[]){
byte [] a=getIpByteArrayFromString(args[ 0 ]);
for ( int i= 0 ;i< a.length;i++)
System.out.println(a[i]);
System.out.println(getIpStringFromBytes(a));
}
/**
* 对原始字符串进行编码转换，如果失败，返回原始的字符串
* @param s 原始字符串
* @param srcEncoding 源编码方式
* @param destEncoding 目标编码方式
* @return 转换编码后的字符串，失败返回原始字符串
*/
public static String getString(String s, String srcEncoding, String destEncoding) {
try {
return new String(s.getBytes(srcEncoding), destEncoding);
} catch (UnsupportedEncodingException e) {
return s;
}
}
/**
* 根据某种编码方式将字节数组转换成字符串
* @param b 字节数组
* @param encoding 编码方式
* @return 如果encoding不支持，返回一个缺省编码的字符串
*/
public static String getString( byte [] b, String encoding) {
try {
return new String(b, encoding);
} catch (UnsupportedEncodingException e) {
return new String(b);
}
}
/**
* 根据某种编码方式将字节数组转换成字符串
* @param b 字节数组
* @param offset 要转换的起始位置
* @param len 要转换的长度
* @param encoding 编码方式
* @return 如果encoding不支持，返回一个缺省编码的字符串
*/
public static String getString( byte [] b, int offset, int len, String encoding) {
try {
return new String(b, offset, len, encoding);
} catch (UnsupportedEncodingException e) {
return new String(b, offset, len);
}
}
/**
* @param ip ip的字节数组形式
* @return 字符串形式的ip
*/
public static String getIpStringFromBytes( byte [] ip) {
StringBuffer sb = new StringBuffer();
sb.append(ip[0 ] & 0xFF );
sb.append('.' );
sb.append(ip[1 ] & 0xFF );
sb.append('.' );
sb.append(ip[2 ] & 0xFF );
sb.append('.' );
sb.append(ip[3 ] & 0xFF );
return sb.toString();
}
}
三、IPSeeker.java
/*
* LumaQQ - Java QQ Client
*
*
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; either version 2 of the License, or
* (at your option) any later version.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
* GNU General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
*/
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.ByteOrder;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.util.ArrayList;
import java.util.Hashtable;
import java.util.List;
/**
*
* 用来读取QQwry.dat文件，以根据ip获得好友位置，QQwry.dat的格式是
* 一. 文件头，共8字节
* 1. 第一个起始IP的绝对偏移， 4字节
* 2. 最后一个起始IP的绝对偏移， 4字节
* 二. "结束地址/国家/区域"记录区
* 四字节ip地址后跟的每一条记录分成两个部分
* 1. 国家记录
* 2. 地区记录
* 但是地区记录是不一定有的。而且国家记录和地区记录都有两种形式
* 1. 以0结束的字符串
* 2. 4个字节，一个字节可能为0x1或0x2
* a. 为0x1时，表示在绝对偏移后还跟着一个区域的记录，注意是绝对偏移之后，而不是这四个字节之后
* b. 为0x2时，表示在绝对偏移后没有区域记录
* 不管为0x1还是0x2，后三个字节都是实际国家名的文件内绝对偏移
* 如果是地区记录，0x1和0x2的含义不明，但是如果出现这两个字节，也肯定是跟着3个字节偏移，如果不是
* 则为0结尾字符串
* 三. "起始地址/结束地址偏移"记录区
* 1. 每条记录7字节，按照起始地址从小到大排列
* a. 起始IP地址，4字节
* b. 结束ip地址的绝对偏移，3字节
*
* 注意，这个文件里的ip地址和所有的偏移量均采用little-endian格式，而java是采用
* big-endian格式的，要注意转换
*
*
* @author 马若劼
*/
public class IPSeeker {
/**
*
* 用来封装ip相关信息，目前只有两个字段，ip所在的国家和地区
*
*
* @author 马若劼
*/
private class IPLocation {
public String country;
public String area;
public IPLocation() {
country = area = "" ;
}
public IPLocation getCopy() {
IPLocation ret = new IPLocation();
ret.country = country;
ret.area = area;
return ret;
}
}
private static final String IP_FILE = IPSeeker. class .getResource( "/QQWry.dat" ).toString().substring( 5 );
// 一些固定常量，比如记录长度等等
private static final int IP_RECORD_LENGTH = 7 ;
private static final byte AREA_FOLLOWED = 0x01 ;
private static final byte NO_AREA = 0x2 ;
// 用来做为cache，查询一个ip时首先查看cache，以减少不必要的重复查找
private Hashtable ipCache;
// 随机文件访问类
private RandomAccessFile ipFile;
// 内存映射文件
private MappedByteBuffer mbb;
// 单一模式实例
private static IPSeeker instance = new IPSeeker();
// 起始地区的开始和结束的绝对偏移
private long ipBegin, ipEnd;
// 为提高效率而采用的临时变量
private IPLocation loc;
private byte [] buf;
private byte [] b4;
private byte [] b3;
/**
* 私有构造函数
*/
private IPSeeker() {
ipCache = new Hashtable();
loc = new IPLocation();
buf = new byte [ 100 ];
b4 = new byte [ 4 ];
b3 = new byte [ 3 ];
try {
ipFile = new RandomAccessFile(IP_FILE, "r" );
} catch (FileNotFoundException e) {
System.out.println(IPSeeker.class .getResource( "/QQWry.dat" ).toString());
System.out.println(IP_FILE);
System.out.println("IP地址信息文件没有找到，IP显示功能将无法使用" );
ipFile = null ;
}
// 如果打开文件成功，读取文件头信息
if (ipFile != null ) {
try {
ipBegin = readLong4(0 );
ipEnd = readLong4(4 );
if (ipBegin == - 1 || ipEnd == - 1 ) {
ipFile.close();
ipFile = null ;
}
} catch (IOException e) {
System.out.println("IP地址信息文件格式有错误，IP显示功能将无法使用" );
ipFile = null ;
}
}
}
/**
* @return 单一实例
*/
public static IPSeeker getInstance() {
return instance;
}
/**
* 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录
* @param s 地点子串
* @return 包含IPEntry类型的List
*/
public List getIPEntriesDebug(String s) {
List ret = new ArrayList();
long endOffset = ipEnd + 4 ;
for ( long offset = ipBegin + 4 ; offset <= endOffset; offset += IP_RECORD_LENGTH) {
// 读取结束IP偏移
long temp = readLong3(offset);
// 如果temp不等于-1，读取IP的地点信息
if (temp != - 1 ) {
IPLocation loc = getIPLocation(temp);
// 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续
if (loc.country.indexOf(s) != - 1 || loc.area.indexOf(s) != - 1 ) {
IPEntry entry = new IPEntry();
entry.country = loc.country;
entry.area = loc.area;
// 得到起始IP
readIP(offset - 4 , b4);
entry.beginIp = Utils.getIpStringFromBytes(b4);
// 得到结束IP
readIP(temp, b4);
entry.endIp = Utils.getIpStringFromBytes(b4);
// 添加该记录
ret.add(entry);
}
}
}
return ret;
}
/**
* 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录
* @param s 地点子串
* @return 包含IPEntry类型的List
*/
public List getIPEntries(String s) {
List ret = new ArrayList();
try {
// 映射IP信息文件到内存中
if (mbb == null ) {
FileChannel fc = ipFile.getChannel();
mbb = fc.map(FileChannel.MapMode.READ_ONLY, 0 , ipFile.length());
mbb.order(ByteOrder.LITTLE_ENDIAN);
}
int endOffset = ( int )ipEnd;
for ( int offset = ( int )ipBegin + 4 ; offset <= endOffset; offset += IP_RECORD_LENGTH) {
int temp = readInt3(offset);
if (temp != - 1 ) {
IPLocation loc = getIPLocation(temp);
// 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续
if (loc.country.indexOf(s) != - 1 || loc.area.indexOf(s) != - 1 ) {
IPEntry entry = new IPEntry();
entry.country = loc.country;
entry.area = loc.area;
// 得到起始IP
readIP(offset - 4 , b4);
entry.beginIp = Utils.getIpStringFromBytes(b4);
// 得到结束IP
readIP(temp, b4);
entry.endIp = Utils.getIpStringFromBytes(b4);
// 添加该记录
ret.add(entry);
}
}
}
} catch (IOException e) {
System.out.println(e.getMessage());
}
return ret;
}
/**
* 从内存映射文件的offset位置开始的3个字节读取一个int
* @param offset
* @return
*/
private int readInt3( int offset) {
mbb.position(offset);
return mbb.getInt() & 0x00FFFFFF ;
}
/**
* 从内存映射文件的当前位置开始的3个字节读取一个int
* @return
*/
private int readInt3() {
return mbb.getInt() & 0x00FFFFFF ;
}
/**
* 根据IP得到国家名
* @param ip ip的字节数组形式
* @return 国家名字符串
*/
public String getCountry( byte [] ip) {
// 检查ip地址文件是否正常
if (ipFile == null ) return "错误的IP数据库文件" ;
// 保存ip，转换ip字节数组为字符串形式
String ipStr = Utils.getIpStringFromBytes(ip);
// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件
if (ipCache.containsKey(ipStr)) {
IPLocation loc = (IPLocation)ipCache.get(ipStr);
return loc.country;
} else {
IPLocation loc = getIPLocation(ip);
ipCache.put(ipStr, loc.getCopy());
return loc.country;
}
}
/**
* 根据IP得到国家名
* @param ip IP的字符串形式
* @return 国家名字符串
*/
public String getCountry(String ip) {
return getCountry(Utils.getIpByteArrayFromString(ip));
}
/**
* 根据IP得到地区名
* @param ip ip的字节数组形式
* @return 地区名字符串
*/
public String getArea( byte [] ip) {
// 检查ip地址文件是否正常
if (ipFile == null ) return "错误的IP数据库文件" ;
// 保存ip，转换ip字节数组为字符串形式
String ipStr = Utils.getIpStringFromBytes(ip);
// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件
if (ipCache.containsKey(ipStr)) {
IPLocation loc = (IPLocation)ipCache.get(ipStr);
return loc.area;
} else {
IPLocation loc = getIPLocation(ip);
ipCache.put(ipStr, loc.getCopy());
return loc.area;
}
}
/**
* 根据IP得到地区名
* @param ip IP的字符串形式
* @return 地区名字符串
*/
public String getArea(String ip) {
return getArea(Utils.getIpByteArrayFromString(ip));
}
/**
* 根据ip搜索ip信息文件，得到IPLocation结构，所搜索的ip参数从类成员ip中得到
* @param ip 要查询的IP
* @return IPLocation结构
*/
private IPLocation getIPLocation( byte [] ip) {
IPLocation info = null ;
long offset = locateIP(ip);
if (offset != - 1 )
info = getIPLocation(offset);
if (info == null ) {
info = new IPLocation();
info.country = "未知国家" ;
info.area = "未知地区" ;
}
return info;
}
/**
* 从offset位置读取4个字节为一个long，因为java为big-endian格式，所以没办法
* 用了这么一个函数来做转换
* @param offset
* @return 读取的long值，返回-1表示读取文件失败
*/
private long readLong4( long offset) {
long ret = 0 ;
try {
ipFile.seek(offset);
ret |= (ipFile.readByte() & 0xFF );
ret |= ((ipFile.readByte() << 8 ) & 0xFF00 );
ret |= ((ipFile.readByte() << 16 ) & 0xFF0000 );
ret |= ((ipFile.readByte() << 24 ) & 0xFF000000 );
return ret;
} catch (IOException e) {
return - 1 ;
}
}
/**
* 从offset位置读取3个字节为一个long，因为java为big-endian格式，所以没办法
* 用了这么一个函数来做转换
* @param offset
* @return 读取的long值，返回-1表示读取文件失败
*/
private long readLong3( long offset) {
long ret = 0 ;
try {
ipFile.seek(offset);
ipFile.readFully(b3);
ret |= (b3[0 ] & 0xFF );
ret |= ((b3[1 ] << 8 ) & 0xFF00 );
ret |= ((b3[2 ] << 16 ) & 0xFF0000 );
return ret;
} catch (IOException e) {
return - 1 ;
}
}
/**
* 从当前位置读取3个字节转换成long
* @return
*/
private long readLong3() {
long ret = 0 ;
try {
ipFile.readFully(b3);
ret |= (b3[0 ] & 0xFF );
ret |= ((b3[1 ] << 8 ) & 0xFF00 );
ret |= ((b3[2 ] << 16 ) & 0xFF0000 );
return ret;
} catch (IOException e) {
return - 1 ;
}
}
/**
* 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是
* 文件中是little-endian形式，将会进行转换
* @param offset
* @param ip
*/
private void readIP( long offset, byte [] ip) {
try {
ipFile.seek(offset);
ipFile.readFully(ip);
byte temp = ip[ 0 ];
ip[0 ] = ip[ 3 ];
ip[3 ] = temp;
temp = ip[1 ];
ip[1 ] = ip[ 2 ];
ip[2 ] = temp;
} catch (IOException e) {
System.out.println(e.getMessage());
}
}
/**
* 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是
* 文件中是little-endian形式，将会进行转换
* @param offset
* @param ip
*/
private void readIP( int offset, byte [] ip) {
mbb.position(offset);
mbb.get(ip);
byte temp = ip[ 0 ];
ip[0 ] = ip[ 3 ];
ip[3 ] = temp;
temp = ip[1 ];
ip[1 ] = ip[ 2 ];
ip[2 ] = temp;
}
/**
* 把类成员ip和beginIp比较，注意这个beginIp是big-endian的
* @param ip 要查询的IP
* @param beginIp 和被查询IP相比较的IP
* @return 相等返回0，ip大于beginIp则返回1，小于返回-1。
*/
private int compareIP( byte [] ip, byte [] beginIp) {
for ( int i = 0 ; i < 4 ; i++) {
int r = compareByte(ip[i], beginIp[i]);
if (r != 0 )
return r;
}
return 0 ;
}
/**
* 把两个byte当作无符号数进行比较
* @param b1
* @param b2
* @return 若b1大于b2则返回1，相等返回0，小于返回-1
*/
private int compareByte( byte b1, byte b2) {
if ((b1 & 0xFF ) > (b2 & 0xFF )) // 比较是否大于
return 1 ;
else if ((b1 ^ b2) == 0 ) // 判断是否相等
return 0 ;
else
return