1. Xapian的database是所有用于检索的信息表的集合,以下的表是必需的:
posting listtable 保存了被每一个term索引的document,实际上保存的应该是document在database中的Id,此Id是唯一的。
record table 保存了每一个document所关联的data,data不能通过query检索,只能通过document来获取。
term list table 保存了索引每个document的所有的term。
以下的表是可选的,即当有以下的类型的数据需要被存储的时候才会出现(在1.0.1以前,position和value表就算是没有数据的时候也会被创建,而spelling和synonym表是1.0.2后才出现的)。
position listtable 保存了每一个Term出现在每一个document中的位置
value table 保存了每一个document的values,values是用作保存、排序或其它作用的。
spellingtable 保存了拼写纠正的数据。
synonymtable 保存术语的字典,例如NBA、C#或C++等。
以上的每一个集合是保存在独立的文件中。每一个表其实是使用了2到3个文件的,比如termlist表会被存储为以下三个文件“termlist.baseA”、“termlist.baseB”、“termlist.dB”。在这些文件中,其实只有”.db”文件存储了真实的数据。通常只会出现一个“.baseA”文件和一个“.baseB”文件。
2. Xapian对database的所有修改都是原子性的,这意味着:
在读取数据库的时候,直到修改成功提交,所有对数据库的修改都是不可见的。
Database在硬盘中的状态始终是保持一致的。
如果在修改的过程中系统发生中断,只要硬件不发生故障,就算电源被切断,database应该总是被还原到有效的状态。
提交一个修改需要几次的系统调用,以便使所有缓存的修改能刷新到硬盘上,这样能确保就算系统在任何时候发生错误,database也能处于一致的状态。当然,这样相对于说会慢了一点(因为系统已经准备好往硬盘上写数据了),因此将几次的修改组合在一起往硬盘上写会有一定的性能提升。
多个修改操作可以显式地组合在一个事务中,如果一个应用程序不显式地使用事务来保护修改操作,Xapian会将这些修改组合在一个事务中,然后批量进行修改。请注意,Xapian现在暂时还不能跨database进行事务操作。
如果要想迅速地生成非常大的database,请使用“DANGEROUS”关键字搜索Xapian的邮件列表,其提供了可以重新编译Xapian而不采用原子性修改的方法,这功能已经不再整合在xapian的标准版本中了。
3.Xapian实现了“单写多读”的模式,这意味着任何时候,同一时刻只允许一个对象可以修改database,但允许多个对象可以读取database。
在unix系统下,Xapian使用“lock-files”强制约束来实现此模式,在一个flint database中,每一个Xapian的database目录包含了一个名为“flintlock”的文件以作锁定用途。此文件存在于database的目录里,当database被打开用作写入的时候,此文件会被fcntl()方法锁定。每一个WritableDatabase打开的时候,都会产生一个子进程以便进行锁定操作。如果某个database写入器(一般是指WritableDatabase)还没有机会执行释放锁的清除操作便退出了(例如这个WritableDatabase所在的应用程被杀死了),fcntl()产生的锁会自动被操作系统释放。
4. Xapian现在可以工作在一个网络文件系统中
5.创建database:
Xapian::Database是所有Database的基类,实际上,它只有一个子类,那就是WritableDatabase。Xapian::Database拥有大部分只读或内存操作的方法,而Xapian::WritableDatabase则拥有事务操作,刷新数据到硬盘等方法。
创建Database的方法:
Flint 如果你是使用远程后端(指网络文件系统),请使用Xapian::Flint::open()方法来创建database。使用此方法你能得到更多的控制,例如创建只读的database,或创建可写的database。
Auto auto并不是一种database格式,你可以创建一个“database存根”文件,此文件能列出一到多个database的路径,这些路径可以作为Xapian::Database的构造函数的参数,从而被自动检测是哪种类型的database。还有,如果将一个文件路径名称而非目录名称作为参数传入到Xapian::Database的构造函数中,Xapian::Database会认为你传入了一个“database存根”文件;当然,你也可以使用Xapian::Auto::open_stub()来显式打开一个存根文件。 “database存根文件”的格式是每个database一行,例如:
remotelocalhost:23876
flint /var/spool/xapian/webindex
Inmemory 还可以创建内存database,这种类型的database是保存在内存中。请注意,通过Xapian::InMemory::open()返回的类型是WritableDatabase,这意味着这是一个可刷新到硬盘上的database,它最初是为测试之用,但在建立临时的小数据库也可能是有用的。
实际上,创建一个database还有更通用的方法,例如通过将一个database所在的完整目录作为一个字符串传入到Xapian::Database的构造函数中实例化一个对象后,即可得到一个只读的database。而Xapian::WritableDatabase则复杂一点,除了要传入database的路径外,还需要设定如何打开database。有以下几个参数:
Xapian::DB_CREATE_OR_OPEN 打开以便读写,如果不存在则创建。
Xapian::DB_CREATE 总是创建新的database,如果存在则失败。
Xapian::DB_CREATE_OR_OVERWRITE 如果database存在的话则覆盖之,如果不存在则创建。
Xapian::DB_OPEN 打开以便读写,如果不存在则失败。
成功打开一个datababse是Xapian所有后续操作如检索,写入的基础。你甚至可以将通过add_database()方法则多个database组合在一起访问;如果想将database刷新到硬盘中,则执行flush()方法则可。最后,如果不想使用database了,将database对象销毁即可。