边读边记(一)

1.Oracle 9i:"i"代表internet(突现他们公司对internet/intranet的支持)
Oracle 10g:"g"代表grid(网格)(网格计算的观念就是说把计算的资源给它虚拟化)

 

2.Database Structures 包括三部分:内存结构(SGA,PGA等),进程结构(用户进程、服务器进程、后台进程),存储结构(数据文件、控制文件等)

 

3.SGA包括:Database buffer cache,Redo log buffer,Shared pool,Large pool,Java pool,Streams pool

 

4.当发生checkpoint时,CKPT进程会写控制文件和数据文件;归档时,ARCn进程会将重做日志文件归档到归档日志文件

 

5.当查询时,Oracle server processDB buffer cache中查找看是否有所需要的数据块,如果有直接调用,没有的话就从数据文件中查找并将其读入DB buffer cache,下次访问相同的块直接在DB buffer cache中调用,减少了物理读

 

6.oracle 物理结构:控制文件,数据文件,在线重做日志文件,参数文件,备份文件,归档日志文件,密码文件,警告日志文件,跟踪日志文件等

 

7.表空间和数据文件的关系:表空间是从逻辑角度而言的,数据文件时从物理角度而言的,表空间包括一个或多个数据文件,而一个数据文件只能隶属于一个表空间

 

8.一个extent只能存在于一个datafile中,也就是extent不能跨datafile

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26077805/viewspace-702683/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/26077805/viewspace-702683/

### 使用 Pandas 取文件写入数据 为了实现取文件写入数据的功能,通常会采用分块取的方式。这样可以在每次部分数据之后立即对其进行处理并将结果写出到另个文件中。这种方法特别适用于非常大的文件,因为可以减少内存占用。 #### 分块取与逐块写入 Pandas 提供了 `chunksize` 参数用于控制每次取的数据量大小。当指定了这个参数后,`read_csv()` 和 `read_excel()` 函数将会返回个迭代器对象而不是次性加载整个文件的内容。下面是个具体的例子来展示如何利用此特性完成写入的任务: ```python import pandas as pd # 定义输入输出文件路径 input_file_path = 'path/to/input.csv' output_file_path = 'path/to/output.csv' # 创建个新的CSV文件准备写入(如果已经存在则清空) with open(output_file_path, mode='w', newline='') as f: pass # 清理目标文件内容 # 设置每批次取的行数 batch_size = 1000 # 开始按批取源文件并处理每部分 for chunk in pd.read_csv(input_file_path, chunksize=batch_size): # 进行必要的数据转换或其他操作... # 将当前批次的结果追加至新文件 with open(output_file_path, mode='a') as file: chunk.to_csv(file, header=file.tell()==0, index=False) print("Data processing complete.") ``` 这段代码首先定义了个新的 CSV 文件作为输出位置,并确保该文件为空;接着设置批量大小为取多少条录;最后通过循环遍历由 `pd.read_csv(...)` 返回的每个数据片段,在其中执行所需的数据变换逻辑后再将其保存回磁盘上的另份文件里[^3]。 值得注意的是,这里使用了 Python 的内置函数 `open()` 来管理文件 I/O 操作,而不仅仅是依靠 Pandas 自带的方法来进行写入工作。这样做是为了更好地掌控文件打开模式以及是否应该添加表头等问题。此外,`header=file.tell()==0` 确保只在第次写入时加入列名,后续各次均不重复添加[^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值