- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python myql类库MySQLdb在数据过量情况下巨慢无比的原因分析
2009年 9月27日晚上快下班时分，有群里面的朋友说python的MySQLdb在检索百万数据量的时候巨慢无比，要达到20分钟左右。由于自己的一些项目也用到了MySQLdb，所以特别注意了一下，于是翻阅了源代码。而后经过大半天对其源码的分析，初步得出一些结论。MySQLdb的性能影响主要是由于_mysql.c代码页中的self->use以及个别函数中的use参数=1或者0时引起的。由于在函数
2010-03-22 12:26:00
3468
原创 lighttpd fastcgi配置例子和一些备份脚本
global{server.modules +=("mod_fastcgi")}$SERVER["socket"]=="222.73.42.76:81"{#$HTTP["host"]=="db.huiin.com"{ server.name="huiin.com" server.document-root="/var/www/phpmyadmin" fas
2010-03-22 12:14:00
2673
原创 一段debian 下面Iptables脚本控制ip访问的例子。
写了好久了。自己都快忘记了顺便记在这里 1 iptables -F 2 iptables -N FIREWALL 3 iptables -F FIREWALL 4 iptables -A INPUT -j FIREWALL 5 iptables -A FORWARD -j FIREWALL 6 #pop3 7 #ipta
2010-03-22 12:09:00
2325
原创 python reportlab 相对较为可用的正式报表
#coding=utf-8#from reportlab.lib import *from reportlab.platypus import *from reportlab.lib.styles import * from reportlab.rl_config import * from reportlab.lib.units import *from reportlab.lib.pa
2010-03-22 12:06:00
6601
原创 python reportlab调用操作分页报表
#coding=utf-8def init_config(): import reportlab.rl_config reportlab.rl_config.warnOnMissingFontGlyphs = 0 from reportlab.pdfbase import pdfmetrics from reportlab.pdfbase.ttfonts import TT
2010-03-22 12:05:00
5458
原创 一个基于python写的ms sql和postgresql互相转化表结构以及操作的用例
#coding=utf-8#import _mssqlimport psycopg2,pymssqlimport typesTableSpace=ABS.class SyncDataBase(): def __init__(self): self.pgconn=psycopg2.connect("dbname=absob host=192.168.1.32 user=pos
2010-03-22 12:01:00
2295
原创 python DBUtils数据连接池与ms sql配合用法
#coding=utf-8import os,psycopg2import _mssqlimport pymssqlfrom DBUtils.PooledDB import PooledDBhosts="192.168.1.32"users="test"passwords="12345"dbnames="testdb"ms_hosts="192.168.1.20"ms_users="sa"ms_p
2010-03-22 11:59:00
3390
原创 python 利用win32com操作excel
#coding=cp936import win32comfrom adoconstants import *from win32com.client import Dispatch,constantsimport osimport pythoncomclass TranslateExcel: @staticmethod def ImportMssqlToExcel(ip,dbname,
2010-03-22 11:56:00
5382
原创 MongoDB数据库操作和程序基础文档
数据库常用操作命令Bin/mongod run 启动数据库服务端。bin/mongod.exe --dbpath d:/data/mongo 启动数据库服务端并且将数据库目录设定在该地址下。run 直接启动。例：./mongod run--dbpath 指定特定存储目录启动，若目录不存在则创建。例：./mongod --dbpath /var/data/mongo--port 指定端口
2010-03-22 11:52:00
4758
3
原创 lighttp服务器在linux2.6内核的优化
一，基础配置纯静态优化. 目前服务器平台主要基于debian和ubuntu系统。 #基于linux-sysepoll优化 server.event-handler="linux-sysepoll" server.max-fds默认是1024 修改 server.max-fds,大流量网站推荐2048. 2 stat() 缓存stat() 这样的系统调用,开销也是相当明显的.缓存能够节约时间和环
2010-03-22 11:42:00
2559
原创 Postgresql8.3数据库在linux编译安装说明
有些部分是我自己写的，有些摘抄的，感谢开源社区的支持一，编译安装软件包：sudo apt-get install binutils cpp fetchmail flex gcc libarchive-zip-perl libc6-dev libcompress-zlib-perl libdb4.3-dev libpcre3 libpopt-dev lynx m4 make ncft
2010-03-22 11:35:00
2616
原创 PostgreSQL系统配置优化
PG的配置文件是数据库目录下的postgresql.conf文件，8.0以后的版本可支持K，M，G这样的参数，只要修改相应参数后重新启动PG服务就OK了。shared_buffers：这是最重要的参数，postgresql通过shared_buffers和内核和磁盘打交道，因此应该尽量大，让更多的数据缓存在shared_buffers中。通常设置为实际RAM的10％是合理的，比如50000(4
2010-03-22 11:34:00
4676
转载 【SQL Server 数据库导入导出部分】
1、在查询分析器下查询Excel文档 SELECT * FROM OpenDataSource(Microsoft.Jet.OLEDB.4.0,Data Source="c:/测试.xls"; User ID=Admin;Password=;Extended properties=Excel 8.0)...Sheet1$ 2、从数据库中导出数据并存到文件中 EXEC master..xp_
2010-03-22 11:29:00
2309
原创 postgresql 表分区的测试用例
----大数据数据表分区做法CREATE TABLE bcompany_01(CHECK(cpy_idCREATE TABLE bcompany_02(CHECK(cpy_id500000) ) INHERITS (bcompany);CREATE TABLE bcompany_03(CHECK(cpy_id1000000) ) INHERITS (bcompany);CREATE T
2010-03-22 11:26:00
2408
原创 postgresql的一些常规的sql测试用例
这是以前工作中测试用例。准备离职了，顺便贴到这里来 几个存储过程和方法： SELECT convert_from(aaaa,utf-8)CREATE OR REPLACE FUNCTION ABS.PRC_ENCODE_UTF8(PARAMS VARCHAR) RETURNS SETOF recordAS $$ declare sql varchar; r
2010-03-22 11:17:00
3070
转载 postgresql源代码分析
从Linux下拷回通过编译的源代码后，在硬盘上展开，例如我展开后将所有的源代码放到D:/Postgresql/source目录下。然后建立一个目录D:/Postgresql/insight,打开sourceinsight后在这个目录下创建一个project，将D:/Postgresql/source/backend目录下的所有文件加入该项目然后找到D:/Postgresql/source/doc/
2010-03-22 11:16:00
5457
原创 postgresql代码研究的主要目录分类描述
后台代码主要集中在 backend下面各个目录 access 物理表 index的实现 bootstrap 初始化模块 catalog 数据字典模块， commands ddl命令实现 executor 执行器 lib 辅助模块，双向list libpq 前后台通信 main main入口 Makefile nls.mk nodes query结构采用nodes表示，辅助模块 optimizer
2010-03-22 11:14:00
2256
原创 python 写的一个Ice服务端在linux下面的守护进程程序
framework基本都是开发的远程调用方法DBUtils.PooledDB 是一个python的mysql数据连接池。后期都改为SQLAlchemy的连接池了 #coding=utf-8import sys,Ice,loggingfrom framework.ProspectEvent import *from framework.ProductEvent import
2010-03-22 11:10:00
2557
原创 python写的一个omniORB的调用用例
当初项目选型时，在Ice,Net Remoting,omniORB徘徊许久，最终还是选用了Ice。这是omniORB的一个简单用例。idl接口描述module messenger{ interface SecretMessage { string get_message(); };};服务端实现：#coding=utf-8import messenger, me
2010-03-22 11:03:00
2976
原创 一些摘抄的c#常用正则表达
using System; namespace Regexlib { /// /// Class1 的摘要说明。 public class Regexlib { public Regexlib() { // // TODO: 在此处添加构造函数逻辑 // } //搜索输入字符串并返回所有 href="..."值 string DumpHrefs(String inp
2010-03-22 10:55:00
595
原创 一些emacs常用的命令
C-@ ,shift移动,M-w,复制基本命令C-a C-k 删除一行数据C-x C-c : 退出Emacs C-x C-f : 打开一个文件，如果文件不存在，则创建一个文件 C-g : 取消未完成的命令 编辑C-z (redefined): Undo；原来C-z是挂起Emacs（然后用fg命令调出）；C-x u 是默认的命令； 移动一下光标，再C-z就可以redo M-d : 删
2010-03-22 10:54:00
456
原创 python中dict和list排序
1、list排序 列表的排序是python内置功能，自身含有sort方法 如： >>> s=[2,1,3,0] >>> s.sort() [0, 1, 2, 3]2、dict排序 对字典的排序，因为每一个项包括一个键值对，所以要选择可比较的键或值进行排序 sorted(iterable[, cmp[, key[, reverse]]] cmp和key一般使用la
2010-03-22 10:50:00
1369
原创 c#报表图描述
忘记了不知道哪里看来的参考代码。不过现在c#有一个开源的图形报表类库，比较简单很不错。using System;using System.Data;using System.Configuration;using System.Collections;using System.Web;using System.Web.Security;using System.Web.UI;using Sys
2010-03-22 10:49:00
690
原创 linux indent用法
常用的设置：indent -npro -kr -i8 -ts8 -sob -l80 -ss -bl -bli 0参数说明：-npro或--ignore-profile 不要读取indent的配置文件.indent.pro。-kr 指定使用Kernighan&Ritchie的格式。-i8 --indent-level 设置缩排的格数为8。-ts8 设置tab的长度-sob或--swallow
2010-03-22 10:45:00
983
原创 pymssql 基本的操作方式
#!/usr/bin/env python#coding=utf-8from __future__ import with_statementfrom contextlib import closingimport inspectimport pymssqlimport uuidimport datetime #查询操作with closing(pymssql.connect(host=lo
2010-03-22 10:35:00
1471
原创 python内存管理与Memcached内存管理的理解
首先说明，这些还仅限于我的理解阶段，可能有很多错误或者问题，欢迎各位指正以便于补足我的理解。大家都或多或少的知道,memcached里面有一套特殊的内存管理机制。长话短说，即内存池。当某个数据要被存储时，首先系统根据该数据大小去找已分配而未使用的内存，如果有，则把数据存储在这块内存区域。例如 188 数据(200) ----- 210
2010-03-22 10:33:00
1266
原创 使用JavaScript中的ActiveXObject填充并设置Excel格式
1创建 var XLObj = new ActiveXObject("Excel.Application" ); var xlBook = XLObj.Workbooks.Add; //新增工作簿 var ExcelSheet = xlBook.Worksheets(1); //创建工作表 2.保存表格 ExcelSheet.SaveAs("C://TEST.XLS" ); 3.使
2010-03-22 10:28:00
902
原创 在debian系统下面编译ICE-3.3
在debian系统下面编译ICE-3.3公司拓展业务需要，我把部分框架定在了ICE系统下面，操作系统选用了我的挚爱debian由于zeroc官方只发布了针对redhat 和sun系统的支持，对于我喜爱debian没有发布任何版本支持，无奈之下只好自己编译源代码。下载源代码利用wget在http://www.zeroc.com/download/Ice/3.3/ThirdParty-
2009-07-01 17:25:00
1269
1
原创 debian系统上面配置lighttpd+django1.0
前些日子项目终于结束，客户购买了服务器，开始设置环境和项目。于是顺路把实施过程中碰到的一些问题记录下来，方便大家参考。系统实施软件以及硬件环境：Django:1.02Mysql:5.067字符集：utf-8Web-server:lighttpd1.4Memcached:1.21Os:debian4.0,linux2.6硬件:intel 双cpu至强处理器，硬盘50
2009-03-06 18:06:00
1631
原创 linux 上的xml痛苦之处
如果选用utf8编码的系统在linux上面开发，xml类库采用libxml，那么不说也罢，一切都显得顺气自然。尤其libxml在xml处理效率方面的良好表现自然成了首选。但如果系统架构编码支持已开始就选定了gb2312，那么噩耗将会接踵而来。当然所谓的噩耗，并非说libxml就不能解析gb2312编码的xml数据。其实无论采用linux系统函数iconv或者libxml的系统自带函数都可以正常
2007-01-10 18:30:00
1310
原创 linux 下mysql多线程支持问题
mysql官方提供的linux二进制编译包都无法支持posix多线程环境。很多mysql 的API，都无法真正支持多线程环境。一般解决此类问题，需要从新编译mysql源码生成适合项目的mysql安装包。mysql源码编译都非常简单，通过./configure --help可以查看编译选项。多线程支持方面只要注意选择--with-pthread和--enable-thread-safe-clie
2007-01-10 17:48:00
1894
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人