auqgw4556-优快云博客

转载 [mem] Memory management

Memory management:allocate / deallocateprotection: no access to a process's mem space from outside the given processshared mem management: (between 2 & more procs;) shared libs, shared me...

2019-04-08 23:31:00 377

转载 [github] Usages

working with different files"Remove a file from a Git repository without deleting it from the local filesystem" https://stackoverflow.com/questions/1143796/remove-a-file-from-a-git-repository-w...

2019-04-08 22:21:00 201

转载 [os] Network Programming

Open Systems Interconnection (OSI) Reference Model-- the ISO proposal for the standardization of various protocolsin computer networks-- a seven-layer protocol stack:CLIENT SERVER-----------...

2019-03-28 13:48:00 219

转载 [os] Pthread: Synchronization, Deadlock , Semaphore

Synthronizationmutual exclusion:"dekker's algorithm": Dekker's algorithm is the first known correct solution to the mutual exclusion problem in concurrent programming. /* global or shared me...

2019-03-25 23:01:00 206

转载【lab】常规操作：log写法，运行和数据信息管理，测试管理，多线程/进程tips...

第一个问题：“你写log了没？”第二个问题：“你写log了没？”第三个问题：“你写log的时间到一个小时了没？没有的话再去写log”log：log密度: 大概每100行有10个 -- 因为平均每一百行code会产生10个左右潜在的关键节点（同时100行可能有6-8个bug点）。log多多益善，之前的努力是之后的欣慰。从coding的角度讲，永远避免写暂时的code，包括...

2019-03-15 09:31:00 262

转载【Python基础】Pass-by-object

是时候回顾一下Python的函数传参方式了。Python的传参方式既不是pass-by-value（传值），也不是pass-by-reference（传引用），而是pass-by-object。Python中每个object都有"type", 和“identifier”:# int 3id(3) # this get the identifiertype(3) # this g...

2019-03-01 07:15:00 188

转载 [Operating Systems] Synchronization

Key C functions:int shmid = shmget(key_t key, size_t size, int shmflg); // Create an identifier for the shared mem segment by keyvoid *shmat(int shmid, const void *shmaddr, int shmflg); // att...

2019-02-28 14:00:00 154

转载 C Debugging Note

==Updating==Memory leakThings that could result in a memory leak :Assigning NULL to a dynamically allocated memory block. Will not be freed later. char ** arg = calloc(1, sizeof(char *))...

2019-02-28 10:46:00 112

转载 Limitations of Win10 bash subsystem

I'll record its limitations as I go along...Use snap to install packages, since snapd is not supported according to this discussion thread: https://forum.snapcraft.io/t/windows-subsystem-for-li...

2018-11-25 11:55:00 99

转载 CSAPP笔记-第一章

快速链接：这一章没有解决的问题目录与重点内容：编译系统hello程序的运行过程高速缓存器操作系统计算机系统的抽象Amdahl加速比定律公式并发与并行这一章术语（请ctrl+F正文内查找）：位，字节，字符，文本，ASCII，文本文件，二级制文件，机器指令，可执行目标程序，编译器GCC（缺省），编译系统，预处理器，编译器，汇编器，链接，总线，I/O，主板...

2018-04-17 17:08:00 137

转载 bash学习进行中 - 资料列表

文本处理sed 酷壳 - sed 简明教程 http://coolshell.cn/articles/9104.htmlawk 酷壳 - AWK 简明教程 http://coolshell.cn/articles/9070.html转载于:https://www.cnblogs.com/manqing/p/6704975.html...

2017-04-13 17:30:00 106

转载建站日志 - WordPress搬运到阿里云共享虚拟主机

17.4.9mysqldump因为租用的阿里云服务器ECS到期了，着手将博客搬到更便宜的共享虚拟主机上。之前安装的环境是MySQL5.5.54，PHP5.5.9，Apache2；共享虚拟主机提供的环境是MySQL5.1以下，PHP5.5以下。因此MySQL使用mysqldump导出的时候，需要加上一个--compatible=mysql40的参数。这样设置后导出的sql文件里中文全...

2017-04-09 14:26:00 386

转载 Python学习进行中 - 资料列表

本篇持续更新中用户问答列表Python官方文档中的FAQ - Frequent Asked Questions 部分。https://docs.python.org/2.7/faq/目前Programming FAQ有60问 -General Questions - 5Core Language - 17Numbers and Strings - 9Sequences(T...

2017-04-08 16:57:00 97

转载 Check your data! 数据预处理血泪教训

上图是一个经典的数据分析/数据挖掘步骤链（pipeline）。在将数据送到（load）你选择的model之前，数据必须经过提取（select/extract）、预处理（preprocess）包括转化（transform）才能形成一个单纯的算法model可以理解的结构化形式。提到这个长长的数据处理的过程，有类似经验的人都会感叹一句：道阻且艰... 数据处理占据了整个数据分析/数据挖掘周...

2017-04-07 21:58:00 373

转载 bash - 将正常输出和错误信息保存到日志文件，同时在终端输出

背景知识文件描述符(file descriptor)『它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符』https://zh.wikipedia.org/wiki/%E6%96%87%E4%BB%B6%E6%8F%8F%E8%BF%B0%E7%AC%A6每个Unix进程（除了可能的守护进...

2017-04-06 21:10:00 1299

转载【python技巧系列】在循环中处理异常并继续运行

有一个常见的场景：有一段代码的运行时间比较长，另对应的有一个输入集合。因此通常采用循环的方式将参数从输入集合中取出来让代码运行。最简单的写法是这样的： param_set = [param1, param2, param3] for param in param_set: do_something(param)通常情况下这种方式会遇到一些问题。举两个...

2017-04-06 15:40:00 3596

转载【Python技巧系列】 Python中key-value格式数据存储方案

key-value格式的存储的应用场景很多，通用的描述是『输入一个唯一标识的input，返回（查找）一个对应的output』。Python中字典（dictionary）就是一个内置的解决方案 - Python的字典本质上是一个哈希表，功能可对应Java的HashMap，但据说被尽可能地优化过（没有研究过细节，不随意展开），因此输入key的查询速度可以说是Python本身能达到的极致了。...

2017-04-02 22:07:00 2062

转载【python技巧系列】python的multiprocessing到底怎么用的问题

众所周知，由于python（Cpython）的全局锁（GIL）问题存在，导致Thread也就是线程的并行并不可实现。multiprocessing模块采用多进程而不是多线程的方式实现并行，解决了GIL的问题，一定程度上使状况得到了缓解。然而，Multiprocess本身依然有一些功能上的瓶颈。其中一个重要的是：进程之间不能共享内存（线程间则可以共享内存）。这意味着在进程间交换数据...

2016-04-16 20:57:00 148

转载【Python技巧系列】条件语句一行实现

发现了一种巧妙的条件语句实现方式：（是在pattern的README中的一个小例子里面看到的）1 1 if A < 1:2 2 B3 3 else:4 4 C5 5 6 6 ###can be transformed to7 7 8 8 A < 1 and B or C9 9 得益于python灵活的格式转换,...

2015-09-25 18:07:00 581

转载【Python技巧系列】argparser处理字典

看scikit-learn的源码时，在benchmark的benchmark_20newsgroups.py(关于20newsgroups数据集看这里)中看到了一个有意思的用法，如下： 1 import argparse 2 3 ESTIMATORS = { 4 "dummy": DummyClassifier(), 5 "random_f...

2015-09-23 16:40:00 835

转载 svm与matlab中的libsvm应用

svm原理有关svm教程以及教材已经很多，资料中介绍的都很详细。略过数学证明，用语言直观简洁地描述：svm就是一个可以控制参数改变分隔平面的一个二元分类器，得到1和-1的分类结果。除了分类，svm在加入了eps误差参数之后可根据点距离分隔平面的远近（？）给出具体的回归函数值（？），这时的support vector machine就变身成为support vecto...

2015-09-10 13:29:00 165

转载 python easy_install pip

Python下有几种安装包的工具，比如easy_install和pip，经常搞不清楚它们的用法和关系，自己写篇总结一下，方便下次用的时候查找。easy_install的安装(win下)可以参考这篇文章：http://www.cnblogs.com/zhuyp1015/archive/2012/07/17/2596495.htmlpip在linux下可以直接用sudo ...

2015-08-06 18:06:00 101

转载 Nexus 5 LG"hammerhead"刷机（刷原厂系统镜像）

Nexus 5到手是4.x的系统，系统通知有升级到5.0的包，就直接在后台下载安装了。平面的风格相当喜欢，但是系统占内存貌似比4.x要多，chrome也时常卡顿。然而最无法忍受的是——我用的AnyConnect的客户端只支持到4.x。有一款Openconnect的第三方客户端可以用，但是经常断线，而且这两天貌似全部停止服务，除了连接不上，豌豆荚和play市场也都无法下载。AnyConne...

2015-07-09 19:59:00 734

转载新浪微博爬取笔记（4）：数据清理

数据清理的部分很多，其实爬数据的过程中步骤的间隔也要做数据清理，都是很琐碎繁杂的工作。总结经验的话，就是：1、一定要用数据库存储数据（我因为还不太会数据库，为了“节省学习时间”，所有数据项都用txt存储，直到最后出现了多个种类之间查找，文件夹树变得比较复杂，才觉得当初即使使用MySQL也会提高效率）2、处理异常的语句不嫌多3、处理数据的脚本最好打包成函数，尽量减少运行...

2015-04-25 21:15:00 525

转载 lxml在win下的安装（python2.7）

python2.7.3 on win32================参考了这篇文章http://zzq635.blog.163.com/blog/static/19526448620132845436686/lxml安装之前，要先安装libxml2, libxslt, zlib, iconv。依赖关系见这里http://www.zlatkovic.com/...

2015-04-19 20:59:00 171

转载新浪微博爬取笔记（3）：wap端爬取用户微博列表，微博转发列表，用户信息...

wap端登陆成功后，就可以安心开始爬取数据了。我这次需要的数据是：（1）用户的近期1000条微博，需要：微博id，转发量，发布时间（2）某条微博的转发列表，需要：转发人，转发时间（3）某个用户的关注数，粉丝数，微博数，最近100条微博的平均转发量相比模拟登陆，爬数据的工作就简单很多。但需要注意几个坑，一边做一边总结如下：##爬微博列表##（1）虽然...

2015-04-18 17:46:00 1551

转载 BeautifulSoup4移植到bs4

http://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html"你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,我们推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4"使用方法：1 from bs4 import Bea...

2015-04-15 16:37:00 85

转载新浪微博爬取笔记（2）：wap端模拟登陆 python

===================看了其他人的博客都写的很简洁干净，我这边的排版简直要晕。图和代码一起上，小白每一步都要有讲解。。。===================虽然weibo.com的模拟登陆用http://www.cnblogs.com/houkai/p/3487816.html的代码成功了，但是新版微博的标签太复杂，而且爬取一个用户的微博列表的时候，最...

2015-04-15 14:20:00 730

auqgw4556的博客