Edward-liang-优快云博客

原创 Linux搜索文件

Linux搜索文件常用的相关命令包括：whereis, which , find 和locate。whereis 简单快速并非从磁盘中直接查找，而是直接从数据库中查询。只支持二进制文件(-b)，man帮助文件(-m)和源代码文件(-s)。locate 快而全命令可以用来递归查找指定目录下的各种文件类型。通过/var/lib/mlocate/mlocate.db查找，该数据库每天自动更新一...

2019-04-06 16:51:21 7689 1

原创 Linux工作环境的搭建顺序

根据日常工作总结经验，按照如下顺序来配置自己的linux工作环境较为快捷。首先考虑当前用户是否要加入root组 (/etc/sudoers)配置网络配置浏览器并导入书签，配置输入法配置oh-my-zsh和terminal 一个好的shell可以为工作加速很多。配置开发编译环境（Java, Python, Maven, Git…）配置开发IDE （Idea, Pycharm, ...

2018-12-21 23:48:32 795

原创整理一些用Pandas进行数据预处理的操作

读入数据读入部分列，自动处理千分位符column_num = [x for x in range(13,35)]df = pd.read_csv('???.csv',encoding='gbk',thousands=',',usecols=column_num)删除空值行针对部分列df = df.dropna(axis=0, how='any',subset=[A','B...

2018-08-28 09:46:11 2874

原创离线安装python依赖

部署环境的时候，遇上封闭环境。总会有安装依赖的需求，这个时候必须得有个python第三方包的list，一般放在requirements.txt。1.生成requirements.txt的方法情形1如果一个项目使用时virtualenv环境，pip freeze 就可以解决进入虚拟环境envXpip freeze > requirements.txt将包依赖信息保存在requir

2018-01-05 15:43:27 5024

原创 Spark-SQL

Spark-SQL1.直接通过脚本执行注意指定使用的资源情况。 spark-sql –executor-cores 1 –executor-memory 2g2.采用Beeline工具执行(mr用户)beeline -u jdbc:hive2://localhost:18000 -n mr HiveQL官方语法文档 https://cwiki.apach

2018-01-05 10:51:19 451

原创 RapidMiner调试方法

打开RapidMiner安装目录在RapidMiner-Studio.bat中把”%JAVA%” %JVM_OPTIONS% -cp “%RAPIDMINER_HOME%”\lib*;”%RAPIDMINER_HOME%”\lib\jdbc* com.rapidminer.launcher.GUILauncher %CMD_LINE_ARGS% 替换为 “%JAVA%” %JVM_OPTIO

2016-10-26 11:13:13 2163

原创 Python中文自然语言处理-NLTK 学习笔记1 chapter1

from nltk.book import **** Introductory Examples for the NLTK Book ***Loading text1, ..., text9 and sent1, ..., sent9Type the name of the text or sentence to view it.Type: 'texts()' or 'sents()' to

2016-10-21 17:39:37 2368

原创添加已有项目到github

前提准备配置好认证秘钥–保证本地和远程建立安全连接准备工作新建repository，可以在github网站上直接新建或者使用windows github工具。总体思路（推荐）1，在github上创建一个空项目然后clone这个项目到本地 2，将本地要上传的项目放到clone的项目中，然后提交到github具体操作在github windows工具中使用git Bash打开项目，使用cd命令进

2016-02-25 10:39:59 1059

转载 JAR打包的误区：第三方包的嵌套打包

原文地址：http://blog.youkuaiyun.com/zwx19921215/article/details/24368099今天弄明白一个关于JAVA项目中JAR打包的问题。我们有时可能会把自己的项目做成第三方包给别人使用，但是同时我们自己的项目又引用了其他已有的第三方包，在打包的时候，我们经常可能自作聪明地将自己引用的第三方包全部封装在项目根目录下的某个folder下（如lib/

2016-01-13 15:42:32 1042

转载 ln 命令

ln是linux中一个非常重要命令，它的功能是为某一个文件在另外一个位置建立一个同步的链接.当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间。

2016-01-13 13:59:36 571

原创《Web Scraping with Python》读书笔记

《Web Scraping with Python》 – Ryan Mitchell 2015年6月英文第一版，是我看到的第一本专门介绍python爬虫的书籍。本文并不记录详细的实验记录，事实上我也并没有花时间这样做–时间有限。简要记录该书的主要内容和思路。

2016-01-12 15:31:13 1198

原创 maven向本地仓库导入官方仓库没有的jar包

提要：通常maven项目依赖本地其他编译出的jar包时，需要先导入本地仓库测试（而不是导入中央仓库）。本文简要记录方法。情境：本地项目A依赖本地项目B、C编译出的jar包。解决思路： 1.先编译出B、C对应的jar包 2.将B、C编译出的jar包导入本地仓库 3.编译项目A 通过并生成需要的jar包

2016-01-08 14:28:09 3677

原创 JavaScript入门经典学习笔记

#读书目标1.掌握基础JS语法2.了解JS常识，比如内置对象，浏览器对象3. JS事件处理机制备注：以后再单独研究JS框架

2016-01-07 15:56:51 1477

原创 GitLab使用问题记录

GitLab 使用基本命令记录提交时碰到问题及解决办法。

2016-01-04 17:13:00 7295

原创安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错，其实这个错误是一个间接，由其依赖引起。

2015-12-31 10:30:10 2166

原创安装scrapy报错 Python.h: 没有那个文件或目录

安装scrapy的时候报错，其实这个错误是一个间接，由其依赖引起。

2015-12-31 10:29:29 8902

原创 Django学习笔记3-数据库操作

介绍了Django Model 和数据库相关操作，并给出了操作的例子。

2015-12-29 13:34:45 785

原创 SMART原则

目标管理是使管理者的工作由被动变为主动的一个很好的管理手段，应用于自我管理可以更加明确高效地工作，更加敏捷。

2015-12-29 10:33:45 1053

原创 Django学习笔记2

Django创建视图和添加可访问的url的方法

2015-12-28 15:38:20 735

原创 Django学习笔记1

Django简介Django创建工程、app基本命令

2015-12-28 15:09:09 706

原创《图解HTTP》读书心得

读书初衷1.最近开发nutch网页解析插件遇到不少网页返回状态码让我在意。 2.对一些需要2次请求的页面的参数意义不明。 3.据说scrapy爬HTTPS会遇到困难，这东西究竟什么鬼？整理一下对我有用的知识点，不感兴趣的暂时没有细读。

2015-12-23 15:17:51 855

原创 Dom4j解析XML那些事

总结Dom4j解析XML5类常用操作，介绍CDATA节点解析方法。

2015-12-15 14:21:54 638

原创 Linux服务器挂载数据盘

前记：在阿里云上租了个小服务器，2块磁盘，其中一块正好是没有格式化过的，练习一下Linux上的数据盘挂载。

2015-12-15 13:47:49 2561

原创 Ukulele爬格子备忘

Ukulele爬格子总体思路左右手练习

2015-12-14 21:57:44 651

原创 python dict list 排序专题

总结dict list排序的几种方法

2015-12-08 16:22:34 912

原创读书是进步的源泉 | 实践是前进的基石

制定读书清单和每月阅读的书籍时，要用SMART原则衡量。除了比较简单的读物，应该附上读书笔记。未读书单《Python自然语言处理》《社交网站的数据挖掘与分析》《利用Python进行数据分析》《高效能人士的七个习惯》史蒂芬.科维《聆听音乐》克雷格.怀特 (ing) 《Head First Python》web部分-Paul Barry (ing) 《失控：全人类的最终命运和结局》

2015-12-07 17:43:42 803

原创中关村在线ZOL搜索页面：找出值得抓取的host

现需要获取某个论坛的帖子的url。并且需要更具获取的url的统计情况，对出现比较多的url提供解析功能。本文主要对统计部分的功能进行记录。以中关村在线的搜索结果页面为例，要获取华为和小米搜索结果的前5页进行统计。

2015-12-07 14:03:06 1407

原创 CasperJS学习笔记--循环

CasperJS的循环控制很简单，用repeat（）函数即可，本篇包含一个传入参数循环读取的例子。

2015-12-06 21:08:34 2749

原创 CasperJS学习笔记--命令行参数

基于官方的使用实例，介绍CapserJS内置命令行工具的参数使用。

2015-12-05 15:25:09 2706

原创爬取新浪搜索内容遇到的问题及解决

在Nutch爬虫爬取新浪的时候爬取率低，抽查了相关种子发现新浪搜索页面的帖子爬取率很低。遂展开分析

2015-12-04 14:20:43 2487

原创 Python 文件和异常处理

本文简要介绍了python中使用文件操作的原因，文件操作的基本方法，给出了简单的示例。

2015-10-14 09:28:42 1814

原创 Python函数模块创建、发布和使用

本文以一个实例对Python函数模块的创建，发布和使用进行了完整的演示。

2015-10-12 14:43:20 3969

原创 Java反射二三事

为什么需要反射关于反射有很多场景可能会用到，这里用到是因为有一些私有方法必须要写单元测试。关于为什么会对私有方法进行单元测试，也许这并不是常见的需求。然而当外部环境变化很大（比如网站的url）时，保证你的函数正确有助于快速排错。对私有方法反射的主要流程1.首先获得方法A所在类的Class object，即通过Class.forName(ClassName)以及

2015-10-10 10:03:31 794

原创 [Linux杂记] 用户添加删除及赋权限

sudo useradd -m user1 //添加一个可以前台登录的用户，如果不用-m参数就登录不上，Ubuntu 14.10测试passwd user1 回车然后设置密码sudo useradd -r user2 //添加一个root用户，注意这个用户是没有办法前台登录的sudo userdel user2 // 删除用户2要使得一个用户

2015-01-13 21:01:26 1045

转载 IEEE 参考文献格式

Bibliographic: IEEE Formatreference:http://www.class.uidaho.edu/adv_tech_wrt/resources/sources/bibliographic_ieee_format.htmBook with a single authorJ. J. Adams, Urban Economy and Public

2014-10-06 10:58:55 33331

转载美满电子校园招聘

网申09月01日 -10月31日笔试面试结束Marvell 美满电子2015校园招聘全面启动！领先的技术、非凡的创新铸就美满的成功新鲜的血液、热情洋溢的你成就美满的未来你，正是我们寻找的象牙塔里展翅的雏鹰

2014-09-14 22:07:35 1640

原创 []趋势科技2015校园招聘

网申08月21日 -10月31日笔试09月15日 -10月31日面试09月15日 -10月31日结束来自趋势的offer ･第二季-2015年趋势科技校园招聘我们是一家有文艺范儿的IT公司，在这里，你这样充满逻辑和条理的

2014-09-06 13:05:46 2225

原创 NOJ1023字符串排序

Time Limit(Common/Java):1000MS/3000MS Memory Limit:65536KByteTotal Submit:1243 Accepted:242Description有一些A、C、M组成的字符串，将其按字符A排序。Input一组测试数据，输入数据由若干行组成，每行是字符A、C或M组成的字符串。

2014-08-27 10:53:13 1173

Domain Storytelling

Domain Storytelling: A Collaborative, Visual, and Agile Way to Build Domain-Driven Software 领域故事叙述相关的电子书就这一本，读它就行~

2023-05-23

tensorflow1.0.1 python3.6 cpu linux版安装文件

为没有梯子的朋友提供方便~ GPU版超过上传尺寸了，需要GPU版的朋友联系我zhangliangaws@163.com

2017-03-27

tensorflow1.0.1 python2.7 cpu linux版安装文件

为没有梯子的朋友提供方便~ GPU版超过上传尺寸了，需要GPU版的朋友联系我zhangliangaws@163.com

2017-03-27

tensorflow1.0.0 python2.7 linux版安装文件

为没有梯子的朋友提供方便~

2017-03-27

Deep Learning- by Yoshua Bengio

压缩包内完整收录大神Bengio最新Deep Learning书籍作者是Ian Goodfellow、Yoshua Bengio、Aaron Courville三个人署名，为什么单提Bengio呢？请移步知乎https://www.zhihu.com/question/37922364 欢迎交流，希望资料能够给大家帮助，共同进步。

2016-10-19

Exploring Data with RapidMiner - Andrew Chisholm

RapidMiner是世界领先的数据挖掘解决方案，提供可视化界面。相关的资料却不是很多，这本资料在个人论坛才有，并且论坛都是收费的。现提供大家下载，供学习使用，请勿商业用途。还有一些相关的资料，如有需要可以email我， zhangliangaws@163.com

2016-10-13

TensorFlow MNIST数据集下载脚本input_data.py

TensorFlow的官方文档里面，关于MNIST这个例子下载数据用的文件。原始文件url打不开，提供一个从其他渠道找到的资源供大家使用~

2016-05-28

A Fast Approximate Nearest Neighbor Search Algorithm in the Hamming Space

该文献的主要思想是：输入文件的哈希值（我用的是文件名）例如一个64位的哈希值，多次随机抽取若干位（例如4位）的值组成一个字串，按照字串值的不同将文件放入不同的哈希桶中。这样一个64位哈希值将被放入64/4=16个桶中，查询时把所有查询点也哈希成64位哈希值，按照相同的方式随机抽取，把所在桶中所有的字符串全部拿出来做候选集。同时，为了进一步提高查全率设定一个权重值（度量汉明距离），准备一个汉明字典将所有字串和其他汉明字串的值记录用以将权重值内的桶的字符串也做为候选集。

2014-08-19

A DESIGN OF METADATA SERVER CLUSTER IN LARGE DISTRIBUTED OBJECT-BASED STORAGE

In large distributed Object-based Storage Systems, the performance, availability and scalability of the Metadata Server (MDS) cluster are critical. Traditional MDS cluster suffers from frequent metadata access and metadata movement within the cluster. In this paper, we present a new method called Hashing Partition (HAP) for MDS cluster design to avoid these overheads. We also demonstrate a design using HAP to achieve good performance of MDS cluster load balancing, failover and scalability.

2014-01-21

基于行为模式的Android平台入侵检测系统的设计与实现

本论文以保证Android系统用户安全为根本出发点,以能够识别已有恶意攻击和发现未知恶意攻击为目标,从Android安全机制和面临的安全威胁,以及 Android平台恶意软件攻击意图和攻击手段两条主线同时进行研究。在同时考虑 Android系统安全威胁和Android恶意软件行为模式的情况下,提出采用应用和用户行为模式作为异常检测对象,并设计基于Markov链模型的用户和应用行为模式的异常检测算法。最后给出了基于行为模式的Android平台入侵检测系统的整体设计,并详细设计和实现了异常检测子系统。

2014-01-16

A Survey of Mobile Malware in the Wild

Mobile malware is rapidly becoming a serious threat. In this paper, we survey the current state of mobile malware in the wild. We analyze the incentives behind 46 pieces of iOS, Android, and Symbian malware that spread in the wild from 2009 to 2011. We also use this data set to evalu- ate the eectiveness of techniques for preventing and iden- tifying mobile malware. After observing that 4 pieces of malware use root exploits to mount sophisticated attacks on Android phones, we also examine the incentives that cause non-malicious smartphone tinkerers to publish root exploits and survey the availability of root exploits.

2014-01-16

Android应用程序框架安全机制研究及改进_ 文章结构

对《Android应用程序框架安全机制研究及改进》这篇文章整体做了整理，形成了一个图。

2014-01-15

Android应用程序框架安全机制研究及改进

面对恶意软件的威胁,Android 使用了一套应用程序安全框架来保护安全。本文以 Android 现有的安全机制为基础,通过研究当前安全机制的不足,分析恶意软件攻击的特点,提出了多个具体的安全扩展和保护方案,达到了较好的防御效果。研究工作主要体现在以下几个方面: (1)在深入研究 Android 权限机制的基础上,指出了 Android 权限机制的不足,并给出了基于安全距离的权限机制扩展方案,为描述应用程序的安全性提供了一个量化方案。 (2)仔细研究了 Android 组件式程序结构,发现了其中存在着无法限制不安全的数据传递的问题。根据这一缺陷,设计了一种新的针对 Android 平台的攻击方案——协同攻击方案。 (3)使用协同攻击深入分析了 Android 组件式程序结构的缺陷,通过分析和研究,提出使用在程序边界部署数据过滤方案来保护隐私数据的方案。本文详细描述了如何使用基于 Bloom Filter 的数据保护方案来防御协同攻击。 (4)在现存的 Android 安全机制中,大多数都是安装时机制。一旦恶意程序躲过安装时检查,在恶意程序运行时 Android 安全机制不能及时做出反应。本文针对这个问题提出了基于上下文的运行时检测方案。

2014-01-15

Efﬁcient Metadata Management in Large Distributed File Systems

Metadata management in large distributed systems is a critical aspect of overall system performance. Directory subtree partitioning and pure hashing are two common techniques used for metadata management. Neither of these techniques can support large systems with high concurrent accesses due to the conflicting need for both load balancing and directory update efficiency. We present a flexible approach that addresses the problems of the existing techniques. The approach, called Lazy Hybrid Hashed Hierarchical directory management, takes advantage of the load balancing and other performance benefits of hashing, while maintaining a hierarchical directory structure and metadata logging to support lazy metadata relocation and updates. A dual-entry Access Control List provides direct permission calculation to the target file, avoiding the overhead of traversing the pathname for permission check.

2014-01-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Domain Storytelling

tensorflow1.0.1 python3.6 cpu linux版安装文件

tensorflow1.0.1 python2.7 cpu linux版安装文件

tensorflow1.0.0 python2.7 linux版安装文件

Deep Learning- by Yoshua Bengio

Exploring Data with RapidMiner - Andrew Chisholm

TensorFlow MNIST数据集下载脚本input_data.py

A Fast Approximate Nearest Neighbor Search Algorithm in the Hamming Space

A DESIGN OF METADATA SERVER CLUSTER IN LARGE DISTRIBUTED OBJECT-BASED STORAGE

基于行为模式的Android平台入侵检测系统的设计与实现

A Survey of Mobile Malware in the Wild

Android应用程序框架安全机制研究及改进_ 文章结构

Android应用程序框架安全机制研究及改进

Efﬁcient Metadata Management in Large Distributed File Systems

Linux内核设计与实现（第三版）中文版

Understanding the Linux Kernel (3rd Edition)

Linux内核源代码情景分析

Python3.3.2

1小时学会Python

ACM真题 合集

网页制作完全手册

jsp应用开发详解

空空如也

ACM真题合集