genshengxiao的专栏

原创 JAVA术语记录

Java SE：Java Platform, Standard Edition, 之前也称J2SE，Java应用程序的标准版。JDK：Java Development Kit, Java研发工具包，JDK里面有java的运行环境(JRE)，包括client和server端的。需要配置环境变量。JRE：Java Runtime Environment, Java运行环境，JRE里面只有cli...

原创 psycopg2参数化查询

#!/usr/bin/env python#--- coding: utf8 ---import psycopg2 as p2conn = p2.connect(user='nsc', password='xxxxx', host='10.67.1.176', port=5432)csor = conn.cursor()#非参数化查询#csor.ex

原创 HIVE数据导入

1. text数据文件导出text数据表中    数据格式：         创建相应的数据表     create table if not exists text_table(id int, count int) comment 'table desc' partitioned by (date int) row format delimited fields terminat

原创 hive原理

Hive是一个数据库仓库工具，架构基于Hadoop，通过将SQL(HQL)转换成MapReduce任务实现查询功能。    HIve不是：        一个关系数据库        一个设计用于联机事务处理(OLTP)        实时查询和行级更新的预言    Hive特点：        基于HDFS的列式数据库       一个设计用联机分析处理(OLAP)

原创 PCAP文件结构

原创 postgresql数据备份恢复

恢复：windows: pg_restore.exe --host 10.67.1.176 --port 5432 --username "nsc" --dbname "nsc" --no-password  --data-only --table final_result_infov2 --schema internal_app_bsatam --verbose "C:\User

原创 iptables

1. 清除规则    iptables -F  2. 查看规则    iptables -nvL 3 查看规则ID    iptables -nL --line-number 4. 追加规则    Chain INPUT区域    iptables -I INPUT 3  -s 1.1.1.1 -d 2.2.2.2 -p tcp --sport 100 ...

原创 石头剪刀布

#!/usr/bin/env python#--- coding: gbk ---import randomselect = ['石头', '剪刀', '布']N = len(select)result = [    'nobody win',    'you win',    'computer win',]M = len(result)

原创 RAID概述

RAID, 英文：Redundant Arrays of Independent Disks，中文：磁盘阵列    目前RAID主要使用的集中类型有RAID0、RAID1、RAID5和RAID01/10    RAID0    RAID 0最简单的实现方式就是把N块同样的硬盘用硬件的形式通过智能磁盘控制器或用操作系统中的磁盘驱动程序以软件的方式串联在一起创建一个大的卷集。数据存储如图：

转载 Ubuntu11.04内核重置密码

进入GRUB修改kernel镜像启动参数。具体过程如下为：1重启电脑安ESC键或者F2键进入GRUB引导模式如下图所示，选择第二行的recovery mode。2 安e进入recovery mode 编译kernel进行启动参数3 在linux /boot/vmlinuz...这一行后面添加 quiet splash rw init=/bin/bash。然后

原创 HP打印机驱动程序下载

http://support.hp.com/cn-zh/drivers/selfservice/hp-laserjet-pro-p1106/p1108-printer-series/5099191/model/5099195#Z7_3054ICK0K8UDA0AQC11TA930C7

原创 linux访问windows共享目录

环境windows: win7linux:  centos6.51. 开始windows共享目录H2. centos6.5安装samba，yum install samba-client3. 查看windows共享目录，smbclient -L //10.67.1.7 -U xiaogensheng4. 挂载功效目录，mount -t cif

翻译 Spark快速开始

本文主要介绍快速使用Spark的方法。首先通过Spark的交互式shell介绍相关的API，然后介绍如何使用Java、Scala和Python编写应用程序。开始介绍之前需要从Spark website下载一个发行包。虽然我们不使用HDFS，但是可以下载任何版本的Hadoop包。基于Spark Shell的交互式分析Spark's shell 除了是一个强大的交互式分析数据的工具，也提供

翻译 Spark概述

Spark是一个基于大数据处理的快速并且综合引擎。通过逻辑回归分析，如果基于内存进行运算，Spark比Hadoop MapReduce快100倍；如果基于硬盘进行技术那，Spark比Hadoop MapReduce快10倍。究其主要原因是因为Spark的高级DAG执行引擎，该引擎支持循环数据流和内存计算。Spark的程序编写及其方便，目前支持的语言有Java、Scala、Python、R。

原创 获取CPU信息

wmic windows管理工具扩展1. cmd --> wmic --> cpu get * 2. 查看输出信息的NumberOfCores和NumberOfLogicalProcessors列，如下：

原创 IPD

集成产品开发(Integrated Product Development)框架：流程：评审：一般分为两个层面的评审，投资决策评审(DCP)和技术评审(TR)，评审委员IPMT团队，评审对象PDT团队charter DCP：市场和SE评审TOPN需求和主要竞争需求CDCP：概念决策评审点，业务发展潜力、对市场的了解等PDCP：计划决策评审点，业务计划和产品开发合

原创 获取执行程序文件所在目录

//get_exe_dir.c#include #include #include #include char* get_exe_dir(){    int path_len = 1024;    char* exe_dir = (char*)malloc(path_len * sizeof(char));    if(readlink("/pr

原创 gcc编译过程

gcc编译过程分为四个步骤：1. 预处理    gcc -E test.c -o test.i2. 编译    gcc -S test.i -o test.s3. 汇编    gcc -c test.s -o test.o4. 链接    gcc test.o -o test

原创 apache+php安装

安装环境：CentOS release 6.5 (Final)apache安装安装包：        httpd-2.4.23.tar.gz        apr-1.5.2.tar.gz        apr-util-1.5.4.tar.gz1. 下载先关安装包，放入目录opt下：     tar -zxf  httpd-2.4.23.tar.gz

原创 文件上传漏洞

上传相关文件，并且能够执行相关程序。

原创 注入攻击

定义：将用户输入的数据当做代码执行。两个关键条件：    1. 用户能够控制输入；    2. 原本程序要执行的代码拼接了用户输入的数据；常用的注入方式：    1. SQL注入攻击    2. CMD注入攻击    3. XML注入攻击    4. 代码注入攻击    5. CRLF注入攻击

原创 点击劫持

点击劫持，ClickJacking    定义：攻击者使用一个透明的、不可见的iframe，覆盖在一个页面上，然后诱使用户在该页面上进行操作，从而完成攻击行为。    进阶：             1. Flash点击劫持             2. 图片覆盖攻击，XSIO             3. 拖拽劫持，主要用于数据窃取             4. 触屏劫持

原创 跨站点请求伪造

跨站点请求伪造，Cross Site Request Forgery, 缩写为CSRF或XSRF    定义： 在用户登录认证本站点之后，攻击者诱使用户点击其他站点的页面，该页面会在用户不知情的情况下，发送一些与本站点相关的恶意请求，从而达到攻击的目的。

原创 meliae安装

1. pip安装 https://pip.pypa.io/en/stable/installing/2. Cython安装 https://pypi.python.org/pypi/Cython/0.24.13. meliae下载 https://pypi.python.org/packages/98/c6/7fa12062ddfe1732d43b...

原创 跨站脚本攻击-XSS

跨站脚本攻击，Cross Site Script，为了区别CSS，因为缩写为XSS    XSS攻击，通常指hacker通过“HTML注入”篡改了网页，插入恶意的脚本，从而在用户浏览网页时，控制用户浏览器的一种攻击。   XSS根据效果的不同可以分为如下几类：    1. 反射型XSS         通过将用户输入的数据“反射”给浏览器达到攻击的方式。反射型XSS也叫“非持久性X

原创 pcap文件概述

文件整体结构示意图文件整体结构描述Magic：4B：0x1A 2B 3C 4D:用来标示文件的开始Major：2B，0×02 00:当前文件主要的版本号Minor：2B，0×04 00当前文件次要的版本号ThisZone：4B当地的标准时间；全零SigFigs：4B时间戳的精度；全零SnapLen：4B最大的存储长度LinkType：4B链路类型, 常用类型

原创 字节序类型

不同的CPU有不同的字节序类型 这些字节序是指整数在内存中保存的顺序 这个叫做主机序最常见的有两种 1． Little endian：将低序字节存储在起始地址 2． Big endian：将高序字节存储在起始地址 主机字节顺序是指本地CPU根据不同的操作系统采用不同的字节序进行数据存储的数据表示格式，如Win7/Ceotos都采用LE类型； 网络字节顺序是TC

原创 Centos6.5安装Django1.8.2

源码包Python-2.7.10.tgzsetuptools-18.1.tar.gzDjango-1.8.2.tar.gz 安装python1. 安装gcc和 g++编译器2. tar -zxf Python-2.7.10.tgz，2. cd Python-2.7.103. ./configure --prefix /home/$username/pytho

原创 台式机通过笔记本上网

笔记本 : Thinkpad E531  win7台式机：dell 990 centos6.51.  手动配置无线网卡的IP信息， 如下图：2. 开启无线网卡的共享设置，如图：3. 配置笔记本的有线网卡，如图：4. 用一根网线将台式机和笔记本连接，并且注意调整两边的防火墙设置。5. 配置台式机的IP信息，如图：

原创 变量命令风格

1. 匈牙利命令法  通过在变量名前面加上相应的小写字母的符号标识作为前缀，标识出变量的作用域，类型等。如iMyVar, g_iMyVar2. 驼峰命名法(camel-case)  驼峰命名法，正如它的名称所表示的那样，指的是混合使用大小写字母来构成标识符的名字。其中第一个单词首字母小写，余下的单词首字母大写。如：myVar, 其中MyVar为用户自定义变量类型

原创 根据时间段生成趋势数据

根据时间段生成趋势数据

原创 隐藏uuid1的mac信息

隐藏uuid1的mac信息

原创 UUID数据结构和使用方法

UUID数据结构和使用方法

原创 PostgreSQL开启远程连接功能

PostgreSQL开启远程连接功能

原创 PostgreSQL安装

在centos6.5上安装PostgreSQL数据库

原创 rpm

rpm

原创 两台主机网线直连

两台PC机通过网线直接连接，在满足一下条件的情况下，都能构成局域网

原创 shutdown

shutdown

原创 telnet

telnet

原创 表格

html的表格简单使用