- 博客(80)
- 资源 (41)
- 收藏
- 关注
原创 javascripte 字符串定界符单引号与双引号的区别
在很多资料都介绍javascripte 字符串定界符可以是单引号' 或者双引号"都是同样的作用,真的是这样的吗?下面是so简单的一个html<!DOCTYPE html><html> <body> <h1>用 JSON 字符串创建对象</h1> <p id="demo"></p> <...
2019-10-28 10:44:52
578
原创 利用node.js搭建简易的http服务程序
1.使用http模块建立简单的HTTP服务创建一个名为server.js的文件,内容如下:/*1. 加载HTTP模块2. 创建http服务对象3. 监听用户请求事件4. 启动服务*/// 1、加载http模块var http = require('http'); // 2、创建一个http服务对象var server = http.createServer();...
2019-10-27 21:36:53
345
原创 Scrapy 使用笔记之twisted语法错误问题
第一次使用Scrapy就遇到了一个twisted语法错误问题,按理说其实不应该这样,下面记录详细的过程和解决方法环境:windows10+Python3.71、创建scrapy项目D:\PythonWorkerspace>scrapy startproject xdbNew Scrapy project 'xdb', using template directory 'c:\\...
2018-10-13 07:33:49
2493
原创 win10+python3.7下安装scrapy
有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步...
2018-10-12 16:21:42
6263
1
原创 python2.6.6 升级到python2.7.14
其实网上有很多关于python2.6.6 升级到python2.7的文章,但是我对比这些类似的文章升级之后,发现其中有错误的地方,于是决定还是自己写一个真正的升级过程。我的虚拟机里安装的是CentOS 6.5里面默认安装的Python2.6.6,因为要学习TensorFlow,所以决定升级到2.71、下载安装包其实在python官网上有个目录列举出了各个版本的下载安装包,点击这里,
2017-11-16 15:35:36
18215
原创 Python2.6下安装pip
1 前言pip 是一个Python包管理工具,主要是用于安装 PyPI 上的软件包,可以替代 easy_install 工具。2 获取pip2.1 脚本安装pip下载文件:wget https://bootstrap.pypa.io/get-pip.py执行结果:[root@node1 python_lib]# wget https://bootstra
2017-11-16 10:28:06
19382
原创 kafka学习笔记四:搭建Kafka集群
Kafka集群配置通常有三种,最简单的下面的第一种,也是默认的一种:单节点,单Broker单节点,多Broker多节点,多Broker版本选择:kafka_2.11-0.11.0.0.tar.gzzookeeper-3.4.10.tar.gz可以到kafka官网和zookeeper官网上下载到安装包1、单节点,单Broker配置1、安装kaf
2017-11-09 14:04:53
1713
原创 kafka学习笔记三:负载均衡
Kafka具有消费分组的概念,一个Topic的一个partition只能由一个Consumer group中的一个Consmer消费,概念似乎很容易理解,那么我们来做个测试看1、创建一个Topic使用一个已经创建好的Topic,[root@node1 bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --to
2017-11-08 21:57:26
9501
1
原创 安装MySQL-python
最快速最简单方法:yum install MySQL-python[root@node2 python_lib]# yum install MySQL-pythonLoaded plugins: fastestmirror, refresh-packagekit, securityDetermining fastest mirrors * base: mirrors.aliyun.c
2017-11-07 19:17:25
869
原创 kfka学习笔记二:使用Python操作Kafka
1、准备工作使用python操作kafka目前比较常用的库是python-kafka库,但是在安装这个库的时候需要依赖setuptools库和six库,下面就要分别来下载这几个库1、下载setuptools打开这个网址可以下载到setuptools-0.6c11-py2.6.egg2、下载python-kafka打开http://pipy.python.org,在搜索框里面
2017-11-07 16:17:24
76327
3
转载 Kafka学习笔记一:基本概念
1、Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。2、产生背景Kafka是一个消息系统,用作LinkedIn的活动流(Activ
2017-11-07 15:21:01
787
转载 Kendo UI Grid
下面是一个简单的kendo UI 的表格 #grid { width: 300px; height: 400px; }$("#data_grid").kendoGrid({ columns: [ { field: "firstName"
2017-09-08 17:43:31
697
原创 Missing artifact jdk.tools:jdk.tools:jar:1.8的解决方法
使用Scala IDE build of Eclipse SDK 创建了一个Hadoop的MVEN开发工程之后,引入了相关的依赖包 org.apache.hadoop hadoop-common ${haddop.version} org.apache.hadoop hadoop-common ${ha
2017-08-11 16:50:49
25963
原创 因服务器时间不一致导致的MapRecude 任务运行失败
在一个测试环境下使用3个节点部署完成了Hadoop HA集群,集群启动都OK,但是当写了一个wordCounta测试打包后在集群上开始运行时,报了一个错误:[root@node2 hadoop_jar]# /opt/package/hadoop-2.7.2/bin/hadoop jar wordcount.jar /hello.txt /output1Container launch
2017-08-08 15:58:37
1790
原创 MapReduce 开发问题和解决方法汇总
在做MapReduce开发的过程中,难免会会遇到些问题,这里记录下这些问题及其解决方法1.找不到ResourceManager开发好的MapReduce客户端代码达成jar包提交到部署hadoop集群的服务器,开始运行的时候提示下面的错误:17/08/08 10:02:21 WARN util.NativeCodeLoader: Unable to load native-hadoop
2017-08-08 11:46:08
1490
原创 不错的Spark在线教程
首先非常感谢zhouzhihubeyond写的原创教程,我这的都是根据他的博客里面的文章整理出来的。还在整理当中Spark修炼之道(进阶篇)——Spark入门到精通(16讲)Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建【点击打开】Spark修炼之道(进阶篇)——Spark入门到精通:第二节 Hadoop、Spark生成圈简介【点击打开
2017-07-26 22:14:29
17647
2
原创 Scala 学习笔记(五)------定义偏函数
Scala 偏应用函数是一种表达式,你不需要提供函数需要的所有参数,只需要提供部分,或不提供所需参数。如下实例,我们打印日志信息:import java.util.Dateobject Test8{ def main(arg: Array[String]){ val date = new Date log(date,"message1") Thr
2017-07-20 17:28:17
315
原创 Scala 学习笔记(五)------定义匿名函数
匿名函数就是一个没有名字函数,不是显式定义的,Scala 中定义匿名函数的语法很简单,箭头左边是参数列表,右边是函数体。使用匿名函数后,我们的代码变得更简洁了。下面的表达式就定义了一个接受一个Int类型输入参数的匿名函数:object Test7{ def main(argc:Array[String]){ var add = (a:Int ,b:Int) => a+b;
2017-07-20 16:46:18
734
原创 Scala 学习笔记(六)------Scala 函数嵌套
在 Scala 函数内定义函数,定义在函数内的函数称之为局部函数。以下实例我们实现阶乘运算,并使用内嵌函数:object Test { def main(args: Array[String]) { println( factorial(0) ) println( factorial(1) ) println( factorial(2) )
2017-07-20 16:06:29
317
原创 Scala 学习笔记(六)------定义高阶函数
高阶函数(Higher-Order Function)就是操作其他函数的函数。Scala 中允许使用高阶函数, 高阶函数可以使用其他函数作为参数,或者使用函数作为输出结果。以下实例中,apply() 函数使用了另外一个函数 f 和 值 v 作为参数,而函数 f 又调用了参数 v:object Test5{ def main(argc: Array[String]){ print
2017-07-20 15:59:15
340
原创 Scala 学习笔记(五)------定义函数指定默认参数
Scala 可以为函数参数指定默认参数值,使用了默认参数,你在调用函数的过程中可以不需要传递参数,这时函数就会调用它的默认参数值,如果传递了参数,则传递值会取代默认值。实例如下:object Test4{ def main(arg: Array[String]){ println("by default:"+add()); println("normal:"+add(1,2
2017-07-20 15:42:23
1189
原创 Scala 学习笔记(四)------定义递归函数
递归函数意味着函数可以调用它本身。用递归实现阶乘:object Test3{ def main(a: Array[String]){ for (i <-1 to 15) println(i+"=>"+fab(i)) } def fab( n:BigInt ): BigInt = { if (n <=1) 1 else n * fab(n-1) }}
2017-07-20 15:06:39
387
原创 Scala 学习笔记(三)------定义具有可变参数的函数
Scala 允许你指明函数的最后一个参数可以是重复的,即我们不需要指定函数参数的个数,可以向函数传入可变长度参数列表。Scala 通过在参数的类型之后放一个星号来设置可变参数(可重复的参数)。例如:object Test2{ def main(argc: Array[String]){ add(1,2,3,4,5,6); add(10,12,13,14,15,16,17,18);
2017-07-20 14:26:28
467
原创 Scala 学习笔记(二)------指定函数参数名
通常情况下,我们定义一个函数,比如有a,b,c,d四个参数,在调用的时候,根据形参类型及其顺序依次传入实参,这样做的好处就是比较规范,定义的类型和调用时传入的类型顺序完全一致,但是其实不够灵活,在scala里面提供了一种可以指定参数名称的方式,使得实参的顺序不必和形参的顺序一致,这种就灵活多了object Test{ def main(argc: Array[String]){ prin
2017-07-20 14:12:51
398
原创 Scala 学习笔记(一)------函数传名调用(call-by-name)
Scala的解释器在解析函数参数(function arguments)时有两种方式:传值调用(call-by-value):先计算参数表达式的值,再应用到函数内部传名调用(call-by-name):将未计算的参数表达式直接应用到函数内部在进入函数内部前,传值调用方式就已经将参数表达式的值计算完毕,而传名调用是在函数内部进行参数表达式的值计算的。这就造成了一种现象,每次使用传
2017-07-20 14:02:25
664
转载 数据仓库的定义、特征、产生和发展、现状和趋势
数据仓库综述 一、数据的仓库的产生和发展 数据仓库的出现和发展是计算机应用到一定阶段的必然产物。经过多年的计算机应用和市场积累,许多商业企业已保存了大量原始数据和各种业务数据,这些数据真实地反映了商业企业主体和各种业务环境的经济动态。然而由于缺乏集中存储和管理,这些数据不能为本企业进行有效的统计、分析和评估提供帮助。也就是说,无法将这些数据转化成企业有用的信息。 70年代出
2017-07-14 21:42:15
15964
转载 对数据仓库的一些理解
本文非原创,参考了一下的文章http://czmmiao.iteye.com/blog/1815625http://www.itpub.net/thread-1010244-1-1.html概述数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据库比较,有哪些不同呢?
2017-07-14 18:58:56
921
原创 Hadoop 2.7.2 HA 自动切换高可用集群配置详解
1、集群节点规划 NameNodenode1node2 DataNodenode1node2node3JournalNodenode1node2node3zookeepernode1node2node3node1:17
2017-07-04 13:00:16
1772
1
原创 HDFS错误Name node is in safe mode的解决方法
将本地文件上传到HDSF ,结果文件传输到半截,报了一个错误:Name node is in safe moderoot@node3> hdfs dfs -put cdh5.11.1-centos7.tar.gz /user/hadoop_logs/17/07/03 11:19:11 WARN util.NativeCodeLoader: Unable to load nat
2017-07-03 15:27:41
4181
原创 Hadoop HA集群配置问题记录
打算用3个节点搭建一个HA 集群,规划如下HA集群规划 NameNodeDataNodeJournalNodenode1是是是ndoe2是是是node3 是是hdfs-site.xml配置如下 dfs.replication
2017-06-30 17:40:12
5531
原创 实现非递归二分法查询
其实二分法查找算法已经太常见了,但是很多时候知道思路和真正实现还是有一定的差距的,这里做个纪念其实思路非常简单,就是对一个给定的经过排序的集合,假设该数组的长度是N那么二分后是N/2,再二分后是N/4……直到二分到1结束,当然这是属于最坏的情况,即每次找到的那个中点数都不是我们要找的,那么二分的次数就是基本语句执行的次数,于是我们可以设次数为x,N*(1/2)^x=1;则x=logn,底数
2017-06-30 10:43:07
416
原创 搭建hadoop伪集群时遇到的datanode不启动的问题
搭建了一个搭建hadoop伪集群,,出现一个奇怪的问题:DataNode木有启动,终于找到了原因,特此记录留作纪念各个配置文件内容如下:/etc/profile:########## jdk ################export JAVA_HOME=/opt/package/jdk1.7.0_76########### hadoop ############export
2017-06-29 13:22:30
1208
原创 配置SSH免密码登录案例
在搭建Hadoop集群时,经常需要设置多个节点之间的免密码登录,今天把这个操作完整的整理出来,以便事后参考总体思路:1.在集群各节点上产生公匙和私匙2.把公匙copy到需要免密码登录的节点上我们用两个节点来举例:node1和node2,想要实现从node2免密码登录到node2, 在node2上创建ssh公钥和私钥,然后把nod2的ssh公钥copy到node1即可,下面是
2017-06-28 11:45:11
9364
转载 数据库设计中的14个技巧
1. 原始单据与实体之间的关系可以是一对一、一对多、多对多的关系。在一般情况下,它们是一对一的关系:即一张原始单据对应且只对应一个实体。在特殊情况下,它们可能是一对多或多对一的关系,即一张原始单据对应多个实体,或多张原始单据对应一个实体。这里的实体可以理解为基本表。明确这种对应关系后,对我们设计录入界面大有好处。〖例1〗:一份员工履历资料,在人力资源信息系统中,就对应三个基本表:员
2017-06-21 14:45:59
207
原创 设计模式之命令模式的作用
命令模式属于对象的行为模式。命令模式又称为行动(Action)模式或交易(Transaction)模式命令模式把一个请求或者操作封装到一个对象中。命令模式允许系统使用不同的请求把客户端参数化,对请求排队或者记录请求日志,可以提供命令的撤销和恢复功能。命令模式的结构 命令模式是对命令的封装。命令模式把发出命令的责任和执行命令的责任分割开,委派给不同的对象。 每一个命令都是
2017-01-16 22:37:00
375
原创 linux下安装setuptools过程(未完待续)
在linux下安装setuptools比windwos下稍微有些不同。在一个测试服务器上安装时出现了下面的问题:[cdt@zabbix_server py]$ wget –q http://peak.telecommunity.com/dist/ez_setup.pywget: error while loading shared libraries: /usr/lib64/libc.
2016-12-23 18:33:51
3046
原创 win 32下安装setuptools过程
经常接触Python的同学可能会注意到,当需要安装第三方python包时,可能会用到easy_install命令。easy_install是由PEAK(Python Enterprise Application Kit)开发的setuptools包里带的一个命令,所以使用easy_install实际上是在调用setuptools来完成安装模块的工作。所以我们有必要安装一下setuptools,
2016-12-23 17:54:59
1380
原创 Python 列表(List)操作
list1 = ['physics', 'chemistry', 1997, 2000];>>> for i in list1: print(i); physicschemistry19972000>>> >>> a=[52,34,100,4]>>> a.sort()>>> a[4, 34, 52, 100]>>> Python列表脚本操作符列表对 +
2016-12-23 15:19:26
349
原创 Python中用format函数格式化字符串的用法
自python2.6开始,新增了一种格式化字符串的函数str.format(),可谓威力十足。那么,他跟之前的%型格式化字符串相比,有什么优越的存在呢?语法它通过{}和:来代替%。“映射”示例有4种方式来实现值的映射第一种:使用位置>>> print('{0},{1}'.format('abc',2333) );abc,2333>>> >>> a='aaa'
2016-12-23 14:20:04
486
Excel表格应用技巧
2011-12-23
思维导图教程和经典案例
2011-12-23
DiagramDesigner
2011-12-23
Perl PERL编程速成教程(上中下) pdf版
2011-12-22
lua资源包括用户手册和安装包
2011-12-22
HermesJMS英文版安装文件&安装说明和相关的包
2011-12-20
jms 1.1源码&中英文api
2011-12-20
ActiveMQ 5.2 Reference Guide v1.8 .pdf
2011-12-20
JMS1.1规范 PDF 版
2011-12-20
spring3.0.5 所有jar文件
2011-12-20
quartz-2.1.1 的所有jar包
2011-12-19
quartz-2.1.1 完整源码
2011-12-19
com.springsource.org.aopalliance-1.0.0.jar
2017-08-31
mybatis-3.2.8.zip最新稳定版
2017-08-30
spring4.x中的jar包下载,spring4.0.6下载,spring最新稳定版jar包下载
2017-08-29
c3p0-0.9.5-pre5
2014-03-21
RapidSVN工具
2012-04-28
Perl语言入门(第五版)
2012-04-28
JAVA 反编译工具 Jad 1.5.8g
2012-01-13
IBM的线程和堆内存监控分析器
2012-01-11
IBM HeapAnalyzer
2012-01-11
MyiBatis_用户手册
2012-01-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人