- 博客(41)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Chrome浏览器打开所有网页都提示 崩溃、重新加载、即使设置扩展程序也打不开
笔者也是莫名的遭受到了这种问题，经过查找也没发现问题的原因，有人说是因为用过梯子，确实用了但没发现哪里出问题。试了你个方法还是解决掉了。1、禁用沙盒模式（--no-sandbox）：只能治标，解决不了根本问题，但是可以正常访问。 复制双引号内容--no-sandbox添加至chrome.exe属性中目标栏最尾端，记得中间要有空格。2、同样是修改属性，比第一种使用安全。（...
2020-03-10 10:29:33
7561
5
转载 『 Spark 』7. 使用 Spark DataFrame 进行大数据分析
写在前面本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。其次，本系列是基于目前最新的 spar
2017-09-14 16:50:01
1469
转载 Spark SQL, DataFrames and Datasets Guide
目录概述 SQLDataFramesDatasetsGetting Started Starting Point：SQLContextDataFrame 创建 DataFramesDataFrame操作执行SQL查询Dataset 创建Datasets与RDDs交互操作使用Reflection推断Schema程序自动指定Schema概
2017-09-14 16:33:05
370
转载 Spark SQL 1.3.0概览
摘要：DataFrame API的引入一改RDD API高冷的FP姿态，令Spark变得更加平易近人。外部数据源API体现出的则是兼容并蓄，Spark SQL多元一体的结构化数据处理能力正在逐渐释放。关于作者：连城，Databricks工程师，Spark committer，Spark SQL主要开发者之一。在4月18日召开的 2015 Spark技术峰会 上，连城将做名为“四两拨千斤
2017-09-14 16:26:01
382
转载 Spark1.4中DataFrame功能加强,新增科学和数学函数
社区在Spark 1.3中开始引入了DataFrames，使得Apache Spark更加容易被使用。受R和Python中的data frames激发，Spark中的DataFrames提供了一些API，这些API在外部看起来像是操作单机的数据一样，而数据科学家对这些API非常地熟悉。统计是日常数据科学的一个重要组成部分。在即将发布的Spark 1.4中改进支持统计函数和数学函数（statis
2017-09-14 16:24:49
727
转载 【总结】PySpark的DataFrame处理方法：增删改差
基本操作：运行时获取spark版本号（以spark 2.0.0为例）：sparksn = SparkSession.builder.appName("PythonSQL").getOrCreate()print sparksn.version创建和转换格式：Pandas和Spark的
2017-09-14 16:20:13
22107
1
转载 Spark SQL结构化数据处理
Spark SQL是Spark框架的重要组成部分， 主要用于结构化数据处理和对Spark数据执行类SQL的查询。DataFrame是一个分布式的，按照命名列的形式组织的数据集合。 一张SQL数据表可以映射为一个DataFrame对象，DataFrame是Spark SQL中的主要数据结构。SqlContext实例是DataFrame和Spark SQL的操作入口， pyspark交
2017-09-14 16:09:37
1064
转载 pyspark 笔记
反向代理的配置在服务器中做如下配置:server { listen 80; server_name test.aldwx.com;
2017-09-14 11:00:38
4756
转载 《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南
spark-1.6.0 [原文地址]Spark SQL, DataFrames 以及 Datasets 编程指南概要Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spa
2017-09-14 10:57:07
887
转载 数据聚合与分组运算——GroupBy技术(1)
数据聚合与分组运算——GroupBy技术(1)，有需要的朋友可以参考下。pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组
2017-04-14 16:23:11
4700
原创 初始xml（一）
一、什么是 xml？ XML指可扩展标记语言（EXtensible Markup Language）。 XML被设计用来传输和存储数据。而HTML被设计用来显示数据。 XML的设计宗旨是传输数据，而非显示数据。 XML 标签没有被预定义。您需要自行定义标签。 XML 被设计为具有自我描述性。 XML 是 W3C 的推荐标准。 二、XML
2016-06-15 15:03:46
359
原创 qemu安装以及安装问题解决
首先下载qemu：git clonegit://git.sv.gnu.org/qemu.git或者自行下载需要版本http://wiki.qemu.org/Download然后安装cd qemu./configure--enable-kvm --target-list="x86_64-softmmu" //选择对应的系统版本和位数make && makeinstall安
2015-11-24 15:17:39
40311
1
转载 zookeeper配置文件详解
配置参数详解(主要是%ZOOKEEPER_HOME%/conf/zoo.cfg文件)参数名说明clientPort客户端连接server的端口，即对外服务端口，一般设置为2181吧。dataDir存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir
2015-10-22 09:56:37
487
转载 程序员面试50问
今年是2015年，在过去几年中，电面（电话面试）是筛选程序员职位候选人的最流行的方式。它让雇佣双方很容易互相了解对方，候选人不需要去未来雇主的所在地，面试官也不用做额外的安排。这是我介绍程序员面试问题的文章的第二部分。我得到反馈说第一部分过于偏重编码的题了，许多程序员希望我针对电面问题列一个类似的列表。为了顺利通过电面进入下一轮，你必须足够好地回答与你工作要求相关的全部问题。在大多针对Java和C+
2015-03-20 15:03:08
608
转载 集中常见的排序算法
概述排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。我们这里说说八大排序就是内部排序。 当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：快速排序、堆排序或归并排序序。 快速排序：是目前基于比较的内部排序中被认为是最好的方法，当待排序的关键字
2015-02-03 15:04:03
803
转载 有哪些实用的计算机相关技能，可以在一天内学会？
以下的列表是来自Quora网友回复的归纳总结。译者在有些技能下面添加了简明教程与技巧的文章，另外也推荐了一些相关联的简明课程。技术技能1）版本控制：Git、Github 和 SVN（链接： Git – Getting Started ）译注：推荐这个交互式的 Git 入门资源，号称 15 分钟就够了。入门课程推荐《版本管理工具介绍—Git篇》和《版本管理工具介绍—SVN篇》
2014-12-30 15:41:56
643
转载 基于Zookeeper的使用详解
Zookper: 一种分布式应用的协作服务 Zookper是一种分布式的，开源的，应用于分布式应用的协作服务。它提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。Zookper很容易编程接入，它使用了一个和文件树结构相似的数据模型。可以使用Java或者C来进行编程接入。 众所周知，分布式的系统协作服务很难有让人满意的产品。这些协作服务产品
2014-12-12 15:47:00
542
原创 常用C/C++编译器和IDEs
在今时的计算环境(computing environment)中，编程语言扮演者着一个很重要的角色。编程语言的良好运用，可以让PC硬件配置真实的利用起来。有许多的编程语言都是从最初的计算机中衍生出来的。其中的一些已经不再能够满足现在的计算环境，但是有一些仍旧可以毅力不倒，C 和 C++ 就是那个群体中的两个。C/C++ 是强大的编程语言，每一个程序员都应该知道它们，这两门语言是其他编程语言的基础。
2014-12-02 15:18:51
1471
转载 手把手教你使用Git
一：Git是什么？ Git是目前世界上最先进的分布式版本控制系统。二：SVN与Git的最主要的区别？ SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完后，需要把自己做完的活推送到中央服务器。集中式版本控制系统是必须联网才能工作，如果在局域网还可以，带宽够
2014-10-29 08:24:57
438
原创 openfiler作为文件服务器，实现ISCSI共享存储
还是不能发图，这是第二篇，图文在这个地址：http://download.youkuaiyun.com/detail/weimingyu945/80898931 登陆首先登陆openfiler的web界面，配置的ip为192.168.1.111，所以浏览器地址栏输入https://192.168.1.111:446/ 用户名：openfiler 密码：password登陆成功后进入
2014-10-28 10:59:10
2242
原创 openfiler作为文件服务器，windows、linux挂载NFS实现共享，以及windows、linux实现SMB/CIFS
1 登陆首先登陆openfiler的web界面，配置的ip为192.168.1.111，所以浏览器地址栏输入https://192.168.1.111:446/ 用户名：openfiler 密码：password登陆成功后进入status界面，这里显示了服务器的基本信息，系统状态，硬件信息，网络，内存以及挂载的磁盘情况。还可以看出该web管理工具一共由七部分组成，分别为
2014-10-27 11:36:31
4098
转载 Zookeeper Client简介
直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举等，还要自己额外做很多事情。这里介绍下ZK的两个第三方客户端包装小工具
2014-10-22 09:09:36
629
转载 ZooKeeper管理员指南——部署与管理ZooKeeper
1本文以ZooKeeper3.4.3版本的官方指南为基础：http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html，补充一些作者运维实践中的要点，围绕ZK的部署和运维两个方面讲一些管理员需要知道的东西。本文并非一个ZK搭建的快速入门，关于这方面，可以查看《ZooKeeper快速搭建》。1.部署本章节主要
2014-10-22 09:04:02
547
原创 Windows下IPython的安装
这篇文章介绍一下Windows下IPython的配置安装原本在Windows下一直在PowerShell里面直接打开python来使用的。虽然可以，但使用IPython可以节省很多时间和精力，IPython是一个增强版的Shell。这里简要介绍下IPython的安装：下载IPython的二进制安装包，地址在这里。注意选择对应的Python版本和平台。因为是Windows
2014-08-04 13:03:58
645
转载 Windows下安装Ulipad编辑器
UliPad 是一款很不错的国产 Python IDE，开发者是limodou。这个IDE本身就是用 Python+wxPython编写的，小巧，功能全，特别适合Python初学者。Ulipad 下载地址：http://code.google.com/p/ulipad/downloads/list作者主页：http://hi.baidu.com/limodou/homeUl
2014-08-04 09:37:19
607
原创 ubuntu系统下安装qemu，sheepdog，并搭建运行虚拟机
在未安装qemu之前应该先安装所需组件：apt-get update 建立编译环境：apt-get install build-essential编译安装QEMU，最重要的工具就是gcc，在此处我选择的事gcc 4.xapt-get install gcc-4.6 cpp-4.6安装QEMU需要SDL开发库的支持：apt-get installlibsdl1.2-dev
2014-05-28 14:57:39
1930
转载 GitHub使用
一、创建github账号github是一个类似sf的免费项目管理及分享的服务平台，要想使用github提供的服务，你必须先注册成为github注册用户。github的网址是：https://github.com帐号注册成功后，点击New Repository，开始创建新版本库。用户可以创建类似于 your_userid.github.com 的版本库，这样就可以通过http://you
2014-04-04 16:21:13
588
转载 块存储
在OpenStack中，存储是非常重要的一块，但是因为其提供方式的不同，即使是专业的工程师也会感到十分困惑。OpenStack的存储主要分为三大类，一是对象存储服务，Swift解决的问题，二是块设备存储服务，在OpenStack里主要是提供给虚拟机的作为“硬盘”的存储，这里又分为本地块存储和分布式块存储，Cinder项目正在解决相关的问题；第三类，数据库存储服务，Databases as a
2014-03-04 14:14:42
2314
转载 OpenStack块存储nova-volume工作机制和相关问题
OneStack：Ubuntu 12.04 (或11.10) 一键部署安装OpenStack云计算平台，这个介绍了onestack这个一键部署的项目；OpenStack安装部署管理中常见问题解决方法（OpenStack-Lite-FAQ），这个记录了一些基本的问题和解决方法；构建OpenStack的高可用性（HA，High Availability），这部分介绍了高可用性的
2014-03-03 13:18:58
934
转载 几种块存储简单介绍！！！
块存储，简单来说就是提供了块设备存储的接口。通过向内核注册块设备信息,在Linux中通过lsblk可以得到当前主机上块设备信息列表。下面会先介绍常见的单机块设备工具来建立Common Base。Contents单机块存储1. LVM & Device-mapper2. SAN & iSCSI分布式块存储服务3. 分布式块存储4
2014-02-28 13:31:29
10280
原创 zookeeper的安装、使用和结合sheepdog部署、使用
ZooKeeper的安装模式分为三种，分别为：单机模式（stand-alone）、集群模式和集群伪分布模式。ZooKeeper 单机模式的安装相对比较简单，如果第一次接触ZooKeeper的话，建议安装ZooKeeper单机模式或者集群伪分布模式。ZooKeeper Standalone模式从Apache网站上（zookeeper.apache.org）下载ZooK
2013-11-08 15:25:00
5725
原创 为什么要使用zookeeper
引子云计算越来越流行的今天，单一机器处理能力已经不能满足我们的需求，不得不采用大量的服务集群。服务集群对外提供服务的过程中，有很多的配置需要随时更新，服务间需要协调工作，这些信息如何推送到各个节点？并且保证信息的一致性和可靠性？众所周知，分布式协调服务很难正确无误的实现，它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气？Zookeeper是一个不错的选择。Zookeeper
2013-11-08 15:06:17
2062
原创 sheepdog--介绍
sheepdog是NTT日本电报电话公司开源的一个分布式文件系统，初衷就是要做一个aws的ebs开源实现，可以实现镜像和块设备（block device）的分布式存储sheepdog不是一个常规的文件系统，而是针对qemu/kvm的一个分布式存储管理系统，实现了存储的虚拟化 官网：http://www.osrg.net/sheepdog 现在的稳定版是0.32012.6底要发布
2013-11-07 10:08:06
2482
原创 sheepdog(牧羊犬)：一种EBS的开源实现(东西不多，但很全面)
sheepdog是EBS的开源实现， 为虚拟机提供高可用的块级存储， 能够扩展到数百台机器， 支持快照，克隆等高级特性，其架构如图所示 sheepdog从逻辑上分为三个层次， 第一层QEMU block driver是客户端，负责在kvm虚拟机中虚拟出一个块设备；第二层是对象存储层， 提供一个分布式对象存储服务， 对象类似文件，不同之处是定长且用64位ObjectID标识；
2013-11-07 08:23:15
1746
转载 OpenAIS集群分析
一．AIS概述应用接口规范（AIS）是用来定义应用程序接口（API）的开放性规范的集合，这些应用程序作为中间件为应用服务提供一种开放、高移植性的程序接口。是在实现高可用应用过程中是亟需的。服务可用性论坛（SA Forum）是一个开放性论坛，它开发并发布这些免费规范。使用AIS规范的应用程序接口（API），可以减少应用程序的复杂性和缩短应用程序的开发时间，这些规范的主要目的就是为了提高中间组
2013-11-06 09:37:57
1160
原创 Linux 高可用（HA）集群之Corosync详解
大纲一、Corosync 概述二、Corysync与Pacemaker 安装三、Corosync 详细配置四、Corosync 启动信息一、Corosync 概述（注：本文的理论部分主要参考，“孟三的博客”http://blog.sina.com.cn/s/blog_7695e9f40100pcnz.html） 1.简单概
2013-11-06 09:37:01
2238
原创 ubuntu 安装 apache2.2+mod_wsgi+Django
ubuntu 安装 apache2.2+mod_wsgi+Django超简单系列开发环境部署均用ubuntu系统内置安装包，技术有限未使用源代码编译最新版程式。1，Ubuntu更新系统sudo apt-get updatesudo apt-get upgrade2，安装apache,mod_wsgi,Djangosudo apt-ge
2013-09-27 15:44:53
732
转载 ZooKeeper和Diamond的异同
本文主要是讨论下两个类似产品：ZooKeeper和Diamond在配置管理这个应用场景上的异同点。Diamond，顾名思义，寄寓了开发人员对产品稳定性的厚望，希望它像钻石一样，提供稳定的配置访问。Diamond是淘宝网Java中间件团队的核心产品之一，服务于集团线上很多核心应用。目前已经开源，开源地址在：http://code.taobao.org/p/diamond/wiki/index/。
2013-07-03 15:52:01
799
原创 secureCRT使用VIM时对语法高亮以及VIM的使用
secureCRT使用VIM时对语法高亮 1.在SecureCRT中 secureCRT使用VIM时对语法高亮 其实不是secureCRT的功能，而是VIM的设置：Options ->Session Options -> Terminal -> Emulation 中Terminal选择ANSI or linux or xterm,必须钩上 ANSI Colour设
2013-04-02 13:00:18
905
openfiler作为文件服务器，windows、linux挂载NFS实现共享，以及windows、linux实现SMB/CIFS
2014-10-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人