
大数据与云计算
文章平均质量分 51
caiqicehua
这个作者很懒,什么都没留下…
展开
-
【大数据与云计算开发技术】Hadoop开发中遇到的常见错误总结
1.org.apache.hadoop.security.AccessControlException: Permission denied: user=xxjhdfs-site.xml文件中加入dfs.permissionsfalse2.ERROR org.apache.Hadoop.hdfs.server.da原创 2016-08-27 22:37:45 · 902 阅读 · 0 评论 -
【 Docker技术学习】从开发到部署会用到的 Docker 命令
本文转自【https://www.oschina.net/translate/docker-commands-for-development-to-deployment】整个流程包括使用代码、依赖软件和配置来开发容器映像,在开发环境中运行和测试容器,将容器映像发布到 Docker Hub,以及最后的部署和在目标环境中运行容器。本文假设您已经在开发和目标环境中安装了 Docker 引转载 2017-10-15 16:48:54 · 598 阅读 · 0 评论 -
机器学习工程师面试前应该做的准备
机器学习方面的面试主要分成三个部分:1. 算法和理论基础2. 工程实现能力与编码水平3. 业务理解和思考深度1. 理论方面,我推荐最经典的一本书《统计学习方法》,这书可能不是最全的,但是讲得最精髓,薄薄一本,适合面试前突击准备。我认为一些要点是:统计学习的核心步骤:模型、策略、算法,你应当对logistic、SVM、决策树、KNN及各种聚类方法有深刻的理解。能够随手写出这些算法的核心递转载 2016-12-17 13:52:20 · 745 阅读 · 0 评论 -
学好Python的优秀资源推荐
有关于Python的教程资料之前也整理的不少的,先看一下我之前整理的资料。网易云课堂上有哪些值得推荐的 Python 教程? - 路人甲的回答编程零基础应当如何开始学习 Python ? - 路人甲的回答希望如上的资料同样可以帮助到你们,昨天很多朋友希望我把以前的文章链接整理出来,我这两天会整理好,并以文章链接的形式发出来。但愿今天的学习资源可以给想学习Python的朋友提供一些帮转载 2016-12-17 13:36:28 · 1111 阅读 · 0 评论 -
爬虫Selenium&bs4 + Miku分享
本文设计内容如下:语言:Python(3.x),R工具:Spyder,Jupyter内容:爬虫模块/库/包:Python(selenium, bs4,rpy2)DateBase :网易云音乐、bilibili本人互联网行业分析师一枚,由于现在分析&挖掘界限不是很明显,同时爱好写代码,所以喜欢每个方面都接触一下,技多不压身嘛。最近想练习一下爬虫转载 2016-11-23 22:58:12 · 1545 阅读 · 0 评论 -
【大数据与云计算】大数据多维分析引擎在魅族公司的实践
“Apache Kylin是首个完全由中国团队设计开发,并贡献到Apache软件基金会(ASF)的顶级项目,开源一年左右的时间,已经在国内国际多个公司被采用作为大数据分析平台的关键组成部分,拥有大量用户案例。魅族大数据平台架构师赵天烁在8月13日的【创客168】第7期:大数据平台架构及应用实践 和 9月22日的第三届互联网应用技术峰会上 进行了“大数据多维分析引擎在魅族转载 2016-12-10 14:40:06 · 1472 阅读 · 0 评论 -
HBase最佳实践-HBase中的写性能优化策略
上一篇文章主要介绍了HBase读性能优化的基本套路,本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存Memstore,当Memstore中数据大小达到一定阈值(128M)之后,系统会异步将Memstore中数据flush到HDFS形成小文件。HBase数据写入通常会遇到两类问题转载 2016-12-10 14:37:03 · 2505 阅读 · 0 评论 -
HBase最佳实践-HBase中的读性能优化策略
任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。Full GC问题之前在一些文章里面已经讲过它的来龙去脉,主要的解决方案目前主要有两方面需转载 2016-12-10 14:35:21 · 2061 阅读 · 0 评论 -
【爬虫数据分析精华笔记】利用Python进行数据分析从零基础到完整实现的笔记整理
一共 15 篇随笔,主要是为了记录数据分析过程中的一些小 demo,分享给其他需要的网友,更为了方便以后自己查看,15 篇随笔,每篇内容基本都是以一句说明加一段代码的方式, 保持简单小巧,看起来也清晰 ,一共可以划分为三个大部分:第一部分简单介绍数据分析,以一个小例子简单说明了什么是数据分析和 IPython 工具;第二部分是 NumPy 的基础使用,NumPy 是 Python 包,转载 2016-12-10 14:28:47 · 1503 阅读 · 0 评论 -
Linux 命令大全提供 500 多个 Linux 命令搜索
打开网址搜索Linux命令:https://jaywcjlove.github.io/linux-command/例如:输入“删除”,点击搜索,会出现以下结果:rm用于删除给定的文件和目录补充说明rm命令可以删除一个目录中的一个或多个文件或目录,也可以将某个目录及其下属的所有文件及其子目录均删除掉。对于链接文件,只是删除整个链接文件,原创 2016-12-10 14:25:48 · 421 阅读 · 0 评论 -
最常用MySQL数据库操作语法语句命令整理汇总
select * from emp; #注释#---------------------------#----命令行连接MySQL---------#启动mysql服务器net start mysql#关闭net stop mysql#进入mysql -h 主机地址 -u 用户名 -p 用户密码#退出exit#----转载 2016-10-30 21:52:13 · 446 阅读 · 0 评论 -
资深数据库SQL工程师整理的常用MySQL语句
有些东西,这种方式还是挺好的,学习这种学习的方法。例如将SQL语句,linux命令等进行个人整理,随时使用随时现查,不错!!!!/* 启动MySQL */net start mysql/* 连接与断开服务器 */mysql -h 地址 -P 端口 -u 用户名 -p 密码/* 跳过权限验证登录MySQL */mysqld --skip-grant-tables--转载 2016-10-30 21:49:48 · 580 阅读 · 0 评论 -
【 C++ 技术】 C++ 高性能服务器网络框架设计细节
作者:范蠡原文:C++ 高性能服务器网络框架设计细节前言这篇文章我们将介绍服务器的开发,并从多个方面探究如何开发一款高性能高并发的服务器程序。需要注意的是一般大型服务器,其复杂程度在于其业务,而不是在于其代码工程的基本框架。大型服务器一般有多个服务组成,可能会支持CDN,或者支持所谓的“分布式”等,这篇文章不会介绍这些东西,因为不管结构多么复杂的服务器,都是转载 2017-10-15 16:52:38 · 1559 阅读 · 0 评论