- 博客(24)
- 收藏
- 关注
RSS订阅转载 <linux> 學習map
http://mt.sohu.com/20160517/n449979876.shtml 最近看到了一篇新闻，linux之父建议找一份基于linux和开源环境的工作，确实，这已经是未来的大趋势了。今天就来聊一聊我的想法，本人8年linux运维一线经验，呆过很多互联网公司，从一线运维做到运维架构师一职，也见证了中国运维行业从无人问津到可圈可点的整个演变过程。Linux系统目前主
2016-08-08 22:12:46
351
原创 <mysql> 特殊技巧
添加新列序列號 http://www.jb51.net/article/87351.htm 第一种方法： select (@i:=@i+1) as i,table_name.* from table_name,(select @i:=0) as it 第二种方法： set @rownum=0; sele
2016-08-08 17:09:32
615
原创 <spark> 集群下運行範例紀錄
# 查看任一日志總條數import findsparkfindspark.init() from pyspark import SparkContext,SparkConf conf=SparkConf() conf.setMaster("spark://172.XX.XX.XX:7077") conf.setAppName("test-count") sc = SparkContext(
2016-08-05 15:20:24
341
转载 <SPARK-轉載> spark 集群运行python作业
http://blog.youkuaiyun.com/xiaolewennofollow/article/details/47171951 今天尝试用刚搭建好的spark集群运行python作业，遇到了一些问题，解决了一些坑的同时也对spark集群的运作和配置方式有了一些比较浅的认识，不像之前那么没有概念了，记录如下，之后还要继续更多的对Hadoop生态圈和spark并行计算框架的探究。 首先说下
2016-08-04 18:15:26
1679
转载 <python> 拿取命令列的參數值
本篇将介绍python中sys, getopt模块处理命令行参数 如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？ 需要模块：sys 参数个数：len(sys.argv) 脚本名： sys.argv[0] 参数1： sys.argv[1] 参数2： sys.argv[2] test.py
2016-08-04 17:15:27
382
转载 <python> ftp 使用指南
http://blog.youkuaiyun.com/linda1000/article/details/8255771 [python] view plain copy print? # 例：FTP编程 from ftplib import FTP ftp = FTP() timeout = 30 port =
2016-08-04 10:22:41
1565
转载 <DATA-轉載>【数据科学】教你成为数据科学“大咖”！
随着互联网的迅猛发展，在线学习逐渐成为主流，MOOC、慕课等概念如雨后春笋般涌现。以往高等学府才能接触到的计算机科学和数据科学，也随着这次风潮来到了公众面前。OSDSM，即数据科学开源课程，能够从理论和技术两方面，帮助人们学习有效利用数据的核心技能。 一、利用互联网成为“大咖”随着互联网的迅猛发展，网络公开课的网站和APP等日益成熟，从听课、讨论到考试，一条龙的自学服务已经颇成规模。这些课程中，
2016-08-02 15:20:57
587
转载 <DATA-轉載>如何成为一名数据科学家？
如何成为一名数据科学家？ http://daily.zhihu.com/story/3909126?from=timeline&isappinstalled=0 谢科，数据科学，机器学习，康奈尔大学PhD研究生 "Data Science = statistics who uses python and lives in San Francisco" 恰好
2016-08-02 15:19:14
342
原创 <hdfs>基本操作
基本操作（創件上傳刪除下載） http://zh.hortonworks.com/hadoop-tutorial/using-commandline-manage-files-hdfs/
2016-08-01 10:11:13
324
原创 <spider> 文章保存
1. Python 并发网络库 eventlet 性能测试 http://www.jianshu.com/p/1798052d086e
2016-07-30 22:31:10
303
转载 <hadoop>hdfs 介紹
简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2016-07-29 22:28:22
268
原创 <speaking>語言提升
昨天你們問到那個素材的說都知道了，怎麼回復比較好，今天看到有兩句話覺得非常好的回答： 1、進行簡單的品鑒跟分析貌似已知的經驗跟內容，有助於確保自身經驗是否在變化的市場中繼續維持正確的方向 2、在分析跟總結內容上確保是否忽略新出現的關鍵點及趨勢，以及時做好應對
2016-07-29 18:34:22
241
原创 <source> 各路資源
1. gitbook https://www.gitbook.com/book/carolhsu/django-girls-tutorial-traditional-chiness/details
2016-07-26 23:10:55
270
原创 <data> 數據模型範例
1. 用户在线广告点击行为预测的深度学习模型 http://geek.youkuaiyun.com/news/detail/91293
2016-07-26 22:55:53
416
原创 <mac>環境架設
1. python多版本設定 http://blog.youkuaiyun.com/lijiang1991/article/details/51830978
2016-07-26 22:34:44
247
原创 <spark>集群環境創建
入門配制指南 這是單機的 http://blog.jobbole.com/86232/ 這是集群的 http://www.cnblogs.com/onetwo/p/5424377.html 安裝java jdk http://jingyan.baidu.com/album/c74d60007b85510f6a595dfa.
2016-07-19 09:27:42
309
原创 <centos>linux 指令
系統操作指令 重開機 reboot 列出之前打過的指令(存在個人目錄下的 .bash_history裡面) history 查看自己來源位置 who 安裝軟體 yum install nmap 使用預設參數掃瞄本機所啟用的 port(在預設的情況下， nmap 僅會掃瞄 TCP 的協定喔！ ) #nmap localhost
2016-07-18 18:19:02
326
原创 <spark> 單機模式之環境創建
1. 入門指南 http://blog.jobbole.com/86232/ 2. ipython 使用spark 環境設置 http://ramhiser.com/2015/02/01/configuring-ipython-notebook-support-for-pyspark/ (錯誤處理) 沒有讀到設置檔 http://stackoverflow.
2016-07-15 14:04:49
327
原创 <python> 匯入excel
导出 excel 时遇到的非法字符问题 http://cooperluan.github.io/python/2015/01/08/pandas-daochu-excel-zhong-de-luan-ma-wen-ti/
2016-07-08 17:24:09
460
原创 <python> 多線程/多進程/異步學習
1. Python-aiohttp百万并发 (上) http://python.freelycode.com/contribution/detail/201 2. Python-aiohttp百万并发 (下) http://python.freelycode.com/contribution/detail/203 3. 理解python中的多线程 http:/
2016-07-08 11:54:09
346
原创 <python> 簡單web框架實現
用Python写一个简单的Web框架 http://www.cnblogs.com/russellluo/p/3338616.html
2016-07-01 16:16:02
297
原创 網絡爬蟲，防止被ban
@匿名爬蟲 tor pysocket http://www.evil0x.com/posts/14147.html @防止被ban：表頭、cookies、切換ip http://www.tuicool.com/articles/JVryQvb @useragent 池 http://m.blog.youkuaiyun.com/article/details?id=357743
2016-06-08 10:20:09
365
原创 分部式爬蟲(一) 創建環境
本篇說明如何建置爬蟲的分部式環境，使用Centos 6.5，重頭開始部屬 1. 首先先下載GIT 說明：之後做版本控制和下載開源項目需要使用到 @下載 develope tools http://www.linuxidc.com/Linux/2015-02/113351.htm @yum下載git http://www.centoscn.com/image-
2016-06-03 13:24:06
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人