- 博客(81)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 airflow配置163企业邮箱
airflow配置163企业邮箱背景介绍获取163的smtp配置信息airflow.cfg修改smtp配置背景介绍最近在使用airflow，对于邮件自动提醒服务，构建了一个如下所示的dag文件，想使用163企业邮箱作为smtp服务，中间走过一些坑，在这里把过程记录下来，避免大家入坑。airflow版本：2.1.4163企业的邮箱域名在这里假设为airflowdemo，也就是个人邮箱一般会分配为XX.airflowdemo.com。测试代码如下from airflow.operators.em
2021-10-21 16:12:00
2314
原创 bootstrap-select多选传递到后台以及后台传递到前台绑定
bootstrap-select多选传递到后台以及后台传递到前台绑定bootstrap-select介绍bootstrap-select多选传递数据到后台bootstrap-select多选后台传递数据到前台绑定bootstrap-select介绍bootstrap-select是最近常用的简洁方便的下拉列表，开源地址：https://github.com/silviomoreto/boots...
2019-03-08 00:38:39
5187
1
转载 Windows下python2.7安装64位mysqlclient
本博文转自：https://www.cnblogs.com/followyourheart/p/8036704.html在使用python调用mysql数据库的时候，需要引入对应的数据包import MySQLdb如果提示找不到对应的包，说明还需要安装对应的mysql数据库客户端操作的python包。在python3环境，或者非windows下环境都很容易通过pip等工具安装上，在wi...
2018-12-17 23:25:36
1562
1
转载 机器学习 - 竞赛网站，算法刷题网站（持续更新）
数据竞赛类网站Kaggle阿里巴巴天池大数据比赛DataCastleCCF大数据与计算智能大赛Di-Tech算法大赛KDD-CupKDnuggets Competition赛氪网DrivenData Competition上海SODA大赛TopCoder大赛网数据科学&机器学习的在线学习资源慕课网数据科学家快报数据分析网一起大数据36大数据数据科学...
2018-11-02 14:34:02
1155
原创 Executor updated: app-20181031153851-0007/1 is now EXITED (Command exited with code 1)
最近在尝试通过python和java在本地远程调用spark，具体如何用java远程调用spark，可参考我另一篇博客：Idea基于maven，java语言的spark环境搭建实验环境client集群centos单机4个hadoop节点集群 ，ip分别为192.168.20.[61,62,63,64]，61为主节点问题描述代码其实比较简单，java代码如下，主...
2018-10-31 16:46:23
2258
3
原创 wget: unable to resolve host address解决方法
利用wget下载东西时，比如输入指令wget www.baidu.com提示报错“wget: unable to resolve host address …”wget：无法解析主机地址。这就能看出是DNS解析的问题解决办法：修改/etc/resolv.conf文件，添加nameserver即可，下面给出两个通用的谷歌域名服务器，如果有自己解析服务器也可以换成自己的vim /etc/...
2018-10-31 11:10:11
98398
20
转载 anaconda python 版本对应关系
python2python3anaconda2/32.7.143.6.55.2.02.7.143.6.45.1.02.7.143.6.35.0.12.7.133.6.25.0.02.7.133.6.14.4.02.7.133.6.04.3.12.7.133.6.04.3.02.7.123.5.24.2....
2018-10-31 10:55:18
24439
3
原创 Echarts最新json地图文件
ECharts 之前提供下载的矢量地图数据来自第三方，由于部分数据不符合国家《测绘法》规定，目前暂时停止下载服务。如上面的引用所示，echarts无法下载最新的地图数据了，最近在做北京地图数据，发现下载的beijing.json文件总是带着宣武区和崇文区，而2010年两个区分别被合并到西城区和东城区了，而网上下载的beijing.json文件依旧存在，所以费了一些力气找到了最新版的地图数据，...
2018-10-15 16:27:13
20981
12
原创 mysql修改已存在库的编码
有时我们在mysql下创建库，如果仅仅修改了mysql server和client的编码格式，只是在创建新库的时候编码格式才会对应改变，原来已创建的库的编码格式不会进行改变，针对这种情况，我门需要修改已经创建的库以及库下对应表的编码格式。本博客中以db_test作为库，tb_test1,tb_test2对应该库下对应的表针对已创建的库alter database <数据库...
2018-05-05 19:03:50
6433
原创 常用vim命令
替换里面涉及的参数主要有s（switch替换）和g（global全局） 替换语法分别如下：:s/old/new/ 将当前第一次出现的old改成new:s/old/new/g 将当前行old改成new:40,70 s/old/new/g 将40行到70行的old改成new:40,$ s/old/new/g 将40行以后的old改成new:%s/old/ne
2017-11-22 21:46:46
662
转载 linux grep 正则表达式
本文转自：http://www.cnblogs.com/xiaouisme/archive/2012/11/09/2762543.htmlgrep正则表达式元字符集： ^ 锚定行的开始 如：'^grep'匹配所有以grep开头的行。 $ 锚定行的结束 如：'grep$'匹配所有以grep结尾的行。 . 匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。
2017-09-15 11:57:55
1644
转载 awk打开多个文件的方法
本文引自：http://www.cnblogs.com/Berryxiong/p/6209324.html1、当awk读取的文件只有两个的时候，比较常用的有三种方法（1）awk 'NR==FNR{...}NR>FNR{...}' file1 file2（2）awk 'NR==FNR{...}NR!=FNR{...}' file1 file2（3）awk 'NR==FNR{.
2017-09-15 11:37:41
844
转载 结合Scikit-learn介绍几种常用的特征选择方法
结合Scikit-learn介绍几种常用的特征选择方法作者：Edwin Jarvis本文转自：http://www.cnblogs.com/hhh5460/p/5186226.html特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能：
2017-09-04 15:54:38
2305
原创 ubuntu下安装thrift
博主想要搭建thrift来使用python访问集群hbase，但是在centos6.5下编译的时候往往会出各种问题，比如如下这个问题就是其中的一种，但苦于太菜，至今没有解决，所以决定使用ubuntu来安装thrift了。 /usr/include/event2/event_struct.h:123: error: redefinition of ‘struct event’ /usr/in
2017-08-11 15:31:20
6297
1
原创 解决python针对hdfs上传和下载问题
当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题requests.packages.urllib3.exceptions.NewConnectionError:: Failed to establish a new connection: [Errno -2] Name or service not known其实这主要是由于没有将各个集群节点的ip映射到/
2017-08-02 12:51:16
4650
2
转载 使用python的hdfs包操作分布式文件系统（HDFS）
目录(?)[+]转自：@http://blog.youkuaiyun.com/gamer_gyt，Thinkagmer 撰写=====================================================================================写在前边的话： 之前做的Hadoop集群，组合了Hive
2017-08-01 11:27:01
1882
转载 Python MySQLdb模块中的ping()
本文转自：http://www.cnblogs.com/bugmaker/articles/2444905.htmlMySQLdb.connection.ping()函数可以用来检测在访问前检测数据库的连接是否存在使用help函数获得帮助信息如下：Checks whether or not the connection to the server isworking. If i
2017-08-01 09:55:46
5463
2
原创 python mysql html转义问题
有时我们想要通过python将爬虫得到的html代码存入mysql，这个时候由于原html中有各种特殊符号，尤其是像单引号和双引号，影响存储，此时我们需将特殊字符进行转义，通常python相关的mysql包一般会带有escape_string方法，比如我用的pymysqlimport pymysqlprint(pymysql.escape_string("'ab'c"))结果为：\’ab\’c
2017-08-01 09:54:30
4096
1
原创 python mysql 'latin-1' codec can't encode character
当我们使用python来向mysql中插入数据的时候，经常会遇到拉丁语转码错误问题，因为python中的mysql相关包好多都是使用的mysql默认编码，即拉丁语，所以当我们声明链接的时候同时要指定编码语言，比如声明为utf8：conn = pymysql.connect(host='localhost',port= 3306,user = 'root',passwd='root',db='db1'
2017-08-01 09:34:06
794
转载 [剑指offer]连续子数组的最大和
本博文引自：http://blog.youkuaiyun.com/u014458048/article/details/54971991题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。求所有子数组的和的最大值。要求时间复杂度为O(n)。 解题思路 设sum[i]表示以nums[i]结尾的子数组的最大和，则sum[i]与s
2017-07-22 09:31:12
263
转载 数据库事务隔离级别-- 脏读、幻读、不可重复读
一、数据库事务隔离级别数据库事务的隔离级别有4个，由低到高依次为Read uncommitted 、Read committed 、Repeatable read 、Serializable ，这四个级别可以逐个解决脏读 、不可重复读 、幻读 这几类问题。√: 可能出现 ×: 不会出现脏读不可重复读幻读Read
2017-07-21 08:13:28
521
转载 浅谈CMS垃圾收集器与G1收集器
1、CMS收集器 CMS收集器是一种以获取最短回收停顿时间为目标的收集器。基于“标记-清除”算法实现，它的运作过程如下：1）初始标记2）并发标记3）重新标记4）并发清除 初始标记、从新标记这两个步骤仍然需要“stop the world”，初始标记仅仅只是标记一下GC Roots能直接关联到的对象，熟读很快，并发标记阶段就是进行GC Roots
2017-07-21 08:11:49
2228
转载 TCP三次握手详解及释放连接过程
TCP头部： 其中 ACK SYN 序号 这三个部分在以下会用到，它们的介绍也在下面。暂时需要的信息有：ACK ： TCP协议规定，只有ACK=1时有效，也规定连接建立后所有发送的报文的ACK必须为1SYN(SYNchronization) ： 在连接建立时用来同步序号。当SYN=1而ACK=0时，表明这是一个连接请求报文。对方若同意建立连接
2017-07-19 15:52:13
406
原创 Bootstrap定义操作列
直接粘贴代码如下：$('#tb_advice').bootstrapTable({ data: indexList, columns: [{ checkbox: true }, { fi
2017-07-15 09:51:40
2660
转载 Linux 下安装 NVIDIA 显卡驱动
大部分 Linux 发行版都使用开源的显卡驱动 nouveau，对于 nvidia 显卡来说，还是闭源的官方驱动的效果更好。最明显的一点是，在使用 SAC 拾取震相的时候，使用官方显卡驱动在刷新界面的时候要快很多。对于 CentOS 用户而言，有两种安装 NVIDIA 显卡驱动的方法，从 ELRepo 源中安装或从源码编译驱动。对于一般的 CentOS 用户，建议使用第一种方法。
2017-07-03 11:52:35
4276
转载 Linux软连接和硬链接
1.Linux链接概念 Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。【硬连接】 硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种
2017-06-28 22:04:58
349
转载 CentOS 6.5 安装R语言3.2.2
从地址（https://cran.r-project.org/src/base/R-3/）下载R语言的tar包我下载的是：https://cran.r-project.org/src/base/R-3/R-3.2.2.tar.gz然后安装相关依赖包： #yum install gcc-gfortran #yum install gcc gcc-c++
2017-06-22 20:18:37
1188
原创 bootstrap-table 中columns中editable type为select默认使用本列数据
当时用bootstrap-table中的columns中editable中的type为select编辑模式下，我们需要必须制定source，然而source方法又没有一应该列数据的function，通过追踪源码以及修改相应的源码，对该方法进行了实现。目的目前有如下的json需要绑定到bootstrap的table中{ "id": k, "table1": 数据库2, "table1Relation
2017-06-16 14:56:17
22152
2
原创 centos下安装中文输入法问题汇总
中文输入法安装centos下安装中文输入法的整个流程可以参照百度经验：https://jingyan.baidu.com/article/da1091fb3e7f8a027849d681.html问题1 选择输入法下的“首选输入法”（Input Method Preferences…）不出东西更新Python后中文输入法ibus的候选框没了，原因为输入法使用了python，而python版本变化后不
2017-06-08 08:39:31
3643
原创 python程序来获取当前已经的安装模块
本人使用的是python3,直接上代码#coding=utf-8import osdef getAllModule(): moduleList = os.popen("pip list").read() print(moduleList.split('\n'))if __name__ == "__main__": getAllModule()结果如下图
2017-05-25 10:43:31
1259
原创 pandas.DataFrame.to_json按行转json
最近需要将csv文件转成DataFrame并以json的形式展示到前台，故需要用到Dataframe的to_json方法 to_json方法默认以列名为键，列内容为值，形成{col1:[v11,v21,v31…],col2:[v12,v22,v32],…}这种格式，但有时我们需要按行来转为json，形如这种格式[row1:{col1:v11,col2:v12,col3:v13…},row2:{
2017-05-24 11:32:50
48354
1
原创 PowerDesigner设置主键自增长
本人在PowerDesigner中设计了一张User表，其中想为将主键变为递增。 选中UserId单击右键选择Properites 将Identity选中即可
2017-05-22 15:48:22
10975
转载 MySQL错误Another MySQL daemon already running with the same unix socket.
在国外网站发现的解决方法。原因多个MySQL进程使用了同一个socket。两个方法解决：第一个是立即关机 使用命令 shutdown -h now 关机，关机后在启动，进程就停止了。第二个直接把mysql.sock文件改名即可。也可以删除，推荐改名。然后就可以启动mysql了。下面是国外原文To prevent the problem from occurring, you must perform
2017-05-22 15:22:13
466
原创 centos下开启mysql远程服务
设置mysql密码如果是新安装的mysql，请输入如下命令来设置mysql密码mysqladmin -u root password "newpassword"-- 如果需要重新修改面，可执行如下命令：mysqladmin -u用户名 -p旧密码 password 新密码 赋予远程权限此时登录mysql数据库，执行如下命令来为某用户赋予远程权限use mysql;GRANT ALL PRIVI
2017-05-22 15:09:18
890
转载 Java中用单例模式有什么好处
Java Singleton模式主要作用是保证在Java应用程序中，一个类Class只有一个实例存在。 使用Singleton的好处还在于可以节省内存，因为它限制了实例的个数，有利于Java垃圾回收（garbage collection）。我们在浏览BBS、SNS网站的时候，常常会看到“当前在线人数”这样的一项内容。对于这样的一项功能，我们通常的做法是把当前的在线人数存放到一个内存、文件或者数据库中
2017-05-12 10:05:02
14802
原创 spark中sortByKey后存储为单个文件
需求：最近需要统计hbase中某个表行健的长度，最终按照行健长度排序，提取出数据样式如下，rowkey和长度按照“,”分割： rowkey 长度 http:http://www.ccps.gov.cn/ 28 http:http://www.ccps.gov.cn/ 28 1.23.168.192:http/ 18 1.23.168.192:http/ 18
2017-05-10 10:55:28
1213
原创 idea change scala version
File | Other Settings | Default Project Structure | Global Librariesclick ‘+’ button at the top left hand of the window select ‘Scala SDK’ add or update the version you want
2017-05-06 10:09:03
1322
原创 Hadoop默认端口表及用途
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenod
2017-04-14 11:01:12
7125
原创 kafka集群搭建
环境说明选用hadoop集群中的三个节点hadoop01,hadoop02,hadoop03来装kafka，且该三个节点上已安装了zookeeper，如没有安装zookeeper，请参考上一篇文章：搭建三个节点的zookeeper安装kafka需要的其余软件包有scala，slf4j-1.7.6中的slf4j-nop-1.7.6.jar文件，本文使用的各软件包的版本如下：kafka_2.9.2，
2017-04-11 14:45:09
393
原创 搭建三个节点的zookeeper
本文所用环境，如果没有请结合自身环境进行搭建4个hadoop节点，hadoop版本为2.7.1，主机名称分别为hadoop01、hadoop02、hadoop03、hadoop04，且ssh已经建立zookeeper版本为3.4.5，所存放目录为/opt/moudles下 1. 解压zookeeper执行如下命令：cd /opt/moudles/tar –zxvf zookeeper-3.
2017-04-09 17:18:38
2422
新一代人工智能发展白皮书.tar.gz
2019-12-25
深入浅出PMP(中文版)
2018-05-23
时间序列分析及应用：R语言（原书第2版）
2018-04-08
《spark机器学习》电影数据集
2017-03-10
libaio-devel-0.3.105-2.x86_64.rpm
2017-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人