- 博客(134)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 linux查看和修改PATH环境变量的方法
查看PATH：echo $PATH以添加mongodb server为列修改方法一：export PATH=/usr/local/mongodb/bin:$PATH//配置完后可以通过echo $PATH查看配置结果。生效方法：立即生效有效期限：临时改变，只能在当前的终端窗口中有效，当前窗口关闭后就会恢复原有的path配置用户局限：仅对当前用户 修改方法二：通过修改.bas...
2019-06-13 17:55:43
250
原创 NLP常用资源
Hanlp词向量官方下载页面：Tencent AI Lab Embedding Corpus for Chinese Words and Phrases https://ai.tencent.com/ailab/nlp/embedding.html应用：http://www.52nlp.cn/腾讯词向量实战-通过annoy进行索引和快速查询In [15]: from gensim.mode...
2019-06-13 17:24:24
637
转载 Mac OS 终端利器 iTerm2 快捷键
Mac OS 终端利器 iTerm2 https://www.cnblogs.com/xishuai/p/mac-iterm2.html快捷命令说明：命令 说明command + t 新建标签command + w 关闭标签command + 数字 command + 左右方向键 切换标签command + enter 切换全屏command + f 查找command + d 垂...
2019-06-13 17:05:12
373
原创 标签分类
Kaggle大规模文本数据层次分类比赛： Large Scale Hierarchical Text Classificationhttps://www.kaggle.com/c/lshtc[2017知乎看山杯 多标签 文本分类] ye组(第六名) 解题方案https://github.com/yongyehuang/zhihu-text-classification...
2019-05-15 15:43:39
231
转载 Java读写Excel文件示例
转https://blog.51cto.com/wangzhichao/1730100mvn: <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> &...
2019-04-30 11:53:47
279
转载 Attention可视化
代码转自：https://github.com/rockingdingo/deepnlp/blob/r0.1.6/deepnlp/textsum/eval.pyplot_attention(data, X_label=None, Y_label=None)函数#!/usr/bin/python# -*- coding:utf-8 -*-"""Evaluation Method for...
2019-04-26 18:53:12
8575
14
转载 算法工程学习-人工智能开发平台Analytics-Zoo
Analytics Zoo的Docker镜像的部署环境，步骤如下：（更详细的步骤在https://github.com/intel-analytics/analytics-zoo/tree/master/docker ）ubuntu18.04安装docker17.12.1-ce并配置国内源和加速器安装dockersudo apt-get updatesudo apt-get instal...
2019-04-08 15:30:28
517
转载 Linux系统unzip解压后中文名乱码解决方法
linux中解压出现文件名乱码、权限不正确等问题的解决方法。转自 https://www.cnblogs.com/eagling/articles/5753203.html ，方法一解决了我的问题！方法一利用python脚本来处理编辑python的解压缩脚本文件vi unzip.py文件内容如下：#!/usr/bin/env python# -*- coding: utf-8...
2019-03-19 10:33:33
1326
原创 Google 开源项目风格指南（代码规范）
Google 开源项目风格指南 (英文版) https://github.com/google/styleguideGoogle 开源项目风格指南 (中文版) https://github.com/zh-google-styleguide/zh-google-styleguide
2019-01-22 17:56:31
1022
原创 pickle模块存储对象
import pprint, pickle#对象 tokenizer = tf.keras.preprocessing.text.Tokenizer(num_words=max_words) tokenizer.fit_on_texts(train)#存储至文件tokenizer_file_path = os.path.join(FLAGS.pre_model_path, FL...
2018-12-29 18:00:12
292
原创 知识图谱构建方法学习笔记
美团大脑：知识图谱的建模方法及其应用https://www.jiqizhixin.com/articles/2018-11-02-16?from=synced&amp;keyword=知识图谱Cayley: Google开源的图数据库http://www.infoq.com/cn/news/2014/06/google-cayleyBuild a Small Knowledge Graph...
2018-11-06 18:01:51
784
原创 MCMC(Markov Chain Monte Carlo) 方法学习笔记
Gibbs采样用途什么是sampling?sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。吉布斯采样的通俗解释？问题是我们不知道p(E,T,W)，或者说，不知道三件事的联合分布joint distribution。当然，如...
2018-11-06 12:04:43
1270
原创 hadoop MR 内存不足
MR内存不足： 18/07/17 15:20:21 INFO mapreduce.Job: Task Id : attempt_1530494171563_1814563_m_000022_0, Status : FAILED Container [pid=25576,containerID=container_e06_1530494171563_1814563_01_000066] is r...
2018-07-17 15:31:34
1044
原创 如何看一段JAVA代码耗了多少内存
Runtime r = Runtime.getRuntime(); r.gc(); long startMem = r.freememory(); // 开始时的剩余内存 你的代码…… long orz = startMem - r.freememory(); // 剩余内存 现在
2018-07-17 11:46:00
4371
2
转载 Hadoop 解除 "Name node is in safe mode"
转自 http://blog.youkuaiyun.com/hongweigg/article/details/7185328运行hadoop程序时，有时候会报以下错误： org.apache.Hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我
2016-11-30 23:36:15
319
原创 集群中Ntp时间同步
Hadoop0为时钟同步的server,则在Hadoop0中： 命令：vi /etc/ntp.conf 在该文件中写入需要与server同步的机器IP restrict 172.18.32.34 restrict 172.18.32.38 restrict 172.18.32.226 引用块内容配置文件修改完成，保存退出，启动服务。 在集群中各台机器上执行命令：
2016-10-26 22:44:12
1679
原创 文件或目录的权限
每个文件和目录都有所属用户（owner）、所属组别（group）及模式（mode）。其中的模式是由所属用户的权限、组内成员的权限及其他用户的权限组成的。可以使用命令chmod ABC file来修改用户的权限。其中A、B、C各为一个数字，分别表示User、Group、及Other的权限。A、B、C这三个数字如果各自转换成由“0”、“1”组成的二进制数，则二进制数的每一位分别代表一个角色的读、写、运行
2016-02-26 09:31:36
479
转载 Hadoop常用命令
启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_pa
2015-12-27 17:56:48
319
原创 欢迎使用优快云-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-12-27 17:55:27
280
原创 PyCharm license key
用户名：yueting3527注册码：===== LICENSE BEGIN =====93347-1204201000001FMHemWIs"6wozMZnat3IgXKXJ2!nV2I6kSO48hgGLa9JNgjQ5oKz1UsFFR8k"nGzJHzjQT6IBG!1fbQZn9!Vi===== LICENSE END =====
2015-12-15 11:50:56
2778
原创 Oracle导入dmp文件
1. 导入dmp文件：cmd命令行中输入如下命令：imp userid=用户名/密码@数据库名file=要导入的dmp文件 FULL=Y buffer=10000000 ignore=y;如：impuserid=SYSTEM/Manager123@ORCL file=E:\traffic_data\AFC_2015_03.dmpFULL=Y buffer=10000000 ignore
2015-12-15 11:50:51
439
原创 history service 没有启…
2015-11-21 23:07:04,523 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Created MRAppMaster for application appattempt_1448025206651_0026_0000022015-11-21 23:07:05,041 WARN [main] org.apa
2015-12-15 11:50:48
1937
原创 Linux执行.sh文件，提示No su…
Linux执行.sh文件，提示No such file or directory的问题问题描述 解决方法 分析原因，可能因为我平台迁移碰到权限问题我们来进行权限转换 1）在Windows下转换： 利用一些编辑器如UltraEdit或EditPlus等工具先将脚本编码转换，再放到Linux中执行。转换方式如下（UltraEdit）：File-->Convers
2015-12-15 11:50:46
2340
转载 hadoop datanode启动不起来
原文地址：datanode启动不起来">hadoop datanode启动不起来作者：老四hadoopdatanode启动不起来转自：http://book.51cto.com/art/201110/298602.htm 如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。
2015-12-15 11:50:43
297
原创 关于MapReduce
1.所有数据都需要输出的情况 ,Reduce的个数设置为0特定数据抽取对于Hadoop来说是非常简单的，对于所有数据都需要输出的情况，直接在Map中将日志解析出的结果中需要的字段进行输出就可以了。而对于只需要输出满足特定条件的数据，则需要在程序启动之时将这些条中需要的数值或者某些变量等添加到Hadoop启动的任务参数的配置中，而在Map启动之前，在其Configure函数中解析出这些参数，并将这
2015-12-15 11:50:40
330
原创 hadoop编译问题（2）Could no…
编译时报错：Could not locate executable null \bin\winutils.exe inthe hadoop binaries。1.下载hadoop-common-2.2.0-bin-master.zip及winutils.zip.2.将hadoop-common-2.2.0-bin-master.zip解压，其路径作为hadoop_home。将winutil
2015-12-15 11:50:38
367
原创 hadoop编译问题（1）java.io.IOExc…
把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常： java.io.IOException: No FileSystem for scheme:hdfs atorg.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421) at
2015-12-15 11:50:35
364
原创 ipython notebook使用
很多人发现Ipython notebook 打开的默认路径在user里面却不知道如何修改, 这里提供一个非常简单的方法 ipython notebook 默认路径更改：1.打开命令行, 键入 ipython profile create2.根据这个地址,打开profile所在的文件夹 在C:\Users\LOTUS\.ipython\profile_default\ipyth
2015-12-15 11:50:32
342
原创 linux查看某个进程的CPU及占用情况
背景：有时需要单看某个进程的CPU及占用情况，有时需要看整体进程的一个占用情况。一、 linux ps命令，查看某进程cpu和内存占用率情况[root@test vhost]# ps auxUSER PID %CPU %MEM VSZ RSSTTY STAT START TIME COMMAND解释：linux 下的
2015-12-15 11:50:30
5871
原创 U盘无法完成格式化/读取/损坏怎么…
现在市场上的U盘良莠不齐，很多都是水货U盘，然后一旦出现U盘无法完成格式化操作的情况，我们就得想办法来解决这个问题了。在接下来的经验中，请大家按照我的办法去做，可以解决90%的U盘无法完成格式化操作的问题，大家速来。需要两个软件：Usboot软件软媒U盘启动软件以管理员身份运行Usboot软件，然后插上自己未能正常使用的U盘，包括无法进行格式化操作，无法正常读取，或者直接瘫痪的
2015-12-15 11:50:27
2339
1
原创 linux修改文件权限命令
chmod (用户权限)(组权限)(其他权限) 文件权限：r(读)w(写)x(执行)---分别对应数字4,2,1如想授予"用户读写执行权限；组用户读权限；其他用户读权限"，命令就是：chmod 622 文件
2015-12-15 11:50:25
1567
原创 HDFS基本文件常用命令
为了每次执行Hadoop的时候，不必须要前者加上hadoop的安装的绝对路径，要做的事情就是将其安装路径加入到PATH中，这样就可以直接执行hadoop命令。如下：vim /etc/profile中加入一句export HADOOP_INSTALL=/usr/local/hadoop1.1.2注意这里要写HADOOP_INSTALL，因为如果写HADOOP_HOME会在执行命令的时
2015-12-15 11:50:22
653
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人