- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ssh免密登录仍需要密码
和github连接需要生成密钥在~/.ssh目录下，覆盖掉之前的私钥id_rsa。使用命令ssh -keygen -t dsa会生成id_dsa和id_dsa.pubcat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys把id_dsa.pub追加到authorized_keys中，该文件包括两个公钥rsa(github)和dsa(登录本机)...
2019-06-27 14:46:40
1254
原创 centos6.5 hive配置
因为项目需要，首先先安装mysql和hive连接。hive安装教程链接：https://www.cnblogs.com/dxxblog/p/8193967.htmlhttps://blog.youkuaiyun.com/qq_36508766/article/details/81318996一. hive数据库初始化报错报错：Error: Syntax error: Encountered...
2019-06-26 16:11:15
723
原创 hadoop项目
项目来源：https://github.com/monsonlee/BigDataproject2：分析日志1.把baidu.log上传hdfs2.本地编译TimeUtil.java和MR_WLA.java 问题：javac MR_WLA.java 报错找不到包和类 解决方式：修改/etc/profile里的classpath，添加一行expor...
2019-06-18 15:42:29
526
原创 centos无法上网排查过程
ping百度显示ping:unknown hostping网关destination host unreachable：物理连接没接好pingDNS修改159.126.8.7为114.114.114.114
2019-06-03 16:21:54
432
原创 三台主机搭建hadoop集群过程记录
步骤在一台主机上安装好hadoop伪分布式环境，作为master节点。 用硬盘对拷的方式复制到另外两台slave主机，修改主机名etc/sysconfig/network 修改etc/hosts文件 把ip和主机名对应 修改conf/slaves conf/masters文件以及其他配置文件 把master主机的hadoop文件夹复制到slave主机上 sudo scp -r /...
2019-06-03 16:02:54
1093
原创 启动hive遇到的一些error
虚拟机环境：32bitUbuntu14.hadoop2.6jdk1.8hive2.3.4没有安装MySQL使用内置的derby数据库，也就没有配置hive-site.xml文件。hive可以正常启动，进入shell界面，show tables；问题来了1.Unable to instantiate org.apache.hadoop.hive.metastore....
2019-05-23 15:39:15
663
原创 运行bin/pyspark 时显示Unsupported major.minor version 52.0错误
问题一般是spark的java版本与作业编译的java版本不一致，建议将本地java版本改为与spark一致的版本，目前集群是1.7.0。各JDK版本对应的版本数字编号如下所示：J2SE 8 = 52,J2SE 7 = 51,J2SE 6.0 = 50,J2SE 5.0 = 49,JDK 1.4 = 48,JDK 1.3 = 47,JDK 1.2 = 46,JD...
2019-05-22 20:27:46
668
转载 centos6.5 安装新版本火狐浏览器报错
报错信息[root@test firefox]# firefoxXPCOMGlueLoad error for file /usr/lib64/firefox/libmozgtk.so:libgtk-3.so.0: cannot open shared object file: No such file or directoryCouldn't load XPCOM.解决方案：...
2019-04-07 21:40:21
1426
原创 sql语句中where和having的区别
最近在项目中用到数据库的读取发现where和having的区别where：在group by 之前过滤数据having：在group by 之前过滤数据举个栗子id target_id time type 1 2 500 2 2 2 400 0 3 3 450 0 ...
2018-09-26 15:19:49
1345
3
原创 TypeError: fit_transform() missing 1 required positional argument ：‘X’
按照教程跑一个代码的时候报如下错误TypeError: fit_transform() missing 1 required positional argument ：‘X’原因from sklearn.preprocessing import StandardScalerfrom sklearn.neighbors import KNeighborsClassifierss =...
2018-08-28 14:35:24
20340
10
原创 使用sklearn实现垃圾短信识别
import pandas as pdimport jieba data = pd.read_csv(r"E:\UCAS\labled.txt",sep = '\t',names=['label','text'])#read data and name the row#print(data.head())data['cut_message'] = data["text"].apply(l...
2018-08-21 20:55:40
2320
原创 安装Hadoop-jdk迷思
初始化HDFS系统时显示bin/hdfs: 行 276: /usr/lib/jvm/java-1.7.0-openjdk-amd64/bin/java: 没有那个文件或目录查询一下java的版本是：openjdk version "1.8.0_151" 我觉得是JAVA_HOME出了问题想要修改它查了java安装路径用which javac查显示/etc/alternatives/javac: s...
2018-04-02 17:49:04
563
原创 在ubuntu下安装Hadoop——ssh无密登录
按照一个blog的介绍安装Hadoop但是无法实现无密登录，blog链接如下：https://blog.youkuaiyun.com/wangjia55/article/details/53160679问了一个同学他说要在～下建立不能su之后建立，cat ~/.ssh/id_rsa.pub >> authorized_keys这条命令要改成cat ~/.ssh/id_rsa.pub >>...
2018-04-02 14:58:33
582
原创 python小操作
进入指定目录>>> import os#显示当前路径>>> os.getcwd()'/home/sunsi'# 改变路径>>> os.chdir("/home/sunsi/in action")>>> os.getcwd()'/home/sunsi/in action'列表操作listFromL
2017-12-05 09:59:05
200
原创 AttributeError: 'dict' object has no attribute 'interitems'
看《机器学习实战》时，运行2-1的程序，报错AttributeError: 'dict' object has no attribute 'interitems'，查了一下百度说是因为python2和python3存在兼容性问题要把iteritems改成items就ok了。问题语句：sortedClassCount = sorted(classCount.iteritems(),key=o
2017-11-13 20:36:53
1489
原创 TypeError: can't multiply sequence by non-int of type 'float'
如图练习格式化输出时出现错误TypeError: can't multiply sequence by non-int of type 'float'对输出进行修改，100×r加上数据类型float就可以正常输出。
2017-11-03 18:04:04
21910
1
原创 break跳出两重循环
用感知器算法求下列模式分类的解向量w: ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}使用MATLAB实现该过程：x=[0,0,0,1;1,0,0,1;1,0,1,1;1,1,0,1;0,0,-1,-1;0,-1,-1,-1;0,-
2017-10-22 10:41:32
3337
原创 Linux下修改文件产生.swap文件错误
交换文件 "~/.add.py.swp" 已存在! 以只读方式打开([O]), 直接编辑((E)), 恢复((R)), 删除交换文件((D)), 退出((Q)),中止((A)):产生原因：文件的非正常关闭。解决办法：删除add.py.swp文件，该文件是隐藏文件所以使用la查看，使用语句rm -r add.py.swp删除该文件，再次打开文件不会产生该问题。
2017-10-14 09:53:32
4313
原创 Linux小操作
新建文件cd 指定文件夹下 touch filename.txtinput()>>> name=input()Tom>>> name'Tom'
2017-10-14 09:11:00
130
原创 Python基础笔记
学习自廖雪峰官方网站Python的安装：Linux中自带Python输入命令窗口输入python/python3会返回Python的版本号(python 是Python2.0版本 python3 是Python3.0版本)输入exit()退出Python
2017-10-12 00:11:36
439
原创 MATLAB绘制直方图
>> f=imread('dog.jpg');>> imhist(f);错误使用 imhist需要的 第 1 个输入, I or X, 应为 二维。错误原因：读入的图片是三个维度的彩色图片，应该转换成二维的灰度图像。使用函数rgb2gray()将真彩色图像转换为灰度图像，即灰度化处理。G=rgb2gray(f);imhist(G);
2017-10-09 20:19:45
9298
原创 在Ubuntu16.04下安装Adobe flash player
1.打开 flash player下载页面，选择.tar.gz方式安装。2.进入终端，取得root用户权限，输入命令 cd /tmp 进入tmp文件夹下，输入命令tar -zx -f flash_player_npapi_linux.x86_64.tar.gz #解压下载好的压缩包 压缩包名字为flash_player_npapi_linux.x86_643.然后在网上查的命令cp
2017-07-21 22:30:34
1723
原创 Android Studio 下apk打包
新建密钥库和密钥对，选择要存放密钥库的地址，进入到对应的目录下输入一下语句输入答案查看密钥打开要打包的项目Build->Generate Signed APK选择已存在的密钥库，找到刚刚新建的密钥库路径，输入密码密钥别名key alias，选择已存在的密钥输入密码 继续打包成功 找文件夹下找到
2017-06-21 13:20:28
259
原创 Linux基础笔记
菜狗子的学习笔记 以后复习要用Ubuntu 终端字体放大：Ctrl+shift+加号 缩小字体：Ctrl+减号进入根目录：cd /查看路径位置：pwd相对路径:要访问的路径在已经访问的文件夹下 cd +文件名跳转到绝对路径：cd +要访问的文件所在路径（从/开始）+文件名查看所有文件（包括隐藏目录）：ls -acd .:当前目录cd ..:跳转到上一级目
2017-06-05 17:47:05
267
原创 安装win10
家里的电脑的盗版Windows现在连桌面都不显示了 还提示我我是盗版受害者 （我自己装的盗版系统我能不知道？）干脆装个win10吧 查了查百度 大家教的方法有好多种 （大概因为时间不同） 看不下去 直接去官网看看https://www.microsoft.com/zh-cn/software-download/windows10直接下载工具 MediaCreationTool.exe 插一个空
2017-05-27 00:22:31
422
原创 Android实现手机短信管理器（Android Studio）
1.使用TabHost构建布局，但是在TabWidget显示图片和文字出现问题，只是显示文字图片无法显示，Baidu之后修改manifest代码如下，可以正常显示。错误原因是Android主题选取不适当。<application android:allowBackup="true" android:icon="@mipmap/ic_launcher"
2017-04-09 16:07:23
2186
Joint Entity and Relation Extraction Based on a hybrid neural network
2018-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人