new_buff_007的博客

原创 Failed to connect to github.com port 443: Timed out

github请求超时，需要 通过配置github的hosts来解决问题。1.hosts文件路径C:\Windows\System32\drivers\etc\hosts2.添加hosts配置140.82.112.4 github.com199.232.69.194 github.global.ssl.fastly.net185.199.108.153 assets-cdn.github.com185.199.109.153 assets-cdn.github.com185.19.

原创 clickhouse的单机部署

1.什么是clickhouseclickhouse:全称是click stream data warehouse,简称clickhouse。是一个完全的列式数据库，可以做到流批一体。2.单机部署1.入门安装与启动（1）使用脚本下载yum源yum install -y curl // 安装curl，可以请求url链接，请求外网curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.

原创 These relative modules were not found: * ../assets/fonts/glyphicons-halflings-regular.eot in ./node

使用vue使用脚手架引入bootstrap遇到Can’t resolve '…/fonts/glyphicons-halflings-regular.woff2问题，查看对应目录文件是存在的，所以不是缺失问题，应该是路径问题，css文件中的默认写法，只适用于传统的web服务器，在node这里不行了，所以我们打开bootstrap.css找到缺失的文件路径前面font的引用改一下，把 …/font改为 /font，也就是去掉前面的两点，再重新npn run dev,成功构建！...

原创 vue+Echarts绘制中国地图的热力图

<template> <div style="width:1500px;height:1000px"> <div id="byteVCellId" style="height:1000px"></div> </div></template><script> import 'echarts/map/js/china.js' import 'echarts/lib/component/title'.

原创 cnpm install 报错 SyntaxError: Unexpected end of JSON input (file:的解决方法

需要删除node_modules文件夹，但是提示只有Administrator用户才有权限删除，而且删除很慢，可以使用rimraf删除node_modules文件夹，删除很快。1 安装rimraf ：cnpm install rimraf -g2 执行： rimraf node_modules3 清空缓存：npm cache clean --force4 再次安装淘宝镜像：npm install -g cnpm --registry=https://registry.npm.taob...

原创 1366 - Incorrect string value: ‘\xE8\xBE\xBD\xE5\xAE\x81...‘ for column ‘province_name‘ at row 1

修改表的字符集编码ALTER TABLE TABLE_NAME CONVERT TO CHARACTER SET utf8mb4;

原创 Centos6 yum源使用报错的完美解决办法

第一步：#编辑vi /etc/yum/pluginconf.d/fastestmirror.conf#修改enable=0#或者执行以下命令sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.conf第二步mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak第三步curl -o /etc/yum.repo

原创 Mysql建立日期维度码表

创建日期维度表CREATE TABLE `date_dimension` ( `date_id` int(8) NOT NULL COMMENT '日期ID', `date_format` varchar(20) DEFAULT NULL COMMENT '日期格式化', `curr_day` int(8) DEFAULT NULL COMMENT '当前星期几', `curr_day_desc` varchar(8) DEFAULT NULL COMMENT '当前星期几', .

原创 springboot集成finereport出现无法启动finereport

原因可能是因为自己的打包的方式是war的形式，在重新拷贝finereport的文件以后，war包需要重新打包，报之前的target文件和war包删掉，重新编译和打包，再次运行即可。

原创 springboot 集成(帆软) finereport10.0详细步骤

springboot 集成 finereport10.0详细步骤1.首先建立springboot工程2.配置好自己的springboot工程3.将finereport的必要文件拷贝到自己的工程下面4.运行项目1.新建工程然后一路next，有需要修改的可以自行修改。并且将所需要的jar报导入。由于springboot没有webapp和WEB-INF目录。所以需要手动建立。并且将webapp目录标记为web环境中可以访问的文件夹。修改pom文..

原创 python的matplotlib.pyplot 进行简单的图形的绘制

1.首先需要导入，如果没有安装需要安装。import matplotlib.pyplot as plt2.绘制图形例如：先生成0-10的一百个数import numpy as npx = np.linspace(0,10,100)在求出他的正弦值：y = np.sin(x)然后进行图形的绘制plt.plot(x,y)plt.show()以上就是一个最简单的绘制。还可以配置其他的参数达到比较复杂的图形的绘制。cosy = np.cos(x)plt

原创 Error running ‘UDFRegisterCopy‘: Command line is too long. Shorten command line for UDFRegisterCopy.

今天在写大数据scala的一个demo的时候，发现的问题。解决方法：在 .idea/workspace.xml中找到<component name="PropertiesComponent">然后在后面追加一个属性即可：<property name="dynamic.classpath" value="true" />再次启动项目即可运行成功。...

原创 Pyhton爬取数据的方法总结

1.方式一1.获取的jsonimport requests使用requests，这个第三方的组建来实现。它既可以爬取json文件，也可以爬取网页信息。适用场景： 一般用于请求有返回json文件或者json字符串的数据的爬取。 可以解析不同网页链接，但是是一类，且具有一定的规律可循的数据。 例如：xxx/123.html xxx/124.html类似于这些网页即可data = requests.get(url=url, verify=False)if data.s

原创 github拉取python项目出现问题Cannot set up a python SDK at Python 3.6 (pachong_calendar)

在github上拉取python项目的时候，出现的问题。愿意大概就是sdk不能启动，遇到了问题。原因：python项目建立的时候都有建立虚拟环境，所以不同机器的虚拟环境要求不一样，导致python.exe启动不起来。解决方案：直接将项目中的ven文件夹删掉，在自动重建一次即可。...

原创 spark-shell在yarn上卖弄启动时报错The specified datastore driver (“com.mysql.jdbc.Driver“) was not found

在安装好的Hadoop集群和spark集群中安装好hive。但是在利用yarn启动spark-shell时候，报了以下错误：The specified datastore driver ("com.mysql.jdbc.Driver") was not found 。。。。。这个时候与找不到了MySQL的驱动，所以需要在spark-defaults.conf中进行指定配置。spark.executor.extraClassPath /home/hadoop/jars/mysql-con

原创 利用sqoop将mysql的数据表结构导入到hive中，并且新建表格

#!/bin/bashhive -e " drop table if exists dim.media_video"sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content --username root --password 000000 --table wt_media_video --hive-table dim.wt_media_video --fields-terminated-by ,.

原创 大数据 Hive Schema 版本不兼容问题

欢迎关注 ITwords公众号，大家可以一起学习，共同进步。Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt今天在hive中查询库的时候突然出现这个问题，但是hive启动正常，后来担心是不是hive的metastore没有开启，专门去开了一下，结果找到了问题所在。bin/hive --service metastore.

原创 spark集群实现wordcount

环境配置是：hadoop2.7.2 + zookeeper 3.4.5+ spark 2.1.1说明：这里的wordcount是使用scala书写，资源调度使用的是yarn。1.环境搭建提前搭建好hadoop集群和zookeeper。2.搭建spark集群配置使用的是yarn的集群配置。所以要在启动spark之前线启动hdfs和yarn。3.代码书写：def main(args: Array[String]): Unit = {//1.创建SparkConf并设置App

原创 无法指定被请求的地址 解决方法

今天在启动hadoop集群的时候发现问题。Problem binding to [hadoop103:8031] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/hadoop/BindException原因，因为Resourcemanager和namenode不是在同一台机器上，所以不能使用start-all.sh来启动。需要在两台机器上分别使用start-dfs.sh和 ...

原创 ls: 无法访问/opt/module/lib/spark-assembly-*.jar`: 没有那个文件或目录

在安装hive和整合spark的时候出现了一个这样一个不痛不痒的问题。ls: 无法访问/opt/module/lib/spark-assembly-*.jar`没有那个文件或目录原因是因为spark在座升级以后，将大的jar转化为了一个一个小的jar，所以在使用lib/spark-assembly-*.jar`去查找的时候找不到的原因。修改hive文件。在hive的安装目录下面，找到bin目录，在bin下面找到hive，编辑hive，修改即可。具体流程如下：vim /op...

原创 java的数据类型和mysql的对应关系

原创 Vue打包上传项目

欢迎关注 ITwords公众号，大家可以一起学习，共同进步。1、编译打包：首先修改一些配置文件：在config-->index.js中进行修改：assetsPublicPath的配置原来为：/ 现在改为 ./同样在index.js文件中的build也需要修改配置assetsPublicPath： / 改为 ./然后打开控制台...

原创 springmvc实现跨服务器上传

欢迎关注 ITwords 公众号，定时分享大数据，前端，java的相关知识。大家一起学习，共同进步。一、新建两个maven的工程如何新建maven工程详见https://blog.youkuaiyun.com/new_buff_007/article/details/104298149建好以后的样子：两个的结构基本一致，建好一个以后可以直接复制另一个里面的内容。二、配置tomc...

原创 python执行pip install 命令的时候报错 File"xxxx",line 1 pip install 的问题

解决方法：打开cmd，直接执行要安装的模块的命令即可。不需要进入python环境。

原创 error in ./node_modules/_element-ui@2.13.0@element-ui/lib/theme-chalk/index.css

原因是因为你的css解析的路径写的有问题，在build的webpack.base.conf.js里面添加css的解析路径即可。{ test:/\.css$/, loader:'css-loader!style-loader', exclude: /node_modules/},...

原创 Spark通过netcat来监听端口访问数据

首先需要安装好netcat，在centos中没有 -k 参数的命令。第一步：完成spark的scala程序package com.lxb.sparkStreamingimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.{SparkCon...

原创 Linux安装mysql

一、删除原有的mysql1.先查看原来的mysqlrpm -qa | grep mysql2.删除原来的mysqlrpm -e --nodeps mysql二、通过yum来进行mysql安装yum install -y mysql-server mysql mysql-devel //将mysql,mysql-server,mysql-devel都安装...

原创 2019IDEA如何自动补全变量的类型解决

这里的Specify type没有勾选。解决办法：点击Setting完成 ，ok!

原创 A read-only user or a user in a read-only database is not permitted to disable read-only mode on

在启动spark的时候，遇到的问题。从字面意思可以看到是只读文件，拒绝连接。我们猜想可能是权限不够。因为sparkSql的文件在spark的安装目录下面。与bin统计的目录。有一个metastore_db，进去以后会看到一个db.lck的文件，权限应该不是当前用户的所属。切换到对应的用户下面，修改属组和属主即可。再次启动即可成功！...

原创 Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用;

今天在使用的hadoop跑一个程序，结果datanode怎么也起不来。查看log，发现是Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用;这个问题，但是查询端口时候，发现端口 并没有被占用啊，格式化了很多次都不行。最后发现可能是用户的问题。于是乎从普通用户切换到root，发现50010这个端口真的被占用了。我的真的很...

原创 spark的master和worker 的注册和心跳检测

目录pom.xml文件：SparkMasterSparkWorkerMessageProtocol运行结果：在学习spark 的时候，就想着可不可以试着实现一下，spark的底层master和worker的心跳和注册的功能，于是有了下面的代码。很详细。如果了解更多的内容，可以关注公众号 ITwords ，第一时间获取更多资讯。 ...

原创 IDEA的maven引入jar包时候的错误解决

问题引出在使用maven管理项目jar包的时候，虽然很方便，但是有时候jar包拉取不下来的时候很恼火。经过多次努力终于解决了。特此记录一下，也让有同样问题的人可以早日不被这些没有技术含量的问题困扰。解决第一步做完这一步，重启一下IDEA。如果没有解决的话，继续：解决步骤二问题依然存在。在你的maven本地库中找到这个文件夹。就会发现没有j...

原创 退出scala的命令行

:quit

原创 split分割字符串是 . | 等等注意事项

无论是用java还是scala的时候，分割 . | / 等等特殊的符号的时候，需要要转义字符才可以。这里以scala为例：object Test1 { def main(args: Array[String]): Unit = { val str = "qw.qw.we.we" str.split("\\.").foreach(println) }}...

原创 Navicat连接云服务器的mysql数据库

目录前提：1.首先修改安全组的允许访问端口2.修改可以连接的ip前提：安装好mysql：yum install mysql-server1.首先修改安全组的允许访问端口2.修改可以连接的ip（1）使用xshell或者其他的远程连接工具，连接服务器。（2）登录mysql,第一次登录的时候，应该默认的密码是没有。如果不是请执行下面的操作，否则跳...

原创 Error in render: "RangeError: Maximum call stack size exceeded" 解决方案

一般遇到这样的问题，先不要慌，慢慢的分析。问题一：你的路由写的有问题。例如：即检查你的路由router.js中的是否含有参数，但是你的路由中并没有写。问题二：是二级路由的path不可以写“/”，所以注意检查。问题三：就是在传参数的时候，类型不一致的问题，虽然这个问题，只有报错，依旧可以运行，但是对于强迫症的我来说，不可原谅。所以将进行强制类型转化。将字符串转换...

原创 IDEA 2019.3.3 的控制台乱码，而且不能打出来汉字

使用了网上的所有办法没能解决。直接改为仿宋或者黑体就可以了。

原创 Idea创建springboot失败的原因

Could not transfer artifact io.projectreactor:reactor-bom:pom:Dysprosium-SR5 from/to central (https://repo.maven.apache.org/maven2): Connect to repo.maven.apache.org:443 [repo.maven.a打开file，搜索HTT...

原创 Result Maps collection does not contain value for com.lxb.entity.Product

在mybatis的是使用中发现的问题：意思就是不能够包含有Product实体类的属性值，原因是因为在我做映射的时候，少了一个Product的id值。因为他是一个连表查询，所以只能有一个id‘值’，导致我把Product的值给省略了。解决办法：将每一个要查询出来的属性值，一一罗列出来：SELECT mc.add_time, mc.cart_id, mc.pro_id, mc.p...

原创 "Navigating to current location ("/adminHome/productsList") is not allowed", stack: "Error↵

在vue中遇到了这样的问题。原因是因为在A界面中进行路由改变的跳转，而跳转的目的地页还是A界面，修改一下即可。 this.$axios.post(api,this.updateDataPro).then((response)=>{ console.log(response.data.code) if(response...