<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[new_buff_007的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/new_buff_007</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; new_buff_007]]></copyright><item><title><![CDATA[Failed to connect to github.com port 443: Timed out]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/115461968</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/115461968</guid><author>new_buff_007</author><pubDate>Tue, 06 Apr 2021 15:28:27 +0800</pubDate><description><![CDATA[github请求超时，需要 通过配置github的hosts来解决问题。

1.hosts文件路径


C:\Windows\System32\drivers\etc\hosts

2.添加hosts配置


140.82.112.4 github.com
199.232.69.194 github.global.ssl.fastly.net
185.199.108.153 assets-cdn.github.com
185.199.109.153 assets-cdn.github.com
185.19.]]></description><category></category></item><item><title><![CDATA[clickhouse的单机部署]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/114264704</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/114264704</guid><author>new_buff_007</author><pubDate>Mon, 01 Mar 2021 16:02:57 +0800</pubDate><description><![CDATA[1.什么是clickhouse

clickhouse:全称是click stream data warehouse,简称clickhouse。是一个完全的列式数据库，可以做到流批一体。

2.单机部署

1.入门安装与启动




（1）使用脚本下载yum源
yum install -y curl // 安装curl，可以请求url链接，请求外网
curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.]]></description><category></category></item><item><title><![CDATA[These relative modules were not found:  * ../assets/fonts/glyphicons-halflings-regular.eot in ./node]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/112515807</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/112515807</guid><author>new_buff_007</author><pubDate>Tue, 12 Jan 2021 11:59:11 +0800</pubDate><description><![CDATA[使用vue使用脚手架引入bootstrap遇到Can’t resolve '…/fonts/glyphicons-halflings-regular.woff2问题，查看对应目录文件是存在的，所以不是缺失问题，应该是路径问题，css文件中的默认写法，只适用于传统的web服务器，在node这里不行了，所以我们打开bootstrap.css找到缺失的文件路径前面font的引用改一下，把 …/font改为 /font，也就是去掉前面的两点，再重新npn run dev,成功构建！




...]]></description><category></category></item><item><title><![CDATA[vue+Echarts绘制中国地图的热力图]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/112507530</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/112507530</guid><author>new_buff_007</author><pubDate>Tue, 12 Jan 2021 10:19:52 +0800</pubDate><description><![CDATA[&lt;template&gt;
  &lt;div style="width:1500px;height:1000px"&gt;
    &lt;div id="byteVCellId" style="height:1000px"&gt;&lt;/div&gt;
  &lt;/div&gt;
&lt;/template&gt;

&lt;script&gt;
  import 'echarts/map/js/china.js'
  import 'echarts/lib/component/title'.]]></description><category></category></item><item><title><![CDATA[cnpm install 报错 SyntaxError: Unexpected end of JSON input (file:的解决方法]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/111887756</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/111887756</guid><author>new_buff_007</author><pubDate>Tue, 29 Dec 2020 11:55:56 +0800</pubDate><description><![CDATA[需要删除node_modules文件夹，但是提示只有Administrator用户才有权限删除，而且删除很慢，可以使用rimraf删除node_modules文件夹，删除很快。

1 安装rimraf ：cnpm install rimraf -g

2 执行： rimraf node_modules

3 清空缓存：npm cache clean --force

4 再次安装淘宝镜像：npm install -g cnpm --registry=https://registry.npm.taob...]]></description><category></category></item><item><title><![CDATA[1366 - Incorrect string value: ‘\xE8\xBE\xBD\xE5\xAE\x81...‘ for column ‘province_name‘ at row 1]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/111582670</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/111582670</guid><author>new_buff_007</author><pubDate>Wed, 23 Dec 2020 11:37:49 +0800</pubDate><description><![CDATA[修改表的字符集编码

ALTER TABLE TABLE_NAME CONVERT TO CHARACTER SET utf8mb4;
]]></description><category></category></item><item><title><![CDATA[Centos6 yum源使用报错的完美解决办法]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/111406643</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/111406643</guid><author>new_buff_007</author><pubDate>Sat, 19 Dec 2020 16:25:55 +0800</pubDate><description><![CDATA[第一步：
#编辑
vi /etc/yum/pluginconf.d/fastestmirror.conf
#修改
enable=0
#或者执行以下命令
sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.conf

第二步
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

第三步
curl -o /etc/yum.repo]]></description><category></category></item><item><title><![CDATA[Mysql建立日期维度码表]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/110529582</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/110529582</guid><author>new_buff_007</author><pubDate>Thu, 03 Dec 2020 14:03:32 +0800</pubDate><description><![CDATA[创建日期维度表


CREATE TABLE `date_dimension` (
  `date_id` int(8) NOT NULL COMMENT '日期ID',
  `date_format` varchar(20) DEFAULT NULL COMMENT '日期格式化',
  `curr_day` int(8) DEFAULT NULL COMMENT '当前星期几',
  `curr_day_desc` varchar(8) DEFAULT NULL COMMENT '当前星期几',
  .]]></description><category></category></item><item><title><![CDATA[springboot集成finereport出现无法启动finereport]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/109340729</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/109340729</guid><author>new_buff_007</author><pubDate>Wed, 28 Oct 2020 19:29:52 +0800</pubDate><description><![CDATA[原因可能是因为自己的打包的方式是war的形式，在重新拷贝finereport的文件以后，war包需要重新打包，报之前的target文件和war包删掉，重新编译和打包，再次运行即可。
]]></description><category></category></item><item><title><![CDATA[springboot 集成(帆软) finereport10.0详细步骤]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/109311171</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/109311171</guid><author>new_buff_007</author><pubDate>Tue, 27 Oct 2020 15:33:34 +0800</pubDate><description><![CDATA[springboot 集成 finereport10.0详细步骤


1.首先建立springboot工程

2.配置好自己的springboot工程

3.将finereport的必要文件拷贝到自己的工程下面

4.运行项目


1.新建工程




然后一路next，有需要修改的可以自行修改。并且将所需要的jar报导入。





由于springboot没有webapp和WEB-INF目录。所以需要手动建立。并且将webapp目录标记为web环境中可以访问的文件夹。









修改pom文..]]></description><category></category></item><item><title><![CDATA[python的matplotlib.pyplot 进行简单的图形的绘制]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/108407903</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/108407903</guid><author>new_buff_007</author><pubDate>Fri, 04 Sep 2020 17:12:56 +0800</pubDate><description><![CDATA[1.首先需要导入，如果没有安装需要安装。


import matplotlib.pyplot as plt

2.绘制图形

例如：先生成0-10的一百个数


import numpy as np
x = np.linspace(0,10,100)

在求出他的正弦值：


y = np.sin(x)

然后进行图形的绘制


plt.plot(x,y)
plt.show()



以上就是一个最简单的绘制。

还可以配置其他的参数达到比较复杂的图形的绘制。


cosy = np.cos(x)
plt]]></description><category></category></item><item><title><![CDATA[Error running ‘UDFRegisterCopy‘: Command line is too long. Shorten command line for UDFRegisterCopy.]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/107686498</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/107686498</guid><author>new_buff_007</author><pubDate>Thu, 30 Jul 2020 11:31:51 +0800</pubDate><description><![CDATA[今天在写大数据scala的一个demo的时候，发现的问题。





解决方法：



在 .idea/workspace.xml中找到


&lt;component name="PropertiesComponent"&gt;





然后在后面追加一个属性即可：


&lt;property name="dynamic.classpath" value="true" /&gt;

再次启动项目即可运行成功。
...]]></description><category></category></item><item><title><![CDATA[Pyhton爬取数据的方法总结]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/107347026</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/107347026</guid><author>new_buff_007</author><pubDate>Tue, 14 Jul 2020 20:49:05 +0800</pubDate><description><![CDATA[1.方式一

1.获取的json


import requests

使用requests，这个第三方的组建来实现。它既可以爬取json文件，也可以爬取网页信息。

适用场景：


	一般用于请求有返回json文件或者json字符串的数据的爬取。
	
	
	可以解析不同网页链接，但是是一类，且具有一定的规律可循的数据。
	
例如：xxx/123.html xxx/124.html类似于这些网页即可


data = requests.get(url=url, verify=False)
if data.s]]></description><category></category></item><item><title><![CDATA[github拉取python项目出现问题Cannot set up a python SDK  at Python 3.6 (pachong_calendar)]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/107153047</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/107153047</guid><author>new_buff_007</author><pubDate>Mon, 06 Jul 2020 11:20:13 +0800</pubDate><description><![CDATA[在github上拉取python项目的时候，出现的问题。愿意大概就是sdk不能启动，遇到了问题。

原因：python项目建立的时候都有建立虚拟环境，所以不同机器的虚拟环境要求不一样，导致python.exe启动不起来。

解决方案：直接将项目中的ven文件夹删掉，在自动重建一次即可。
...]]></description><category></category></item><item><title><![CDATA[spark-shell在yarn上卖弄启动时报错The specified datastore driver (“com.mysql.jdbc.Driver“) was not found]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/107096930</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/107096930</guid><author>new_buff_007</author><pubDate>Fri, 03 Jul 2020 00:47:02 +0800</pubDate><description><![CDATA[在安装好的Hadoop集群和spark集群中安装好hive。但是在利用yarn启动spark-shell时候，报了以下错误：

The specified datastore driver ("com.mysql.jdbc.Driver") was not found 。。。。。

这个时候与找不到了MySQL的驱动，所以需要在spark-defaults.conf中进行指定配置。


spark.executor.extraClassPath     /home/hadoop/jars/mysql-con]]></description><category></category></item><item><title><![CDATA[利用sqoop将mysql的数据表结构导入到hive中，并且新建表格]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/106979539</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/106979539</guid><author>new_buff_007</author><pubDate>Sat, 27 Jun 2020 10:33:20 +0800</pubDate><description><![CDATA[#!/bin/bash
hive -e "
	drop table if exists dim.media_video
"
sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content  --username root --password 000000  --table wt_media_video --hive-table dim.wt_media_video --fields-terminated-by ,.]]></description><category></category></item><item><title><![CDATA[大数据 Hive Schema 版本不兼容问题]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/106945890</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/106945890</guid><author>new_buff_007</author><pubDate>Wed, 24 Jun 2020 16:00:46 +0800</pubDate><description><![CDATA[欢迎关注 ITwords公众号，大家可以一起学习，共同进步。



Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt

今天在hive中查询库的时候突然出现这个问题，但是hive启动正常，后来担心是不是hive的metastore没有开启，专门去开了一下，结果找到了问题所在。


bin/hive --service metastore.]]></description><category></category></item><item><title><![CDATA[spark集群实现wordcount]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/106854958</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/106854958</guid><author>new_buff_007</author><pubDate>Fri, 19 Jun 2020 14:02:15 +0800</pubDate><description><![CDATA[环境配置是：hadoop2.7.2 + zookeeper 3.4.5+ spark 2.1.1

说明：

这里的wordcount是使用scala书写，资源调度使用的是yarn。

1.环境搭建

提前搭建好hadoop集群和zookeeper。

2.搭建spark集群配置

使用的是yarn的集群配置。所以要在启动spark之前线启动hdfs和yarn。

3.代码书写：


def main(args: Array[String]): Unit = {

//1.创建SparkConf并设置App]]></description><category></category></item><item><title><![CDATA[无法指定被请求的地址 解决方法]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/106805383</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/106805383</guid><author>new_buff_007</author><pubDate>Wed, 17 Jun 2020 13:29:56 +0800</pubDate><description><![CDATA[今天在启动hadoop集群的时候发现问题。

Problem binding to [hadoop103:8031] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/hadoop/BindException



原因，因为Resourcemanager和namenode不是在同一台机器上，所以不能使用start-all.sh来启动。需要在两台机器上分别使用

start-dfs.sh和 ...]]></description><category></category></item><item><title><![CDATA[ls: 无法访问/opt/module/lib/spark-assembly-*.jar`: 没有那个文件或目录]]></title><link>https://blog.youkuaiyun.com/new_buff_007/article/details/106716981</link><guid>https://blog.youkuaiyun.com/new_buff_007/article/details/106716981</guid><author>new_buff_007</author><pubDate>Fri, 12 Jun 2020 15:47:36 +0800</pubDate><description><![CDATA[在安装hive和整合spark的时候出现了一个这样一个不痛不痒的问题。

ls: 无法访问/opt/module/lib/spark-assembly-*.jar`没有那个文件或目录



原因是因为spark在座升级以后，将大的jar转化为了一个一个小的jar，所以在使用lib/spark-assembly-*.jar`去查找的时候找不到的原因。



修改hive文件。

在hive的安装目录下面，找到bin目录，在bin下面找到hive，编辑hive，修改即可。具体流程如下：


vim /op...]]></description><category></category></item></channel></rss>