<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[duguwanglong的博客]]></title><description><![CDATA[以学促学]]></description><link>https://blog.youkuaiyun.com/duguwanglong</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; duguwanglong]]></copyright><item><title><![CDATA[Milvus：unknown method GetLoadingProgress for service milvus.proto.milvus.MilvusService]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/130079303</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/130079303</guid><author>duguwanglong</author><pubDate>Tue, 11 Apr 2023 11:19:12 +0800</pubDate><description><![CDATA[报错内容显示是GRPC通信问题，但是在查询官方文档和Github issue后并没有找到准确的解决方法，仅有类似报错表明是Milvus版本与Java SDK不匹配造成的。笔者这里的Milvus是2.2版本，而JDK是11.0，但是受工程部署所限，没有选择去改JDK的版本。但是令人惊讶的是，尽管报错造成程序退出，但是内存中已经成功加载了具体的collection，因此选择try catch掉这个异常。以Docker部署好Milvus，在Python脚本中加载collection报错。]]></description><category></category></item><item><title><![CDATA[Jupyterhub找不到GPU问题]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/129537572</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/129537572</guid><author>duguwanglong</author><pubDate>Tue, 14 Mar 2023 19:17:28 +0800</pubDate><description><![CDATA[非 root 用户安装 cuda/cudnn 环境后，通过修改 PATH 和 LD_LIBRARY_PATH 变量，可以使 tensorflow 成功识别调用 GPU。但是，运行 jupyterhub notebook 后发现 GPU 调用失败...]]></description><category></category></item><item><title><![CDATA[CentOS tmux安装配置]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/129537485</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/129537485</guid><author>duguwanglong</author><pubDate>Tue, 14 Mar 2023 19:14:44 +0800</pubDate><description><![CDATA[【代码】CentOS tmux安装配置。]]></description><category></category></item><item><title><![CDATA[Docker命令整理]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/129527361</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/129527361</guid><author>duguwanglong</author><pubDate>Tue, 14 Mar 2023 14:46:01 +0800</pubDate><description><![CDATA[同一仓库源可以有多个TAG版本，代表这个仓库源的不同个版本，我们使用REPOSITORY:TAG来定义不同的镜像。--no-prune：Do not delete untagged parents，保留被删镜像中被打标签的父镜像。--limit：只列出N个镜像，默认25个。如果不指定一个镜像的版本标签，例如只使用ubuntu，docker将默认使用ubuntu:latest镜像。-a：列出本地所有的镜像（含历史映像层）REPOSITORY：表示镜像的仓库源。TAG：镜像的标签版本号。-q：只显示镜像ID。]]></description><category></category></item><item><title><![CDATA[Could not build wheels for pycairo which use PEP 517 and cannot be installed directly]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/122735594</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/122735594</guid><author>duguwanglong</author><pubDate>Fri, 28 Jan 2022 19:34:46 +0800</pubDate><description><![CDATA[1 背景


	CentOS使用igraph时需要依赖ipycairo以及cairocffi，然而安装ipycairo时出现无法编译的问题：Could not build wheels for pycairo which use PEP 517 and cannot be installed directly

	
	
2 解决方法


	CentOS环境下安装cairo-devel，Ubuntu环境下安装libcairo2-dev
	

[root@localhost ~]# yum install ca]]></description><category></category></item><item><title><![CDATA[libstdc++.so.6库环境配置]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/121841645</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/121841645</guid><author>duguwanglong</author><pubDate>Thu, 09 Dec 2021 19:31:02 +0800</pubDate><description><![CDATA[问题描述
导入tensorflow与运行jupyter notebook时发生如下报错


[E 13:55:37.334 NotebookApp] Fail to get yarn configuration. /usr/one_edr/system/nodejs/bin/node: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by /usr/one_edr/system/nodejs/bin/node)
    ]]></description><category></category></item><item><title><![CDATA[Python日常拾遗：函数]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/120395836</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/120395836</guid><author>duguwanglong</author><pubDate>Mon, 20 Sep 2021 21:39:42 +0800</pubDate><description><![CDATA[1 python set()函数

	
		set() 函数创建一个无序不重复元素集，可进行关系测试，删除重复数据
		
		
		set() 还可以计算交集、差集、并集等。
		
		
		set()方法的语法：
		
	


&gt;&gt;&gt; x = set('runoob')
&gt;&gt;&gt; y = set('google')
&gt;&gt;&gt; x, y (set(['b', 'r', 'u', 'o', 'n']), set(['e', 'o', 'g', 'l'])...]]></description><category></category></item><item><title><![CDATA[Intellij配置Spark]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/120394731</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/120394731</guid><author>duguwanglong</author><pubDate>Mon, 20 Sep 2021 20:06:33 +0800</pubDate><description><![CDATA[1配置“Global Libraries”，将Scala SDK作为Global Library
	
	
	2添加依赖的Jars，在“Project Structure”左侧选择“Modules”，单击“Dependencies”，并选择Spark所需要的Jar文件。
	
	
	3选择和导入的所有Jar文件位于“External Libraries”目录下，同时可以检查所有的Jar文件是否正确。
	
...]]></description><category></category></item><item><title><![CDATA[Hadoop原理与机制4-2：YARN调度器、调度算法和资源分配方式]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/120246046</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/120246046</guid><author>duguwanglong</author><pubDate>Sun, 12 Sep 2021 02:03:10 +0800</pubDate><description><![CDATA[1 YARN资源调度器种类
	
  Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。Apache Hadoop的默认调度器是Capacity Schedular，而CDH的默认调度器是Fair Schedular。如下对这三种调度器进行分别的介绍。


	2 FIFO调度器【先入先出调度器】
	

	特点：FIFO调度器按照任务到达的时间排序，先到先服务， 在当前强调多租户和资源利用率的大环境下，FIFO的使用率并不高。
	
	
	优...]]></description><category></category></item><item><title><![CDATA[Hadoop原理与机制4-1：YARN工作机制]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/120245610</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/120245610</guid><author>duguwanglong</author><pubDate>Sun, 12 Sep 2021 00:27:27 +0800</pubDate><description><![CDATA[1 工作机制
	
MapReduce程序提交到客户端所在的节点。
	YARN Runner向ResourceManager申请一个Application。
	RM将该应用程序的资源路径返回给YARN Runner。
	该程序将运行所需资源提交到HDFS上。
	程序资源提交完毕后，申请运行mrAppMaster。
	ResourceManager将用户的请求初始化成一个Task。
	其中一个NodeManager领取到Task任务。
	该NodeManager创建容器Container，并产生MRAppm..]]></description><category></category></item><item><title><![CDATA[Hadoop原理与机制4-0：YARN概述与基础架构]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/120245528</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/120245528</guid><author>duguwanglong</author><pubDate>Sun, 12 Sep 2021 00:21:45 +0800</pubDate><description><![CDATA[1 YARN概述
 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。



2 YARN基础架构
ResouceManager（RM）的主要作用如下
	资源的分配和调度
		启动和监控ApplicationMaster
		监控NodeManager
		处理客户端请求
	
	NodeManager（NM）的主要作用如下：
	
		管理单个结点的资源
		
		
		处理来自Resou...]]></description><category></category></item><item><title><![CDATA[Git常用操作汇总与问题解决]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/112383268</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/112383268</guid><author>duguwanglong</author><pubDate>Fri, 08 Jan 2021 20:37:07 +0800</pubDate><description><![CDATA[1创建版本库并配置git全局属性
	
 针对threatbook的scala迁移工作需要使用git来pull代码，由于git是分布式版本控制系统，所以需要填写用户名和邮箱作为一个标识



$ git init
$ git config --global user.name "user_name"
$ git config --global user.email "user_email"

 --global表示全局属性，所有的git项目都会共有属性


 成功后会在windows...]]></description><category></category></item><item><title><![CDATA[Spark编程模型（三）：Spark算子（4）-Action算子]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/108268489</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/108268489</guid><author>duguwanglong</author><pubDate>Thu, 27 Aug 2020 20:56:16 +0800</pubDate><description><![CDATA[5-3.1 rdd.reduce

通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据


&gt;&gt;&gt; from operator import add 
&gt;&gt;&gt; sc.parallelize([1, 2, 3, 4, 5]).reduce(add) 
15 
&gt;&gt;&gt; sc.parallelize((2 for _ in range(10))).map(lambda x: 1).cache().reduce(add) 
10 
&gt]]></description><category></category></item><item><title><![CDATA[Spark编程模型（三）：Spark算子（3）-Key-Value型(键值对)算子]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/108268408</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/108268408</guid><author>duguwanglong</author><pubDate>Thu, 27 Aug 2020 20:49:49 +0800</pubDate><description><![CDATA[5-2.1 rdd.partitionBy

partitionBy(numPartitions,partitionFunc=&lt;function portable_hash&gt;)

作用：对pairRDD进行分区操作，如果原有的partitionRDD和现有的partitionRDD是一致的话就不进行分区，否则会生成shuffleRDD，即会产生shuffle过程。


&gt;&gt;&gt; pairs = sc.parallelize([1, 2, 3, 4, 2, 4, 1]).map..]]></description><category></category></item><item><title><![CDATA[Spark编程模型（三）：Spark算子（2）-双Value型Transformation算子]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/108268372</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/108268372</guid><author>duguwanglong</author><pubDate>Thu, 27 Aug 2020 20:45:31 +0800</pubDate><description><![CDATA[RDD支持多个Value来进行转换操作，即RDD支持多RDD的计算

5-1.1 rdd.union(other RDD) 并集运算

返回RDD与其他RDD的结合


&gt;&gt;&gt; rdd = sc.parallelize([1, 1, 2, 3]) 
&gt;&gt;&gt; rdd.union(rdd).collect() 
[1, 1, 2, 3, 1, 1, 2, 3]

5-1.2 rdd.subtract(other RDD) 差集运算

返回自身不包括其他RDD的集合


&gt]]></description><category></category></item><item><title><![CDATA[Spark编程模型（三）：Spark算子（1）-单值型Transformation算子]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/108268127</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/108268127</guid><author>duguwanglong</author><pubDate>Thu, 27 Aug 2020 20:42:06 +0800</pubDate><description><![CDATA[5.1 rdd.map

map(f,preservesPartitioning=False)

作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成


&gt;&gt;&gt; rdd = sc.parallelize(["b", "a", "c"]) 
&gt;&gt;&gt; sorted(rdd.map(lambda x: (x, 1)).collect())
[('a', 1), ('b', 1), ('c', 1)]



5.2 rdd.mapPartitions..]]></description><category></category></item><item><title><![CDATA[ImportError: libffi.so.7: cannot open shared object file: No such file or directory解决方法]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/107662421</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/107662421</guid><author>duguwanglong</author><pubDate>Wed, 29 Jul 2020 14:08:56 +0800</pubDate><description><![CDATA[本机环境Centos7，Arch Linux方法与本文提出解决方案不同。

在linux中强制将Anaconda进行更新或者对Python强制更新时，


# conda update --force conda

使得原机器的python3.6.4版本升级成最新的Anaconda附带python3.6.10版本，出现Importer break的情况，如下所示：




ImportError: libffi.so.7: cannot open shared object file: No such fi]]></description><category></category></item><item><title><![CDATA[Centos 7 安装HBase Thrift步骤]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/107194437</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/107194437</guid><author>duguwanglong</author><pubDate>Wed, 08 Jul 2020 00:36:40 +0800</pubDate><description><![CDATA[一、官网下载Thrift（最好是官方最新版本）

http://www.apache.org/dyn/closer.cgi?path=/thrift/0.13.0/thrift-0.13.0.tar.gz

二、安装Thrift所需libevent依赖


yum -y install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel open]]></description><category></category></item><item><title><![CDATA[TF-IDF（term frequency-inverse document frequency，词频-逆文档频率）计算及Python部分代码]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/107050391</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/107050391</guid><author>duguwanglong</author><pubDate>Tue, 30 Jun 2020 21:00:34 +0800</pubDate><description><![CDATA[一、基本定义及公式

TF-IDF用来评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率反比下降。如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现（即代表它有明显的区分度），则认为此词或者短语具有很好的类别区分能力，适合分类

 一些基础概念：文章画像是描述每篇文章以给定一些词。主要是由主题词与关键词组成，两者最大的区别就是主题词经过了规范化处理。

  关键词：文章中一些词权重...]]></description><category></category></item><item><title><![CDATA[解决Hive: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found]]></title><link>https://blog.youkuaiyun.com/duguwanglong/article/details/106593761</link><guid>https://blog.youkuaiyun.com/duguwanglong/article/details/106593761</guid><author>duguwanglong</author><pubDate>Sat, 06 Jun 2020 21:56:39 +0800</pubDate><description><![CDATA[在启动Hive时，创建一个表并对其添加一个JSON格式匹配


ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe':

问题出现原因如下图的问题：



出现该问题的原因主要在于Hive在初始启动时并没有成功加载用于解析JSON格式的JAR包，而出现的ClassNotFoundException中的类就是此表用到的JsonSerDe，故由此可以得到解决该问题的主要思路，如下有两种解决方法：

1. 临时解决

找到 hive-hcatalo.]]></description><category></category></item></channel></rss>