Joyyang_c-优快云博客

原创彻底解决：AttributeError：type object IOLoop has no attribute initialized

IOLoop没有初始化成是因为 tornado 的版本功过高导致的，网上都说要不更新tornado 要不降低版本到4.5。去官网查看后找到源码：import timeimport warningstry: import tornadotornado from tornado.log import gen_log from tornado import ioloop if not hasattr(ioloop.IOLoop, 'configurable_de

2020-09-09 11:43:08 15767 26

原创 impala insert overwrite权限问题

报错内容：ERROR: AnalysisException: Unable to INSERT into target table (bt.user_action_type) because Impala does not have WRITE access to at least one HDFS path: hdfs://m01:8020/warehouse/bt/user_action_type/dt=20200607/operator=LT/action_type=order解决办法：

2020-06-16 11:50:01 1858

原创 subprocess.Popen()访问拒绝解决办法

代码：def fullVideoProc(filename, output_dir, sec_idx, end_idx, allFrames = True, framesPerSec = 1): if allFrames == True: # 这个命令行就是上面介绍的 command = [ffmpeg_path,"-y","-i",filename,...

2020-03-26 18:22:44 3437

原创 tensorflow_vgg中vgg16.npy的下载

最近在搞人脸识别，特征提取的时候，需要用到tensorflow_vgg的源码，但是运行代码报错：FileNotFoundError: [Errno 2] No such file or directory: 'E:\\PyCharmWorkSpace\\Face_Recognizer\\tensorflow_vgg\\vgg16.npy'要下载vgg16.npy的资源，官网下载贼慢，附上...

2020-03-20 16:21:18 1617 3

原创 ValueError: Object arrays cannot be loaded when allow_pickle=False解决办法

本人报错代码：使用numpy的函数 numpy.load() 加载数据时报错：ValueError: Object arrays cannot be loaded when allow_pickle=False报错原因：自Numpy 1.16.3版本发行之后，函数 numpy.load() 和 numpy.lib.format.read_array() 采用allow_p...

2020-03-20 14:47:21 2778

原创 module 'tensorflow' has no attribute 'GPUOptions'解决办法

module 'tensorflow' has no attribute 'GPUOptions'解决办法根据官方通讯ensorflow 2.x与1.x相比发生了重大变化。tf.contrib将从核心TensorFlow信息库和构建过程中删除。TensorFlow的contrib模块已经超出了在单个存储库中可以维护和支持的范围。较大的项目最好单独维护，而较小的扩展将逐步扩展到TensorF...

2020-03-20 14:28:26 22989 7

原创 dlib、facenet和VGG16三种人脸特征提取所需要的数据和模型（shape_predictor_68_face_landmarks.dat；shape_predictor_5_face）

dlib官网（http://dlib.net/files/）下载人脸特征提取器贼慢！！对于国内网上优快云下载这些所需的.dat文件和数据包收币，决定搞个所需的压缩文件分享给大家！！百度网盘：https://pan.baidu.com/s/1sZDsLBqrU1Yv5hnx0_jOhQ提取码：4o41内含有的文件包括：供大家共同学习和开发！！...

2020-03-19 11:51:45 1873 2

原创安装dlib的时候print(dlib.DLIB_USE_CUDA)输出为‘False’解决办法！！！

1.首先正常安装自己的tensorflow-gpu，CUDA，cuDNN，python，tensorflow（注意版本兼容问题）2.下载CMake，解压缩3.用VIS2019打开dlib-master的安装目录并且开始编辑json文件，开启USE_AVX_INSTRUCTIONS，失效USE_SSE2_INSTRUCTIONS 4.进入dlib的安装目录#不用像网上...

2020-03-17 12:18:40 4506 5

原创 AttributeError: 'module' object has no attribute 'get_frontal_face_detector'

AttributeError: 'module' object has no attribute 'get_frontal_face_detector'报错原因：命名为的文件将遮盖dlib具有所需功能的库，因为它是导入的而不是库，它是层次结构中的第一位解决办法：找到dlib的安装目录，本人的安装目录是D:\Anaconda3\Lib\site-packages\dlib-19....

2020-03-17 11:59:24 1669

原创 AttributeError: module 'tensorflow' has no attribute 'gfile'

tensorflow API中gfile是获取文本操作句柄，类似于python提供的文本操作open()函数，filename是要打开的文件名，mode是以何种方式去读写，将会返回一个文本操作句柄报错原因：gfile在tf中受版本影响解决办法：# Tensorflow 2.0 gfile 文件操作Tensorflow 2.0在10月1号已经正式发布,也早就支持...

2020-03-17 11:49:14 24665 6

原创机器学习相关--PCA主成分分析

特征降维的方法为什么要降维？通常处理的数据是多维的，算法的时间复杂度跟维数成指数级增加。维数达上千万维，称为维数灾难，往往就需要进行降维处理。降维的作用？数据降维： 1.使数据集更容易使用；2.降低算法的计算开销；3.去除噪声；4.减轻过拟合；5.易于获取有价值的信息.数据降维方法众多，需根据特定问题选用合适的数据降维方法降维处理的相关问题？考虑会丢失信息吗？考虑属性之间的相关性？降维的同时减少...

2018-07-08 15:06:32 693

原创机器学习相关--协同过滤

协同过滤核心思想要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。换句话说，就是借鉴和你相关人群的观点来进行推荐，很好理解。协同过滤实现步骤：收集数...

2018-07-08 14:05:44 358

转载 saprk任务运行的各种模式及流程

saprk任务运行的各种模式及流程 FI 集群中，支持的 Spark 的任务运行模式有 local，yarn-client,yarn-cluster 等，Spark 任务运行是分布式的，由任务的 Driver 驱动任务的运行，由 Executor 来执行具体的任务。大多情况下，Executor 中执行的代码逻辑需要由用户编写。也就是说 Executor 进程运行的命令由用户编写，相当...

2018-05-02 13:46:22 572