- 博客(114)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 torch numpy sort排序出现索引顺序不正常
torch 调用numpy ,numpy 的sort排序值的顺序没发现问题，但是排序的索引argsort()是有明显问题。
2025-03-13 17:33:21
116
原创 国内源安装pytorch gpu版本（cuda 11.1）
官网源3个G下载要好几个小时，而且国内源没有11.1的，这里可以用11.3的。官网安装完全可以用，只是有点慢。
2025-01-09 21:38:12
536
原创 Hive的map/struct/array怎么通过insert插入数据
hive map/struct/array的insert 插入手工数据的方法
2024-11-15 15:07:29
394
1
原创 python嵌套引号问题
三层引号比较复杂，最好内部两层引号使用不同的引号，如单引号和双引号，不转义的引号区分层。注意python对引号的处理，双引号里面只有单引号，则不变，有双引号则变为单引号。
2024-08-15 18:11:02
359
原创 HIVE4.0.0的10000端口启动不起来的一种情况
原生态部署HIVE4.0.0启动不起来10000端口，也没找到日志文件的位置，后来才知道日志文件默认在/tmp/<hostname>/路径下面，查看日志以为是Tez没安装的问题，我这儿要实现hive on spark，是不是该安装spark然后启动起来再执行hiveserver2。一顿操作后，发现还是不行。再细看日志，hive-site.xml几个配置项没改绝对路径。修改后发现10000端口就起来了，测试发现跟Spark无关。修改两个位置的值为绝对路径就可以了。
2024-08-06 09:31:51
540
原创 linux远程执行命令后中断联系使远程机独立运行
正常逻辑上通过网络远程在另外一台机器执行一个命令后，就跟本机没有关系了，但是事实上并不是这样的，当执行ssh 后，很多时候也会出现远程反馈信息的情况，换句话就是可以通过ssh实现远程执行调用。linux 中bg fg kill wait disown suspend基本是一套的命令，其中的disown 命令是为了消除当前tty的用户建立的shell进程与执行命令的联系，但是后台依然能够查看执行的线程，像是换到后台执行。这个时候有个疑问就是，断掉客户机的进程，会不会中断远程机的命令?
2024-02-02 10:23:28
538
原创 C语言连接zookeeper客户端（不能完全参考官网教程）
4.需要准备zookeeper源码，放在linux端，进入C客户端，利用C编译安装在linux端，找到Include和lib复制到windows项目；3.必须要安装好pthread.h的环境，不管是windows端（linux 可视化端开发就不管这个）还是linux端；5.项目的链接器的命令行需要添加-pthread，不然会报错。1.通过VStudio 远程连接linux的开发环境；2.g++环境，通过MingW安装；
2023-12-17 18:40:57
608
原创 python的sqlalchemy.ORM映射增删改查快捷使用（比官网容易懂）
ORM的工具有好几个，网上推荐了ponyORM和sqlalchemy.ORM，sqlalchemy没有ORM也能操作的数据库，但是只用ORM也行，多种方法，选择使用ORM。
2023-07-31 16:15:03
279
原创 ext_cm解决centos7 mvn clean install无法解决报错问题的一种方法
方法在/etc/sysconfig/network-scripts/ifcfg-xxx更改dns1=114.114.114.114为其他可用服务器ip比如阿里的223.5.5.5或者添加可用服务Ip
2022-04-19 16:44:09
640
原创 spark集群使用相关
spark standalone集群部署只需ssh+jdk+spark-with-hadoop+[zookeeper(HA)]spark on yarn集群部署需要ssh+jdk+hadoop+yarn+spark+[zookeeper(HA)]spark-shell --master yarn查看集群情况http://:4040/http://:8080/集群内测试：bin/spark-submit --class org.apache.spark.examples.JavaSparkP
2022-03-31 22:11:03
1691
原创 JS立体视觉投影
啰嗦几句 前端视觉呈现立体感，并不是学的高数立体几何公式那样，开始我也一直以为立体几何就能画出，立体图，其实也没错。但是呢，不转动就看不出效果，转动后的立体图在2维平面怎么体现的呢。这还要从web端的JS说起，哈哈，之前就想实现转动的球体，Jquery插件一般都有，别人写的，曾经研究过，和想的不一样，没看懂，因为有一个 特别大的z轴值。这两天从知乎看到有人解说了一下，差点没看明白，琢磨了一下，想通了这里记录下来和你们分享。参考了：https://zhuanlan.zhihu.com/p/3666464
2022-01-26 19:06:21
1347
原创 linux中gcc的incluce默认路径设置
c或者C++编程过程中，include 的头文件在环境中的默认路径中，没有则要指定头环境变量export C_INCLUDE_PATH=c用的路径export CPLUS_INCLUDE_PATH= c++用的路径、export OBJC_INCLUDE_PATH=.so文件export LD_LIBRAY_PATH=、/etc/ld.so.conf && /sbin/ldconfig.a文件环境变量export LIBRARY_PATH=动态指定inlude路径
2021-12-27 19:01:39
1299
原创 刚安装的centos8.5 Failed to set locale, defaulting to C.UTF-8
想不通，都202几年了，还tmd有编码问题出现，这系统架构师吃屎了吗。解决办法见下面参考 https://www.cnblogs.com/h2285409/p/14745010.html需要安装下面的包，英文的也需要locale -a 命令，查看目前系统已安装的语言包安装中文语言包，命令yum install glibc-langpack-zh安装英文语言包，命令 dnf install glibc-langpack-en...
2021-12-22 20:32:23
1101
原创 HA hadoop部署（20211208五节点集群测试跑通版,附带ha-hbase）
官网文档：https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html直接参考：https://blog.youkuaiyun.com/aubekpan/article/details/87213303参考的博客要注意的是，hadoop好像不能直接用root用户组；用core-site.xml 和mapred-site.xml 有snappy压缩的 配置项可能会报出错（na
2021-12-08 18:45:50
1235
原创 hugegraph-hubble no gremlin script supplied
吐槽百度的hugegraph-hubble官网说得一点都不清楚，还给你搞马赛克，然后，下面什么都不给你说明，8011是什么端口不说明，id是什么也不说明，还以为能自定义，搞了好几天，不是no gremlin script supplied，就是127.0.0.1什么什么的。还以为是自己没看懂官网，看到十万匹草泥马在草原解决方案参考https://github.com/hugegraph/hugegraph-hubble/issues/293你们看这个是不是很清晰，比官网明白多了，是不是！.
2021-12-02 10:09:34
471
原创 Jpype 导入文件夹的所有jar包
唠叨Jpype是用来python调用Java类的东西，如有python版，谁也不想用Java,没有python版，只有java版本，就没得办法，毕竟你用了别人写的模块，用的版本又没有对应的python版本，又不想语言换来换去、版本换来换去，语言连接模块Jpype就用上了。安装名是Jpype1使用Jpypeimport jpypefrom time import *# 获取虚拟机路径jvmPath = jpype.getDefaultJVMPath()# 启动虚拟机，相互引用，spark需
2021-11-18 14:46:52
2118
转载 Python3.6安装pip.whl
内嵌版本没pip参考引用https://www.cnblogs.com/lizm166/p/8134245.htmlwhl只有windows能用.\python-3.6.8-embed-amd64\python.exe pip-21.3.1-py3-none-any.whl/pip install pip-21.3.1-py3-none-any.whl
2021-11-10 00:35:02
373
原创 Saving key “/home/me/.ssh/id_rsa“ failed: No such file or directory
情况写脚本执行ssh自动安装部署，sudo 执行文件时，出现这个错误。这个问题卡了好几天，一点点排错，发现代码并没错，交互界面执行没用sudo安装sshd是没错的。是执行的权限问题。解决方案sudo 执行就是root用户，sshd有自己的用户名，创建文件夹的时候不能在root的情况下创建，于是方法一，不用sudo执行,直接执行脚本方法二，不得不用sudo的情况，先创建“~/.ssh”目录，然后改用户名和改权限，~/.ssh 权限是700，...
2021-11-10 00:29:21
6090
1
原创 win10不用虚拟机部署伪分布式集群(服务部署+客户端访问)
其实吧，花太多时间在环境的部署上不值得，环境部署是运维的事，所以在没环境 的时候自己测试用 伪分布就可以了。小白开工1.打开win10 （确保连接了互联网）,2.鼠标左键单机开始按钮， 找到Microsoft Store，点击它，3.会自动弹出它的窗口，找到右上角的搜索，4.敲键盘，切换到英文输入法，输入"ubuntu",然后点击回车，等待片刻，出现下面这个界面；5.然后选择18.04那个版本吧，其实三个版本都可以，我选择的18.04版本6.点“18.04LTS”的图标，进入这个应用的详细说
2021-11-03 13:57:02
2036
原创 pyspark Exception: Java gateway process exited before sending its port number（2021年10月29日版）
前奏为了实现一个spark的客户端访问服务端的python访问，折腾了好几天，现在终于解决了，查了网上的很多人写的文章，都没解决，跟着他们说的改，也没解决问题。有篇文章提点的很好就是 看spark的错误日志，看日志报错的具体问题。 Java gateway process exited before sending its port number这个问题有很多种情况引起，看日志是根据解决途径。下面就介绍windows pyspark连接linux spark服务的注意问题。这里先感谢这个连接的中的大牛回答
2021-10-29 14:44:30
7170
原创 局域网其他电脑机器访问WSL2子系统服务
映射netsh interface portproxy add v4tov4 listenaddress=10.8.16.152 listenport=2181 connectaddress=172.26.59.55 connectport=2181查看netsh interface portproxy show all删除netsh interface portproxy delete v4tov4 listenaddress=10.8.16.152 listenport=2181访问NAT
2021-10-22 10:07:29
1663
原创 Could not handshake: Error in the certificate verification.
说明关于这个ubuntu换源这个问题，百度了下也是来自csdn的答案，不幸的是我这里使用csdn但是吐槽资源要积分才能下，我也是无语。所以对于这个问题给个官方的下载地址解决方案这个问题是ubuntu换的源用了https，https需要处理安全证书，参考这篇文章说是要安装ca-certificates，他提供的是csdn的资源，下载不了。官网地址是：https://launchpad.net/ubuntu/bionic/amd64/ca-certificates/20210119~18.04.2安
2021-10-08 22:22:20
3529
原创 ImportError: cannot import name ‘LayerNormalization‘ from ‘keras
说明版本升级，以前的改变了方式解决方案将from keras.layers.BatchNormalization import BatchNormalization改为from keras.layers.normalization.batch_normalization_v1 import BatchNormalization
2021-09-12 23:26:34
6040
原创 不安装VS怎么弄vc++环境？
说到VS就是众人弃百人厌，但是又不得不用的工具，谁让windows这么成熟。很多时候我们安装一个软件，或者软件包(特别是部署开发环境)动不动就是要vc++，最可恶的版本不对还不能用。没办法，软件或者安装包，别人开发的，有本事自己开发呀。当然可以，只可惜人生苦短，想用别人的包，别人制定的规则，咱们得遵守。在win上开发会遇到三个短语:VC++ 14.0/12.0/10.0 redistributeVC++ Build toolswindows SDK三个什么作用我这里不说明了，这里只是记录一下这三个
2021-09-03 09:19:47
1192
原创 ubuntu安装软件出现依赖问题
这是系统版本和软件源版本匹配问题源会自动匹配上你安装软件和系统的版本出现依赖问题，方案就是换apt源，注意系统版本的对应。系统版本代号，20.04代号就是，focal, 18.04代号是disco
2021-07-23 16:31:27
581
原创 C++指针,函数,数组,typedef正确理解
指针函数，意为函数反回值是指针。例如，int* func()函数指针，意为函数名是指针。例如，int (*func)()数组指针，意为数组名为指针。例如，int (*arr)[]指针数组，意为数组元素为指针。例如，int *arr[]typedef，意为声明返回类型为最左边的类型的，属性或者方法，注意，不能按typedef tyname newtyname 去理解typedef的声明，不然会出现，一个简单的int为什么明名为这么复杂的函数类型的理解，切记切记！必然是，typedef 返回类型 含有
2021-07-21 08:57:57
157
原创 linux 多进程并行似乎不能用multiprocessing的Pool
启文 要处理视频数据，提取帧特征，想用并行，在win10环境下，python multiprocessing似乎也挺好用的，当然感觉也挺慢的，获取帧列表转换为灰图，1272帧视频用了9秒多的样子，还好吧，笔记本i7-7700HQ的2.8GHz处理器，并行很久似乎也出不了结果。 想着，linux服务器上的cpu核多48核2.5GHz应该有8个CPU每个CPU有6核，应该处理很快。部署到linux服务器上后。等了一个小时，两个小时,…，等不下去了断了吧。PP模块猜想Linux 用Multiproce
2021-06-05 23:36:15
608
原创 解决Hyper-V虚拟机监控程序未运行
吐槽 多年以后，又用到了虚拟机，很久以前就对自己说不用docker了，没想到又被Docker坑了，这里就说虚拟机吧，Docker就不说了，强烈建议放弃它，二次坑被坑。弃用Hyper-V 这里用的Win10 Hyper-V，这是虚拟机，和VBox、VMware同类产品。用Hyper-V的好处是，他有个WSL(win10 内核版本18xxx以上才支持WSL2)，可以在应用商店下载Ubuntu等linux应用。 win10安装的Linux和Windows公用一个环境，很神奇，你们可以尝试用一下。后来
2021-05-27 19:55:06
18753
原创 linux终端左侧只有一个#号，键盘输入显示反常
问题source无这命令，左右键显示的其他字符，显示反常，没有vim，很多东西都不正常？原因好像是没调用bash解决方案直接输入bash回车，显示用户名和机器名就能用了
2021-05-26 09:36:01
876
原创 Hbase 不用hadoop独立部署(只能是单机)
1 java环境，必须用，echo $JAVA_HOME 要有东西出来2 直接解压HBase包，千万别去配置，不要动里面配置文件，进入bin目录，./start-hbase.sh就可以了。然后，hbase shell再输入，status查看master是active状态就可以了*说明，*网上很多独立部署，改了配置几天出问题，这个方法也是看到某人也是这么写的。增加正确方法的权重，我这里又写一遍。...
2021-05-20 08:59:47
1298
2
原创 C/C++编程笔记
1 递归实现全排列（21/4/6）//#include <string.h> 如果是.cpp则需要取消这行注释#include<stdio.h>void rankRuc(char perm[],int n,int index) //index是字符换到字符集开始的那个字符索引，n是字符的总个数{ if(index==n) //叶节点输出 { printf("%2d:",k++); for(int i=0;i<n;i++)
2021-04-06 23:47:33
220
转载 怎么解决C语言switch case getchar()或者scanf()无法正常运行？
源自:https://www.runoob.com/cprogramming/c-exercise-example31.html关键是switch关键词上面一个getchar();至于为啥要添加这个才能正常运行，尚且不知道原因。#include<stdio.h> int main(){ char i,j; printf("请输入第一个字母:\n"); scanf("%c",&i); getchar();//scanf("%c",&j);的
2021-04-06 16:41:25
986
3
windows_x64_py3.6版本的pyemd模块
2020-09-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人