- 博客(112)
- 收藏
- 关注
RSS订阅原创 多维矩阵乘积运算和对应的广播机制
后两维[4,4]理解为利用a中shape[4,5]的矩阵乘b中shape[5,4]的矩阵得到。得到的乘积结果前面的维度为[2,1]的原因是：a前面的维度为[2,1]，但b只有[1,1]，所以看成b进行了广播得到，但前面的维度满足用广播机制的前提就是有一个维度为1。比如a：shape=[2,1,4,5]，b：shape=[1,1,5,4]相乘，输出的结果中，前两维保留的是[2,1]，最终结果shape=[2,1,4,4]遵循的原则是： 两张量前两维度应该是相同的，如果不同则其中一张量维度为1。
2024-07-27 15:56:01
323
原创 nn.Embedding 根据索引生成的向量有权重吗
3.embedding_layer方法传入分别torch.LongTensor([4])，torch.LongTensor([5])，(torch.LongTensor([6])生成的结果就是根据索引值去weight里取值。嵌入参数不参加更新这说法主要是来自李宏毅讲的注意力机制那块的误解，说是除了wq，wk，wv参数参与训练，没有别的参数了。3.一开始根据各种信息判断nn.Embedding的内部机制是，或许有一个随机参数，乘以输入单词索引，得到嵌入向量，并且这个参数不参加更新，潜意识是参数不保存。
2024-06-23 18:46:18
877
原创 bert拿特征last_hidden_state中的第0个词来进行分类如何理解
看bert中文文本分类任务，发现训练输出结果向量仅使用了第一个token(就是一句话中的第一个位置)的向量，很明显，这不对。
2024-04-26 11:43:50
351
原创 Windows中解决execjs的乱码问题
因为python中连接那个字符的东西在subprocess里面的Popen类.我们找到其源文件，将encoding=None（没设置，默认为GBK）,改为encoding='utf-8’即可，我的在763行。运行时终端默认使用GBK编码，导致需要使用无法读取utf-8的字符集。1.硬改：以前的解决方法，不推荐，尽量不去改源文件里的东西。属性错误：“NoneType”对象没有属性“替换”Windows中解决execjs的乱码问题。一定注意：在引入execjs之前。1.轻则变乱码，如下。
2023-11-03 09:57:28
420
原创 Python3.6下mysqlclient，aiopika，cryptography的安装和使用
安装特定版本：mysqlclient==1.3.12。安装特定版本即可：aio-pika==6.8.0。还有一种是动态链接库问题，根据报错搜下解决方案。
2023-07-05 15:53:11
760
原创 自增主键不连续
1.insert语句会分配连续id,但是没有入进去的也会分配id,致使自增主键不连续。如ignore, INSERT …ON DUPLICATE KEY UPDATE。2.Simple inserts 批量入库的时候，不论顺序，入进去的数据id从自增id开始连续，没有入进去的数据随后占据自增id。
2023-03-02 11:45:17
603
原创 linux下doc转docx
linux下doc转docxyum install libreoffice-writer安装 libreofficeyum install libreoffice-headlessyum install libreoffice-writersoffice --helpeg:soffice --headless --convert-to docx /www/asd.docdocx 目标类型/www/asd.doc 文件路径默认转换完成的文件会存在 /root/asd.docxeg:指定目录
2022-11-09 14:15:00
983
原创 linux下doc转docx
linux下doc转docxyum install libreoffice-writer安装 libreofficeyum install libreoffice-headlessyum install libreoffice-writersoffice --helpeg:soffice --headless --convert-to docx /www/asd.docdocx 目标类型/www/asd.doc 文件路径默认转换完成的文件会存在 /root/asd.docxeg:指定目录
2022-11-09 09:25:12
1493
1
原创 AttributeError: module ‘ctypes‘ has no attribute ‘wintypes‘
用pycharm debug时，import ctypes 也可正常运行，但run的时候就会报AttributeError: module ‘ctypes’ has no attribute ‘wintypes’。run时应该这么导入import ctypes.wintypes就ok了。
2022-09-29 09:41:29
2607
1
原创 {ValueError}Number of classes, 1, does not match size of target_names, 2. Tr
mysql自增ID跳跃增长
2022-07-26 14:08:37
2680
原创 hive建表关键词处理
FAILED: ParseException line 3:3 cannot recognize input near ‘=’ ‘0’ ‘(’ in column type-bash: exchange: command not foundFAILED: ParseException line 4:1 cannot recognize input near ‘BIGINT’ ‘comment’ ‘’‘’ in column name or constraint解决方案：关键词加``，同时需要加\转义
2022-05-19 14:24:33
2958
原创 通过pyhive连接hive需要的Python包
1.通过pyhive连接hive需要的Python包：3.1 pyhive3.2 thrift3.3 sasl共需要三个包2.连接Hivefrom pyhive import hiveimport pandas as pdcnn=hive.Connection(host=‘localhost’, port=‘10000’, username=‘hive’)cursor=cnn.cursor()cursor.execute(“show databases”)data=pd.DataFra
2022-05-17 15:04:00
907
原创 ValueError: signal only works in main thread
ValueError: signal only works in main thread - Django - mod_wsgipython manage.py runserver --nothreading --noreload
2022-01-10 10:40:49
1112
原创 解决PyInstaller打包selenium脚本时弹出driver终端窗口
找到service.pyC:\Users\XXX\AppData\Roaming\Python\Python39\site-packages\selenium\webdriver\common\service.py添加creationflags在第77行添加:creationflags=134217728使用PyInstaller打包pyinstaller -F -w -i xxx.ico xxx.py
2022-01-05 16:00:38
8118
原创 pyinstaller加-w参数，打包程序运行报错
pyinstaller加-w参数，打包程序运行报错原因：因为输出信息需要cmd窗口，-w后没有窗口，输出就报错了了。解决：取消输出就可以了import sys, os关闭print的输出sys.stdout = open(os.devnull, ‘w’)
2022-01-05 11:19:03
3053
1
原创 使用Python的pyinstaller打包程序出现failed to create process的问题
可能使用的是pyinstaller.exe打包造成。用python pyinstaller-script.py 试试
2021-12-16 19:13:54
697
原创 chrome安装和chromedriver下载
chrome安装和chromedriver下载chrome下载安装yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
2021-12-16 16:50:01
773
原创 linux git 不用重复输密码
问题： 使用 git clone https://XXX 克隆远端库代码。 在Windows下，输入一次密码后会自动记住，但是在Linux中使用git pull/push出现了每次都要输入密码的窗口。 解决办法： 在命令行执行： git config --global credential.helper store 再次输入一次...
2021-12-16 15:21:09
1055
原创 python字典，列表嵌套的排序
字典的排序1.按照字典的键值(value)排序rdict = {‘业务咨询’:1,‘需求收集’:3,‘资源申请’:0,‘故障申报’:0,‘投诉建议’:8}res_dict = sorted(rdict.items(),key=lambda d:d[1], reverse=True)print(res_dict)1232.按照字典的键名(key)排序rdict = {‘业务咨询’:1,‘需求收集’:3,‘资源申请’:0,‘故障申报’:0,‘投诉建议’:8}res_dict = sorted
2021-12-16 09:41:14
3641
原创 cannot set options after executing query
cannot set options after executing query1.问题我操作mongodb进行批量插入时候遇到的报错：复制代码cannot set options after executing query我执行的代码片段如下：复制代码T_data = collection[‘xxx’].find({“ID”:{$gt:last_num}},{“title”:1,“content”:1})arr =[data for data in T_data[start_num:sta
2021-12-13 11:34:22
971
原创 Paramiko模块实现SSH密钥登陆
#!/usr/bin/python#-- coding:utf-8 --author = “Replaceroot”import paramikoprivate_key = paramiko.RSAKey.from_private_key_file(‘id_rsa102.txt’)ssh = paramiko.SSHClient()ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())ssh.connect(hostname = ‘1
2021-12-07 10:37:27
1459
原创 Python 定时任务框架 APScheduler -add_job潜规则
add_job 参数 ‘interval’ replace_existing=True重复调用会重新开始计时；如果执行间隔大于更新时间间隔，则此job不会被调度。调度两个任务，只执行其中一个，卡在断点处时，两个却都运行。3s更新一次任务，更新了就重新计时，结果任务大于3s才执行,导致任务不能执行；所以不能一直更新任务...
2021-12-06 17:58:43
2717
原创 python装包报错 AttributeError: ‘str‘ object has no attribute ‘decode‘
原因：修改了D:\tools\Python3.6\lib\subprocess.py文件修改编码格式为utf-8，结果装包装不了。改编码的出发点是python 使用execjs执行接js解密时报错execjs UnicodeDecodeError: ‘gbk’ codec can’t decode byte装包报错 AttributeError: ‘str’ object has no attribute ‘decode’https://blog.youkuaiyun.com/weixin_42081389
2021-12-06 16:43:55
607
原创 解决pymysql查不到最新数据的办法
这里写自定义目录标题项目场景：问题描述：原因分析：解决方案：参考资料：项目场景：python3.6,windows,mysql问题描述：在本地远程连接mysql数据库，用的是pymysql，我本地创建了两个连接，分别是pymysql的，另一个是用Popen创建的命令行的客户端，我先创建的pymysql的客户端进行查询，然后利用Popen的客户端进行插入数据，然后在用之前创建的pymysql的客户端进行数据的查询，然后我发现，查询到的结果为空，但是我手动查询能查得到，以为sql写错了，拿程序
2021-12-06 16:11:48
1432
原创 sqlite3.OperationalError: database is locked
python 读 chrome cookiesqlite3.OperationalError: database is locked是因为chrome在写入;关掉chrome 就正常了。解决办法可以把源文件复制一份，读复制的文件
2021-12-02 15:47:46
1182
原创 队列数据库各种条件下速度
rabbitmq外网：qos:1,出队列任何操作不做，每秒最快33个;qos:10 230个；qos:100 850;内网：qos:1, 1秒1200qos:10， 1秒1200qos:100， 1秒1200；此基础上入库mysql1秒入库550 条入库linux1秒入库1176 条 表里不存在 pymysql1秒入库869 条 表里存在 pymysql1秒入库1176 条 表里不存在 aiomysql1秒入库833 条 表里存在 a
2021-10-27 11:52:51
150
原创 Python fcntl 模块
因为 Python 缺少对应的 fcntl 模块，这个模块是 Python 自带的，但 Windows 好像没有。
2021-10-11 17:54:13
1387
原创 数据库的字典转换成insert语句
数据库的字典转换成insert语句ls = [(k, v) for k, v in dict_mailbox_info.items() if v is not None]keys = ','.join([i[0] for i in ls])values = ','.join(repr(i[1]) for i in ls)sql = "insert into mailbox (" + keys + ") values (" + values + ")"
2021-09-28 17:50:47
125
原创 Linux查看进程运行的完整路径方法
Linux查看进程运行的完整路径方法通过ps及top命令查看进程信息时，只能查到相对路径，查不到的进程的详细信息，如绝对路径等。这时，我们需要通过以下的方法来查看进程的详细信息：Linux在启动一个进程时，系统会在/proc下创建一个以PID命名的文件夹，在该文件夹下会有我们的进程的信息，其中包括一个名为exe的文件即记录了绝对路径，通过ll或ls –l命令即可查看。ll /proc/PIDcwd符号链接的是进程运行目录；exe符号连接就是执行程序的绝对路径；cmdline就是程序运行时输入的命
2021-08-16 11:12:49
3042
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人