EXP-00091: Exporting questionable statistics.问题解决！

最新推荐文章于 2021-04-06 15:45:47 发布
最新推荐文章于 2021-04-06 15:45:47 发布
阅读量115 收藏
点赞数
文章标签： 数据库
本文解决了Oracle导出统计信息时出现的可疑统计问题。主要原因是数据库服务器与客户端的字符集设置不一致导致。通过调整Oracle用户的环境变量，使其与数据库服务器字符集保持一致来解决该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

从某帖子搬过来的：

Cause: Export was able to export statistics, but the statistics may not be useable. The statistics are questionable because one or more of the following happened during export: a row error occurred, client character set or NCHARSET does not match with the server, a query clause was specified on export, only certain partitions or subpartitions were exported, or a fatal error occurred while processing a table.

Action: To export non-questionable statistics, change the client character set or NCHARSET to match the server, export with no query clause, or export complete tables. If desired, import parameters can be supplied so that only non-questionable statistics will be imported, and all questionable statistics will be recalculated.

解决：
linux下的oracle用户的环境变量语言集和oralce数据库中的环境变量语言集不相同。
查看oracle的环境变量语言集：
数据库服务器字符集：
select * from nls_database_parameters
客户端字符集：
select * from nls_instance_parameters

将oracle用户的环境变量语言集改成和数据库服务器字符集一样。
export NLS_LANG=american_america.ZHS16GBK
exeron
关注
exp00091 oracle,Windows环境下EXP-00091错误的解决办法
weixin_33018713的博客
04-08 656
最新项目上的同事反映在使用exp导出数据时有报错(windows Server 2008+Oracle 10.2.0.564bit)，提示“EXP-00091: 正在导出有问题的统计信息。”从字面意思来看，是统计信息出了问题。通过查阅官方文档，其中对EXP-00091错误的描述及解决方案如下：EXP-00091: Exporting questionable statistics.Cause: E...
ORCALE 几个错误的解决笔记:EXP-00091, EXP-00015, EXP-00001
yirongping的专栏
03-19 1906
EXP-00091的解决办法： 在做exp的过程中遇到EXP-00091: Exporting questionable statistics. 它产生的原因是因为我们exp工具所在的环境变量中的NLS_LANG与DB中的NLS_CHARACTERSET不一致。 ⑴ 首先查看DB中的NLS_CHARACTERSET的值（提供两种方法）： view plaincopy to clipbo
EXP-00091 Exporting questionable statistics
04-13
NULL 博文链接：https://xujq.iteye.com/blog/1714222
EXP-00091: Exporting questionable statistics.
冰刀(skate)
12-29 2110
author：skatetime：2007/12/28 在用exp导出数据的时候，提示下面的exp信息：EXP-00091: Exporting questionable statistics.其实它就是error message，我们都希望看见在导入的过程中 不提示任何错误信息，虽然这个错误信息一般不会有什么影响的，除非有比较特殊的字符集，数据会有乱码（这是我个人认为的）。下面我
解决 oracle EXP-00091: Exporting questionable statistics. 问题
ctfronq7467的博客
07-23 132
EXP-00091 Exporting questionable statistics Cause: Export was able to export statistics, but the statistics ma...
[Oracle报错]EXP-00091: Exporting questionable statistics.
weixin_30904593的博客
04-19 329
　　 Oracle版本：10.2.0.5.0 　　问题描述： 　　今天在虚拟机中使用exp进行导出实验时出现了“EXP-00091”错误，以下为导出操作命令及具体错误信息： [oracle@tank ~]$ exp system/oracle file=/home/oracle/hr.dmp tables=hr.employees Export: Release 10.2.0.5....
oracle pls-00302 ora-06550,案例:Oracle报错PLS-00302 DBA在exp导出数据报错PLS-00302:component‘SET_NO_OUTLINES mus...
weixin_39860919的博客
04-06 893
天萃荷净运维DBA在使用逻辑导出EXP导出数据时报错PLS-00302: component ‘SET_NO_OUTLINES’ must be declared，分析原因为客户端版本问题导致今天接到测试报告，他的客户端不能导出数据库1.逻辑导出exp时报错Export started on 2012-1-16 15:30:05D:\oracle\product\10.2.0\client_3\B...
oracle exp nls lang,Oracle EXP导出报错EXP-00091分析解决
weixin_42422362的博客
04-04 547
首先，我们先查看一下正常的Exp导出过程。C:\Users\admin>set nls_lang=american_america.al32utf8C:\Users\admin>exp \"/ as sysdba\" owner=scott file=scott.dmpExport: Release 11.2.0.4.0 - Production on Sat Jul 26 19:34...
Oracle： EXP－00091 的解决方法
cuipo8998的博客
03-12 165
在我们对Oracle做EXP的过程中，可能会经常遇到EXP－00091 Exporting questionable statistics.的信息，其实它就是exp的error message，它产生的原因是因为我们exp工具所...
Oracle，用exp命令导出数据库时出现 EXP-00091 错误的解决办法
热门推荐
iw1210的专栏
10-04 2万+
Oracle，用exp命令导出数据库时出现 EXP-00091 错误的解决办法 EXP-00091: 出口可疑的统计。 EXP-00091: Exporting questionable statistics. 产生原因： 在数据库的服务器端和客户端字符集不同的情况下，导出(dump)数据库表时，会产生这个错误。虽然产生这个错误，但好像对导入没有影响。 解决办法： 查看服务器端字符集：
导出数据库dmp出现EXP-00091: Exporting questionable statistics.问题解决！
u012960623的专栏
05-06 1485
对DBA或需使用exp,imp的普通用戶來说，在我们做exp的過程中可能经常会遇到EXP－00091 Exporting questionable statistics.这样的EXP信息，其实它就是exp的error message，它产生的原因是因为我们exp工具所在的环境变量中的NLS_LANG与DB中的NLS_CHARACTERSET不一致。 问题： lpding-> exp scott
EXP-00091: Exporting questionable statistics
phantom in ORACLE
02-18 2287
最常见的 exp 报错，这个原因是因为exp工具所在的环境变量中的NLS_LANG与DB中的NLS_CHARACTERSET不一致。 有两种解决方法： 1.检查数据库里的变量设置值，然后在工具环境变量里同步 2.在exp语句中加入statistics=none，但这个要根据自己是否需要统计信息而定。   检查数据库相关参数： SQL> select * from v$nls_param
EXP－00091 Exporting questionable statistics.
zhoupeng的专栏
01-23 1074
1、 查看db中的NLS_CHARACTERSET的值。 打开plsql  select * from v$nls_parameters where parameter='NLS_CHARACTERSET';  PARAMETER　　　　               VALUE  ------------------　　                ----------------- 
EXP 导出时遇到错误 EXP-00091: Exporting questionable statistics.
huoshuyinhua的专栏
02-22 944
解决导出成功但报错EXP-00091: Exporting questionable statistics. 今天使用exp导出遇到错误EXP-00091: Exporting questionable statistics. [oracle@test1 bin]$ exp scott/tiger  file='/oradata/export.dmp' tables=test lo
(gguf-env-video) ubuntu@ubuntu-Lenovo-Product:~/llama.cpp$ python convert_hf_to_gguf.py /home/ubuntu/.cache/modelscope/hub/models/iic/QwenLong-L1-32B-AWQ --outtype f16 --outfile qwenlong-32b.f16.gguf INFO:hf-to-gguf:Loading model: QwenLong-L1-32B-AWQ INFO:hf-to-gguf:Model architecture: Qwen2ForCausalLM INFO:gguf.gguf_writer:gguf: This GGUF file is for Little Endian only INFO:hf-to-gguf:Exporting model... INFO:hf-to-gguf:gguf: loading model weight map from 'model.safetensors.index.json' INFO:hf-to-gguf:gguf: loading model part 'model-00001-of-00004.safetensors' INFO:hf-to-gguf:token_embd.weight, torch.float16 --> F16, shape = {5120, 152064} INFO:hf-to-gguf:blk.0.attn_norm.weight, torch.float16 --> F32, shape = {5120} Traceback (most recent call last): File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 6560, in <module> main() File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 6554, in main model_instance.write() File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 403, in write self.prepare_tensors() File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 277, in prepare_tensors for new_name, data_torch in (self.modify_tensors(data_torch, name, bid)): File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 2730, in modify_tensors yield from super().modify_tensors(data_torch, name, bid) File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 245, in modify_tensors return [(self.map_tensor_name(name), data_torch)] File "/home/ubuntu/llama.cpp/convert_hf_to_gguf.py", line 236, in map_tensor_name raise ValueError(f"Can not map tensor {name!r}") ValueError: Can not map tensor 'model.layers.0.mlp.down_proj.qweight'
最新发布
07-03
<think>我们遇到了一个在将HuggingFace模型转换为GGUF格式时的张量映射错误。具体错误信息是：ValueError: Cannot maptensor 'model.layers.0.mlp.down_proj.qweight'这个错误通常发生在使用`convert_hf_to_gguf.py`脚本转换量化模型（如AWQ、GPTQ）时，因为量化模型的权重名称与原始FP16模型的权重名称不同。脚本可能没有正确识别量化模型的权重名称。 ###问题分析1.**量化模型结构差异**：量化模型（如AWQ）的线性层权重名称通常包含`qweight`、`qzeros`、`scales`等后缀，而原始FP16模型则没有。转换脚本可能只支持原始FP16模型的权重名称映射。 2. **脚本支持不足**：`convert_hf_to_gguf.py`脚本可能未更新以支持特定的量化模型（如QwenLong的AWQ版本）。###解决方案根据引用[1]中提到的权重映射原理，我们需要修改转换脚本以支持量化模型的权重名称。以下是具体步骤：####步骤1：确认模型类型-如果模型是量化模型（如AWQ），则转换脚本需要特殊处理。QwenLong-L1-32B-AWQ显然是AWQ量化模型。 ####步骤2：修改转换脚本我们需要在`convert_hf_to_gguf.py`脚本中添加对量化权重名称的映射规则。具体修改如下： 1. **定位权重映射字典**：在脚本中找到`tensor_map`字典（或类似结构），它定义了HuggingFace模型权重名称到GGUF模型权重名称的映射。2.**添加量化权重映射**：为量化模型的权重（如`qweight`、`qzeros`、`scales`）添加映射规则。例如，对于`mlp.down_proj`层，原始FP16模型的权重名称为`model.layers.0.mlp.down_proj.weight`，而量化模型则可能是`model.layers.0.mlp.down_proj.qweight`。我们需要将其映射到GGUF中的对应名称。####修改示例假设原始`tensor_map`定义如下（在脚本中搜索`tensor_map`）：```pythontensor_map= gguf.get_tensor_name_map(arch, block_count)``` 我们可以通过添加条件分支来处理量化权重。在脚本中找到处理每一层权重的循环（通常是在`load_weights`函数中），然后修改为： ```python#修改前（可能只处理weight） if"down_proj.weight" inname:new_name =gguf.TENSOR_NAMES[gguf.MODEL_TENSOR.FFN_DOWN]+ "."+ name.split('.')[-2]data=torch.permute(data,(1,0))#注意：可能需要转置print(name, "=>",new_name)return new_name,data#修改后：支持量化权重if"down_proj" inname:if"qweight"in name:#处理量化权重qweightnew_name =gguf.TENSOR_NAMES[gguf.MODEL_TENSOR.FFN_DOWN] +".qweight"#注意：量化权重可能不需要转置，具体取决于模型结构print(name, "=>",new_name)return new_name,dataelif"scales"in name:new_name= gguf.TENSOR_NAMES[gguf.MODEL_TENSOR.FFN_DOWN]+ ".scales"print(name, "=>",new_name)return new_name,data#...其他量化权重如qzeros等else:#原始FP16权重new_name =gguf.TENSOR_NAMES[gguf.MODEL_TENSOR.FFN_DOWN] +"." +name.split('.')[-2]data =torch.permute(data,(1,0))print(name,"=>", new_name)returnnew_name, data```####步骤3：使用社区解决方案如果手动修改复杂，可以尝试以下方法：1.**使用最新脚本**：确保`llama.cpp`仓库是最新的，因为开发者可能已添加支持。```bashcd llama.cppgitpull originmaster``` 2. **使用专用转换脚本**：对于AWQ模型，使用`convert.py`（注意：不是`convert_hf_to_gguf.py`）：```bashpythonconvert.py /path/to/QwenLong-L1-32B-AWQ--outtype f16 --outfileqwenlong-32b.f16.gguf```注意：这个`convert.py`是专门用于转换量化模型的，位于`llama.cpp`根目录。###完整转换命令（针对AWQ模型）```bash#进入llama.cpp目录cdllama.cpp#安装依赖pip install-rrequirements.txt#转换AWQ模型（使用convert.py） pythonconvert.py/home/ubuntu/.cache/modelscope/hub/models/iic/QwenLong-L1-32B-AWQ --outtypef16--outfile qwenlong-32b.f16.gguf```###注意事项1. **权重转置**：有些模型（如LLaMA）的权重在转换时需要转置（`permute`），而量化模型可能不需要，具体取决于模型结构。 2. **量化参数**：除了`qweight`，还需要处理`qzeros`、`scales`等量化参数，否则转换后的模型无法正常工作。 3. **模型架构支持**：确保`llama.cpp`支持目标模型架构（如QwenLong）。如果不支持，可能需要修改`gguf`写入部分的代码。###验证转换完成后，使用`llama.cpp`的`main`可执行文件进行推理测试： ```bash./main-mqwenlong-32b.f16.gguf -p "你好"-n100``` 如果遇到其他张量映射错误，按照同样方法在脚本中添加对应映射规则。###替代方案如果以上方法无效，可以尝试：1.将AWQ模型先转换为FP16原始模型，再转换为GGUF（可能损失精度）：```pythonfrom awq.quantize.pre_quantimport apply_awqapply_awq(model_path,output_path)#伪代码，具体参考AWQ官方文档```2.使用[AutoAWQ](https://github.com/casper-hansen/AutoAWQ)提供的转换工具。---###相关问题1.如何解决转换过程中的`unsupported tensortype`错误？2.转换GGUF模型时如何保留特殊token（如聊天模板）？ 3.如何验证转换后的GGUF模型与原始Hugging Face模型输出一致？</think>### 解决 Hugging Face 模型转 GGUF 时的张量映射错误 您遇到的 `ValueError: Can not map tensor 'model.layers.0.mlp.down_proj.qweight'` 错误是由于模型量化权重与标准 GGUF 转换器不兼容导致的。以下是完整解决方案： --- ### 问题原因分析 1. **量化权重不兼容**（核心问题）： - AWQ/GPTQ 量化模型包含特殊权重（如 `qweight`, `qzeros`）[^1] - 标准转换脚本 `convert_hf_to_gguf.py` 仅支持原始 FP16 权重结构 - QwenLong 的 AWQ 量化层 `mlp.down_proj.qweight` 未被标准映射表识别 2. **脚本版本过时**： - 旧版转换器缺少量化模型支持 - 新版 llama.cpp 已添加 AWQ 专用转换路径 3. **权重映射缺失**： - 自定义模型层未在转换脚本的 `tensor_map` 中注册[^1] --- ### 解决方案 #### 方法 1：使用专用 AWQ 转换器（推荐） ```bash # 确保使用最新版 llama.cpp git clone --depth 1 https://github.com/ggerganov/llama.cpp cd llama.cpp && make -j # 使用专用转换脚本 python convert.py /home/ubuntu/.cache/modelscope/hub/models/iic/QwenLong-L1-32B-AWQ \ --outtype f16 \ --outfile qwenlong-32b.f16.gguf ``` > **关键区别**：`convert.py` 而非 `convert_hf_to_gguf.py` 专门处理量化权重 #### 方法 2：手动添加权重映射（备用方案） 编辑 `llama.cpp/convert_hf_to_gguf.py`，在 `tensor_map` 中添加： ```python # 在 load_weights() 函数中找到 tensor_map 定义位置 tensor_map.update({ gguf.MODEL_TENSOR.FFN_DOWN: ( # 添加 AWQ 量化层映射 lambda name: re.match(r"model\.layers\.\d+\.mlp\.down_proj\.qweight", name), lambda name: name.replace("down_proj.qweight", "ffn_down") ), gguf.MODEL_TENSOR.FFN_GATE: ( lambda name: re.match(r"model\.layers\.\d+\.mlp\.gate_proj\.qweight", name), lambda name: name.replace("gate_proj.qweight", "ffn_gate") ) }) ``` 保存后重新运行转换命令。 #### 方法 3：先转换为原始格式再转 GGUF ```bash # 步骤 1: 移除量化层 (使用 AutoAWQ) python -m awq.quantization.quantize \ --model /path/to/QwenLong-L1-32B-AWQ \ --w_bit 16 \ --q_group_size 128 \ --zero_point \ --output ./dequantized_model # 步骤 2: 转换原始模型 python llama.cpp/convert_hf_to_gguf.py ./dequantized_model \ --outtype f16 \ --outfile qwenlong-32b.f16.gguf ``` --- ### 关键配置说明 1. **权重映射原理**： ```python # 转换器内部匹配逻辑示例 if name.endswith("mlp.down_proj.qweight"): gguf_name = f"blk.{bid}.ffn_down.weight" ``` 参考 OpenAI 权重匹配机制[^1] 2. **张量维度验证**： - 量化权重 `qweight` 应为二维张量 $(d_{in}, d_{out}/8)$ - 普通权重 `weight` 应为 $(d_{in}, d_{out})$ - 维度不匹配会引发 `shape` 错误[^3] 3. **位置编码处理**： - QwenLong 使用 RoPE 位置编码 - 转换时需确保保留 $\cos/\sin$ 矩阵[^3] ```python if "rotary_emb.inv_freq" in name: gguf.add_rotary_embedding(dim, seq_len) ``` --- ### 验证转换结果 ```bash # 检查 GGUF 元数据 gguf-dump qwenlong-32b.f16.gguf | grep -E 'ffn_down|tensor_count' # 预期输出应包含： # tensor_count = 423 # blk.0.ffn_down.weight ``` ### 常见错误处理 | 错误类型 | 解决方案 | |---------|----------| | `Unsupported tensor type` | 在 `tensor_map` 添加映射规则 | | `Dimension mismatch` | 使用 `--pad-vocab` 参数 | | `Missing tokenizer.json` | 复制原模型 tokenizer 文件到目录 | --- ### 相关问题 1. 如何解决 GGUF 转换中的 `unsupported tensor type` 错误？ 2. 转换 AWQ 模型时如何保持量化精度？ 3. 如何验证转换后 GGUF 模型与原始 Hugging Face 模型输出一致性？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值