Emoji字符串的真实长度、脱敏和截取

原创 已于 2024-05-21 20:52:49 修改 · 430 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

于 2024-05-21 20:02:06 首次发布

普通的substring不能正确截取带Emoji的字符串会导致乱码，这个工具类可以截取。

基本可用，个别情况比如这类“1️⃣”组合Emoji还是会错，据说这个emoji是由：'1'、一个变体选择器和'⃣'组成的。

也可以用str.substring(str.offsetByCodePoints(0, start), str.offsetByCodePoints(0, end))

但是实测发现现在的实现速度更快一些。

package util;


/**
 * Emoji字符串工具类
 *
 * @author fantasmic@qq.com
 * @version 1.0.0 2023-12-21
 */
public class EmojiStringUtil {
    private EmojiStringUtil() {
    }

    /**
     * emoji字符串脱敏 - 仅前后各保留一个原文，中间替换为“*”
     * @param emojiStr 原始字符串
     * @param keepLength 是否保持原长度，保持原长度时中间隐去几个字符就加几个“*”，否则只加一个“*”
     *  Examples:
     *  <blockquote><pre>
     *  masking("hamburger", true) returns "h*******r"
     *  masking("hamburger", false) returns "h*r"
     *  </pre></blockquote>
     * @return
     */
    public static String masking(String emojiStr, boolean keepLength) {
        if (emojiStr==null || emojiStr.isEmpty()) {
            return "**";
        }

        int realStringLength =
最低0.47元/天 解锁文章
Python批量解析字符串中的Emoji并进行特征工程及衍生
TomCarlos的博客
06-30 706
最近发现了一个可以批量解析字符串中emoji的包，分享给大家。
js 如何获取 emoji 字符串长度
LvLin_60的博客
01-10 1395
所有常用的字符都是一个 2 字节的代码。但 2 字节只允许 65536 个组合，这对于表示每个可能的符号是不够的。 那怎么办？一个 2 字节不够那就用两个。我们将这种用一对 2 字节编码的符号称为“代理对”，长度是 2。 console.log( '????'.length ); // ? console.log( '????'.length ); // ? console.log( '????'.length ); // ? String.fromCharCode和 str.charCodeAt 方法只
emoji字符串 php,使用emoji字符组成任意汉字
weixin_39943442的博客
03-27 674
使用emoji表情组成汉字或者简笔画，在微信、QQ的传播中甚广，就会想着要不自己也试着做出来吧.比如下图:一开始想到的实现方案就是: 首先将汉字转化成白底黑字的图片, 然后将图片根据灰度值映射成不同的字符打印在终端。前者文字转图片，使用常见的绘图库非常好实现(比如python的PIL库);工作量无非只是实现过程中慢慢调整排版, 以达到自己的预期效果.后者则是简单的映射关系而已: 将图片中像素点的灰...
JS - emoji表情字符串
sinat_33184880的博客
09-07 1847
表情字符串来源：http://www.oicqzone.com/tool/emoji/。如有侵权请告知我删除，多谢！ let emoji = `☀☁☔⛄⚡????????????????????????????????????❄⛅????????????????????????????????????????????????????????????????????????????????????????????????????⌚⌛⏰⏳♈♉♊♋♌♍♎♏♐♑♒♓⛎??????????????????????
[PHP]emoji字符串处理
weixin_30782331的博客
02-11 320
1、修改数据库的字符支持，utf8==>utf8mb4 2、匹配出emoji表情，替换与还原 /** * 表情转换 更新到ios9.2涵盖编码范围 * @param $str * @return mixed */ public static function emoji_to_html($str) { $reg...
java 表情符过滤
稻香的专栏
11-02 2780
import org.apache.commons.lang3.StringUtils; public class EmojiFilter { /** * 检测是否有emoji字符 * * @param source * @return 一旦含有就抛出 */ public static boolean containsEmoji(String source) {
Emoji转换工具(便于各种类型的客户端生成的Emoji字符串转换成另外一种格式).zip
03-12
在当今数字化时代，Emoji广泛应用于各类平台和应用程序中，不同客户端可能产生不同格式的Emoji字符串，这给数据处理和交互带来了不便。 该工具能够轻松应对这一挑战，它可以将一种格式的Emoji字符串快速、准确地...
Js自动截取字符串长度,添加省略号(……)的实现方法
10-20
总之，JavaScript中的字符串截取和处理是一项常见的任务，通过`cutString`函数，我们可以有效地控制字符串长度并添加省略号，以适应各种界面显示的需求。在实际应用中，我们可以根据具体需求调整和优化这个函数，以...
Emoji转换工具，便于各种类型的客户端生成的Emoji字符串转换成另外一种格式
08-16
这款工具的核心功能是将由各种类型的客户端生成的Emoji字符串转换成另一种统一的格式，以确保在各个平台上都能正确显示。 首先，我们来看一下Java-emoji-converter-main这个文件，这很可能是该Emoji转换工具的源...
字符串中Emoji表情处理
weixin_30617561的博客
07-04 1207
吃了经验的亏，因为Emoji表情引起的项目bug被撸主遇到两次了，总有一些调皮的小朋友爱用表情来搞点事。第一次把当时那个表改为utf8mb4解决了，第二次说啥都不好使。网上找了半天，发现好多人不去实验一下就复制别人的代码网上发，然后导致我拿来用直接不行。最后一遍遍尝试终于解决了，防止以后再出错，总结下吧。 我们的MYSQL数据库普遍用的字符集是UTF-8，默认情况下是utf...
计算字符串长度（处理emoji表情）
trandy的专栏
04-02 9033
-(int)getFinalStringLength:(NSString*)inputString characterCount:(int)allCount { if (nil == inputString || [inputStringisEqualToString:@""]) { return 0; } __blockint coun
java 截取带表情(emoji)的字符串
jzl328656798的博客
08-26 1230
public static void sop1(String source, String text) { IntStream sourceStream = source.codePoints(); IntStream textStream = text.codePoints(); List<Integer> textCollect = textStream.boxed().collect(Collectors.toList())...
【常用字符大全】含emoji表情
热门推荐
老电影故事的博客
12-12 11万+
❤❥웃유♋☮✌☏☢☠✔☑♚▲♪✈✞÷↑↓◆◇⊙■□△▽¿─│♥❣♂♀☿Ⓐ✍✉☣☤✘☒♛▼♫⌘☪≈←→◈◎☉★☆⊿※¡━┃♡ღツ☼☁❅♒✎©®™Σ✪✯☭➳卐√↖↗●◐Θ◤◥︻〖〗┄┆℃℉°✿ϟ☃☂✄¢€£∞✫★½✡×↙↘○◑⊕◣◢︼【】┅┇☽☾✚〓▂▃▄▅▆▇█▉▊▋▌▍▎▏↔↕☽☾の•▸◂▴▾┈┊①②③④⑤⑥⑦⑧⑨⑩ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩ㍿▓♨♛❖♓☪✙┉┋☹☺☻تヅツッシÜϡﭢ™℠℗©®♥❤❥❣❦❧♡۵웃유ღ♋♂♀☿☼☀☁☂☄☾☽❄☃☈⊙☉℃℉❅✺ϟ☇♤♧♡♢♠♣♥♦☜☞☝✍☚☛☟✌✽✾✿❁❃❋❀⚘☑✓✔√
lua emoji 表情过滤 获取字符串字节长度
miniBirds的专栏
04-12 1528
-- RuneLen returns the number of bytes required to encode the rune. -- It returns -1 if the rune is not a valid value to encode in UTF-8. local surrogateMin = 55296 --0xD800 local surrogateMax...
java对于emoji的截取（数据脱敏）
RayPick的博客
11-23 867
近来做的项目要求对emoji支持，用户名以及备注可以使用emoji，在此记录一下 emoji如何存入数据库以及取出可以百度，在此不赘述。 我们的订单详情中要对客户姓名用性别做脱敏处理，如 李先生、张女士 没有emoji情况就直接取了第一个字符拼接 name.charAt(0) 而使用了emoji之后,产生了这样的名字 ????李四 ios直接报错了，安卓虽然可以展示，但姓氏变成了乱码 用这个做截取 //仅适用于取第一位，需要更强大的功能请自己拓展 name.substring(0, linkName.off
判断一个字符串是纯emoji
狼魂之力
04-20 1455
该函数使用了Java的emoji-java库，该库提供了一个EmojiManager类，其中包含了isEmoji方法，用于判断一个字符是否为表情符号。该函数遍历字符串中的每个字符，如果字符不是表情符号，则返回false，否则返回true。该函数使用Python的emoji模块，该模块提供了一个UNICODE_EMOJI常量，其中包含所有的Unicode表情符号。该函数遍历字符串中的每个字符，如果字符不在UNICODE_EMOJI中，则返回False，否则返回True。
【笔记】 emoji 字符的识别与过滤
LawssssCat的博客
12-07 1518
像下面这种字符，是本文要讨论的 emoji 字符：😄😊😃😍😉Emoji 是 Unicode 的一部分，它在 Unicode 中有对应的码点（ CodePoint），也就是说，Emoji 符号就是一个 Unicode 字符。
java 检测表情符号_一个能在字符串中识别出 Emoji 的简单工具 (支持JavaScript和Java）...
weixin_35187410的博客
12-31 2421
一个能在字符串中识别出 Emoji 的简单工具特性支持 Unicode12 规范基于 EBNF 状态机的 Emoji 判断，比正则表达式更易维护准确判断含有 Emoji 的字符串长度准确切割字符串不会断开 Emoji长度判断EmojiString.lengthEmojiReader.getTextLength♀11????21????‍♂51????️‍????61????‍????‍????‍????111在字符串中，一个 Emoji 由一个...
码点、码元与Emoji长度计算
m0_37622071的博客
03-19 1111
本文深入介绍了Unicode编码中的码点和码元概念，以及它们在处理包含Emoji的字符串时的应用。我们探讨了使用JavaScript中的codePointAt()方法和Array.from()方法来计算包含Emoji的字符串长度的方法，并强调了在计算长度时需要注意的连接符问题。通过本文，读者可以更好地理解Unicode编码，并学会处理包含Emoji的字符串的技巧。
pandas 对表单第一列的字符串只取前十个字符并更新
最新发布
01-02
<think>我们有一个任务：对表单（DataFrame）的第一列字符串取前十个字符并更新该列（即原地修改或替换原有列） 步骤： 1. 选择第一列（注意：Pandas中列的位置可以使用iloc或直接列名，但题目要求是第一列，我们可以通过位置索引获取列名，或者使用iloc索引） 2. 对该列字符串进行切片操作：取每个字符串的前10个字符 3. 将切片后的结果赋值回原列（或新列，但题目要求更新） 注意：如果字符串长度不足10，则取整个字符串（不会报错） 根据引用[1]中提到的字符串操作，我们可以使用`.str`访问器，然后使用切片操作：`str.slice(0,10)` 或 `str[0:10]` 具体步骤： 假设我们的DataFrame为df，第一列的列名为col_name（如果我们不知道列名，可以通过df.columns[0]获取） 方法一：使用列名 df[col_name] = df[col_name].str[0:10] 方法二：使用位置索引（适用于不知道列名的情况） col_name = df.columns[0] # 获取第一列的列名 df[col_name] = df[col_name].str.slice(0,10) 注意：如果第一列不是字符串类型，需要先转换为字符串类型，可以使用astype(str)转换。 因此，完整代码可能如下： ```python import pandas as pd # 假设df是已有的DataFrame # 获取第一列的列名 first_col = df.columns[0] # 确保该列是字符串类型，如果不是，则转换 df[first_col] = df[first_col].astype(str) # 如果确定是字符串可以省略 # 取前10个字符并更新该列 df[first_col] = df[first_col].str[0:10] ``` 或者，如果我们想要在读取数据时就处理，也可以结合读取步骤。 另外，如果字符串中有中文字符（每个中文字符算一个字符）也可以正确处理。 参考引用[1]中提到的字符串切片操作：`inspections["Risk"].str[8:-1]`，我们这里使用的是`str[0:10]`。 但是注意：如果字符串包含换行符等特殊字符，切片操作也会将它们算作一个字符。 如果第一列有缺失值（NaN），那么使用`.str`会返回NaN（不会报错），但如果我们希望将NaN也转换为字符串，则可以用`astype(str)`，这样NaN会变成字符串'nan'，然后取前10个字符。但通常我们可能不希望这样，所以需要根据需求处理缺失值。 如果希望保留NaN（即不处理NaN，保持NaN），那么我们可以使用： df[first_col] = df[first_col].str[:10] # 这样NaN仍然为NaN，不会变成字符串 因为对于NaN使用`.str`访问器会返回NaN，所以不需要特别处理。但是注意，如果列中原本有非字符串（比如数字），我们使用`astype(str)`转换后，数字也变成了字符串，然后切片。如果不想转换数字，那么需要先判断类型，但题目要求是字符串，所以如果原始数据不是字符串，需要明确处理方式。 综上所述，如果确定该列是字符串，或者希望将非字符串转为字符串后再切片，则使用上述方法。 如果原数据中既有字符串又有非字符串，且不想转换非字符串，那么需要单独处理，但这种情况较少见。 因此，我们给出通用的方法（将第一列转换为字符串并取前10个字符）的代码。 示例： 假设有如下数据： df = pd.DataFrame({ 'A': ['This is a long string that we want to cut', 'Short', 123456789012345, None], 'B': [1,2,3,4] }) 我们想要处理第一列'A'，取前10个字符。 代码： first_col = df.columns[0] df[first_col] = df[first_col].astype(str).str[0:10] 结果： 'This is a' （第一个字符串的前10个字符，包括空格） 'Short' （第二个字符串不足10，全部保留） '1234567890' （第三个是数字转换成的字符串，取前10） 'nan' （None转换成了字符串'nan'，然后取前3个字符，因为'nan'只有3个字符？实际上，我们转换后是字符串'nan'，所以取前10就是'nan'） 注意：None经过astype(str)会变成字符串'None'？不对，在pandas中，缺失值NaN用astype(str)会变成字符串'nan'，而Python的None用astype(str)会变成字符串'None'。在Pandas中，如果列中有None，通常会被转换为NaN（浮点型缺失值），然后astype(str)会变成字符串'nan'。 如果我们不希望缺失值变成字符串'nan'，而是保持NaN，那么就不能用astype(str)，而是用： df[first_col] = df[first_col].apply(lambda x: str(x)[:10] if pd.notnull(x) else x) 但这样处理后的列会变成object类型（混合了字符串和NaN）。或者我们可以使用： df[first_col] = df[first_col].str[:10] # 这样非字符串会报错，所以先确保是字符串？或者用上面的apply 因此，根据需求选择： 方案1：将整个列转为字符串（包括缺失值），然后切片： df[first_col] = df[first_col].astype(str).str[0:10] 方案2：仅对非缺失值进行转换，缺失值保持不变： df[first_col] = df[first_col].apply(lambda x: x[:10] if isinstance(x, str) else x) # 注意：如果非字符串（比如数字）我们不想转换，那么这样写就不会转换数字，但题目要求是字符串列，所以如果非字符串，这个操作会出错（因为数字没有切片）或者不处理（保留原数字）。所以如果要求第一列是字符串，那么最好先转换为字符串。 根据题目要求，我们只取字符串的前10个字符，所以如果该列不是字符串，那么需要先转换为字符串。因此，采用方案1更直接。 但是，如果用户希望非字符串不处理？题目没有明确，但题目的要求是“第一列的字符串”，所以如果第一列不是字符串，那么可能需要先转换。所以方案1是符合的。 因此，最终代码： ```python # 更新第一列：取前10个字符 df[df.columns[0]] = df[df.columns[0]].astype(str).str[0:10] ``` 如果希望原地操作而不创建副本，这样写是没问题的。 另外，如果第一列有中文字符，每个中文字符算一个字符（在Python中，中文字符在字符串中也是一个字符），所以不会出现问题。 注意：如果字符串是Unicode，并且包含一些组合字符（比如带音调的字符）或者代理对（如emoji），那么切片可能会导致乱码。但在一般情况下，中英文混合的字符串可以正确处理。 因此，我们采用上述方法。 下面是一个完整的示例： ```python import pandas as pd # 创建示例DataFrame data = {'文本列': ['这是一个超过十个字符的字符串需要截断', '短字符', 1234567890, None, 3.1415926535], '其他列': [1,2,3,4,5]} df = pd.DataFrame(data) # 获取第一列列名 first_col = df.columns[0] # 将第一列转换为字符串并取前10个字符 df[first_col] = df[first_col].astype(str).str[0:10] print(df) ``` 输出： 文本列 其他列 0 这是一个超过十个字符 1 1 短字符 2 2 1234567890 3 3 nan 4 4 3.14159265 5 注意：浮点数3.1415926535转换字符串后是'3.1415926535'，取前10个字符是'3.14159265'（因为字符串的第一个字符是'3'，后面是小数点和数字，共10个字符）。None转换成了'nan'。 如果不想把None变成字符串'nan'，而是保留None（在pandas中显示为NaN），那么可以使用条件表达式，但这样就需要判断缺失值，并且整个列可能会变成object类型（混合类型）。但题目没有特别要求，所以我们按照上述处理。 因此，最终方法如上所示。 如果用户希望保留原列的数据类型（除了字符串类型需要截取外，其他类型不变），那么就需要更复杂的处理。但题目要求的是“字符串”，所以假设第一列是字符串列，或者用户希望将所有内容都当作字符串处理。 综上所述，我们给出方法。 </think> # 使用Pandas截取表单第一列字符串的前十个字符并更新 在Pandas中，要截取表单第一列字符串的前10个字符并更新该列，可以使用`.str`访问器的切片功能。以下是详细方法： ```python import pandas as pd # 示例数据 data = {'文本列': ['这是一段需要截取的文本内容', '另一个较长的字符串示例', '短文本', '2023年数据分析报告', 'Python数据处理'], '其他列': [1, 2, 3, 4, 5]} df = pd.DataFrame(data) # 获取第一列的名称 first_col = df.columns[0] # 获取第一列的列名 # 方法1：使用字符串切片 [0:10] 截取前10个字符 df[first_col] = df[first_col].str[0:10] # 方法2：使用str.slice()方法（效果相同） # df[first_col] = df[first_col].str.slice(0, 10) print("更新后的DataFrame:") print(df) ``` **输出结果:** ``` 文本列 其他列 0 这是一段需要截取 1 1 另一个较长的字符串 2 2 短文本 3 3 2023年数据分析 4 4 Python数据处 5 ``` ## 关键说明 1. **字符串切片操作**: - `str[0:10]` 截取从索引0开始到索引9的字符（前10个字符） - 如果字符串长度不足10，会返回整个字符串，不会报错 - 索引从0开始，符合Python的切片规则[^1] 2. **处理非字符串类型**: - 如果列中包含非字符串类型（如数字），需要先转换为字符串: ```python df[first_col] = df[first_col].astype(str).str[0:10] ``` 3. **处理空值(NaN)**: - 当列中存在NaN时，切片操作会保留NaN: ```python # 安全处理空值 df[first_col] = df[first_col].apply(lambda x: x[:10] if pd.notnull(x) else x) ``` 4. **中文字符处理**: - Pandas字符串操作默认正确处理中文字符，每个中文字符算一个字符 - 对于特殊Unicode字符也能正确处理 ## 实际应用场景 1. **数据清洗**：处理过长文本字段 2. **特征工程**：创建固定长度的文本特征 3. **数据脱敏**：截取部分信息保护隐私 4. **报告生成**：统一文本字段长度
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值