transformers中英文互译

```python

# @Time    : 2021/5/27 15:28
# @Author  :

from transformers import pipeline, AutoModelWithLMHead, AutoTokenizer

# 英文翻译成中文
# AutoModelForSeq2SeqLM.from_pretrained
# local_files_only=True
model = AutoModelWithLMHead.from_pretrained("Helsinki-NLP/opus-mt-en-zh")
tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-zh")
translation = pipeline("translation_en_to_zh", model=model, tokenizer=tokenizer)

text = "Student accommodation centres, resorts"
translated_text = translation(text, max_length=40)[0]['translation_text']

# 中文翻译成英文
model = AutoModelWithLMHead.from_pretrained("Helsinki-NLP/opus-mt-zh-en")
tokenizer = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-zh-en")
translation = pipeline("translation_zh_to_en", model=model, tokenizer=tokenizer)

text = "学生住宿中心,度假屋"
translated_text = translation(text, max_length=40)[0]['translation_text']

```

参考Huggingface Transformer教程(一) - 李理的博客

参考Summary of the tasks — transformers 4.11.3 documentation

参考How to generate text: using different decoding methods for language generation with Transformers

### 将Python相关的中文内容翻译成英文 为了将Python相关的中文内容转换为英文,可以采用多种方法和技术栈。一种有效的方式是使用预训练的语言模型来进行机器翻译。 对于具体的实现方案,如果希望通过编程接口完成这一任务,下面展示了一个简单的方法,该方法依赖于`transformers`库中的MarianMT模型[^1]: ```python from transformers import MarianTokenizer, MarianMTModel def translate_text(text): model_name = 'Helsinki-NLP/opus-mt-zh-en' tokenizer = MarianTokenizer.from_pretrained(model_name) model = MarianMTModel.from_pretrained(model_name) inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) outputs = model.generate(**inputs) translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) return translated_text chinese_python_code_comment = """ 我们通过额外添加2万个中文标记, 提高了中文语言的编码和解码效率, 并改善了LLaMA在中文理解方面的能力。 """ translated_result = translate_text(chinese_python_code_comment) print(f"Translated Result:\n{translated_text}") ``` 上述代码片段展示了如何加载一个多语言翻译模型,并定义一个函数来执行从中文到英文的文本翻译工作。这里选择了由Hugging Face提供的`Helsinki-NLP/opus-mt-zh-en`作为翻译模型,这是一个专门针对中英互译优化过的模型。 当运行这段脚本时,会输出给定中文字符串对应的英语版本。值得注意的是,在实际应用中可能还需要考虑更多细节,比如批量处理大量文本、错误处理机制以及性能调优等问题。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cocktail_py

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值