Chinese Fineweb Edu v2即将开源

原创 已于 2024-11-02 16:49:35 修改 · 372 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-10-18 19:11:17 首次发布

Chinese Fineweb Edu🔗：https://opencsg.com/datasets/OpenCSG/chinese-fineweb-edu
huggingface🔗：https://huggingface.co/opencsg

OpenCSG
关注
精选资源
RISC-V-Reader-Chinese-v2p1_risc-v_RISC-V开源MCU指令集手册
09-11
这是开源MCU设计指令集与涉及说明中文版。详细列举了MCU各类指令级别与相关技术分类。RISC-V指令集是国内开发自有MCU的主流方案，具有完整的工具链和软件开发平台。阿里、平头哥、华大和GD都有相关的MCU产品。部分...
基于Chinese-lite和paddleocr的C#天若ocr开源本地版设计源码
05-23
tianruoocr-cl是基于Chinese-lite和paddleocr的C#开源本地版，包含115个文件，其中包括52个C#源文件、28个PNG图片文件、7个RESX文件、5个DLL文件、3个XML文件、3个.csproj项目文件、2个Git忽略文件、2个Markdown文件...
重磅升级 | OpenCSG开源中文版fineweb edu v2数据集
OpenCSG的博客
10-24 1808
这些数据涵盖了从2013年至2024年的网页内容，通过精心设计的处理流程，FineWeb提供了丰富且多样的高质量语料资源，为训练更强大、更精确的语言模型提供了高质量数据。通过实验结果可以发现，在训练的靠后阶段，可能是由于进入了第2个epoch，且学习率进入快速下降阶段，训练的效果开始逐渐涌现，此时，使用chinese-fineweb-edu训练的模型，准确率有了明显的上升，而使用随机抽取的数据训练，则一直处于较低水平。这一进步显著提高了数据筛选的可靠性，为后续的模型训练提供了更有力的保障。
国内独家首发 | OpenCSG开源中文版fineweb edu数据集
OpenCSG的博客
09-04 2448
这些数据涵盖了从2013年至2024年的网页内容，通过精心设计的处理流程，FineWeb提供了丰富且多样的高质量语料资源，为训练更强大、更精确的语言模型提供了高质量数据。通过实验结果可以发现，在训练的靠后阶段，可能是由于进入了第2个epoch，且学习率进入快速下降阶段，训练的效果开始逐渐涌现，此时，使用chinese-fineweb-edu训练的模型，准确率有了明显的上升，而使用随机抽取的数据训练，则一直处于较低水平。这种数据整合方式确保了模型在面对多样化的教育场景时，能够保持卓越的表现和高质量的输出。
探索中文大语言模型的未来：OpenCSG 中文语料库的构建与应用
步子哥的博客
01-17 610
OpenCSG 中文语料库包含一系列高质量的数据集，专门为 LLM 的预训练、后训练和微调而设计。这些数据集包括 Fineweb-edu-chinese、Fineweb-edu-chinese-v2、Cosmopedia-chinese 和 Smoltalk-chinese，每个数据集都有其独特的特点和应用场景。：专注于从多种中文网络来源筛选出的高质量内容。：在 v1 的基础上，数据量翻倍，并采用更严格的过滤标准。：提供合成的、教科书风格的数据，适用于知识密集型训练。
Ultra-FineWeb：高质量LLM训练数据的过滤与验证
qq_20144897的博客
05-15 1667
Ultra-FineWeb：高质量LLM训练数据的过滤与验证论文解读
最全 高质量 大模型 -预训练数据集（不定期更新）
u011559552的博客
09-13 4731
遇见数据集，国内领先的百万级数据集搜索引擎，实时追踪全球数据集市场，助力把握数字经济时代机遇。
1.3万亿token教育数据集登场：FineWeb-Edu如何重塑大模型学习能力？
gitblog_00831的博客
10-30 351
Hugging Face推出的FineWeb-Edu数据集以1.3万亿教育类token刷新行业标准，通过AI分类器精选的网页内容显著提升大模型在知识密集型任务上的表现，为教育AI应用开辟新路径。 ## 行业现状：数据质量决定大模型天花板 2025年教育AI市场呈现爆发式增长，据《2025年中国教育行业AI应用专题分析报告》显示，个性化学习、智能辅导系统和自动化评测已成为教育科技投资的三大热点。...
大模型开源数据集合整理和说明
haixiao0720的博客
05-02 1811
在这里插入图片描述](https://img-blog.csdnimg.cn/direct/2740231c496148b7aa61b7e0074169d8.png。https://huggingface.co/datasets/m-a-p/CodeFeedback-Filtered-Instruction （代码，早期可以不用）这两个数据集原始答案质量不行，但是问题质量应该非常高，就是数据飞轮的质量，可以用来做query聚类然后蒸馏。然后他的base用了这些数据集，应该你的计划都包含了。
RISC-V中文架构手册开源指令集的指南 RISC-V-Reader-Chinese-v2p1
02-26
RISC-V 自 2011 年推出以来迅速地普及。我们认为一个精简的程序员指南将进一步促进 它的发展，并促使新人理解为什么它是一个有吸引力的指令集，以及它与传统指令集架构 (ISA)的不同。 研究生期间自学资源之一，...
精选资源
Chinese Dialect Convert:段方言转换中文-开源
05-29
《Chinese Dialect Convert: 段方言转换中文——开源实现详解》 在信息化时代，语言作为文化的载体，其多样性和复杂性为交流带来了一定的挑战。尤其在中国，方言的广泛使用使得信息传递有时需要跨越地域性的障碍。...
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1824
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2181
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1171
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 885
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1396
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1631
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 779
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 579
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
C#天若OCR开源本地版：Chinese-lite与paddleocr集成设计
资源摘要信息:"基于Chinese-lite和paddleocr的C#天若ocr开源本地版设计源码" 在深入分析这一标题和描述后，我们可以抽取出以下知识点： 1. **项目背景及目的**： - 天若OCR开源本地版旨在提供一个本地化的图像...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值