ejinxian的专栏

该数据集可对单语和多语模型进行评估，但其并行性也可在一些跨语言环境中对跨语言文本表征进行评估。这些问题经过精心设计，以区分具有不同一般语言理解水平的模型。此外，还有 7 种语言包含在两种不同的脚本中，从而为印地语、乌尔都语、孟加拉语、尼泊尔语和僧伽罗语的罗马化变体制定了首个 NLP 基准。研究人员利用这个数据集评估了多语言屏蔽语言模型（MLM）和大语言模型（LLM）的能力。结果表明，尽管以英语为中心的 LLM 有显著的跨语言迁移能力，但在平衡的多语言数据上经过预训练的更小的 MLM 仍然能理解更多的语言。

SeamlessM4T 建立在 Meta 在该领域的现有工作基础上，包括 No Language Left Behind、Universal Speech Translator、SpeechMatrix 和 Massively Multilingual Speech。SeamlessM4T允许跨语音和文本单元进行评估的 BLASER 2.0 进行测试时，与目前最先进的语音到文本任务模型相比，SeamlessM4T 模型在语音到文本任务中对抗背景噪声和说话者变化的表现更好。

由此便引入了一个概念：「语言是 LLM 连接 AI 模型的通用接口」。该系统提出了一种让 LLM 充当控制器的新方法，让 LLM 来管理现有的 AI 模型，来完成多模态的复杂 AI 任务，并且使用语言作为通用接口。该研究提出的 HuggingGPT 是一个利用 LLM 连接机器学习社区（例如 HuggingFace）中各种 AI 模型以解决复杂 AI 任务的系统。连接 LLM 和 AI 模型的协作系统。大型语言模型 (LLM) 当前的问题可能是迈向 AGI（通用人工智能）的第一步，也是关键的一步。

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。第一梯队：ClickHouse、DorisDB、Kylin等优秀OLAP技术做存储，利用自带的连接引擎，快速响应，同时支持实时数据和离线数据的接入，外接可视化平台，通过权限管控后呈现给用户；Superset 是云原生的，旨在提供高可用性。

Sky Computing 构想的底层是云兼容层，通过抽象出云计算服务，使在该层之上开发的应用程序无需更改即可在不同的云上运行。兼容层可以从当前很多 OSS 解决方案中构建出来，如操作系统 Linux，集群资源管理器 Kubernetes、Mesos，数据库 MySQL、Postgres，⼤数据执⾏引擎 Spark、Hadoop，机器学习库 PyTorch 、Ten sorflow，通⽤分布式框架 Ray、Erlang 等等。Stoica 还是 AMPLab 共同创始人、Spark 的核心设计者。

研究遵循如下阶段：1、公开数据初筛2、 项目技术分类3、 专家审议4、入围公示 & 征集修正5、 热力值计算和关联分析6、 数据洞察和课题研究7、 报告审议项目初筛 Github 上 Topic Tag 满足如下条件且开源的大数据项目：根据大数据现代技术栈框架，对初筛项目进行技术分类。技术分类包括：数据集成、流处理、数据存储、数据查询和分析、数据开发、数据调度和编排、数据管理 / 安全 / 中间件、数据可视化。

Gradio的定位类似于Streamlit，但是更轻量，因为它推荐的应用场景都是对“单个函数”进行调用的应用，并且不需要对组件进行回调。比如下列场景（以下代码参考官方文档）Gradio提供机器学习模型或数据科学工作流程快速创建一个漂亮的用户界面，让人们通过拖放自己的图片、粘贴文本、录制自己的声音来 "试用"，并通过浏览器与你的演示进行互动。是一个开源的 Python 库，MIT的开源项目，用于构建机器学习和数据科学演示和 Web 应用。Gradio 需要 Python 3.7 或更高版本。

Prager 在普华永道开始了他的职业生涯，并在那里获得了注册会计师资格。Art Tyde，业务开发副总裁 ——Tyde 是一位拥有 30 年开源经验的资深人士，在初创企业和企业中拥有丰富的技术销售和工程经验。他曾担任 HPC 系统的解决方案架构师、经理和主管等职位，在这些职位上，他专注于从用户那里抽象出 HPC 系统的复杂性，以帮助扩展这些技术在科学和工程领域的访问。他的主要关注点是利用他的研究和工程经验，将机器学习与数据驱动的洞察力结合起来，为 CIQ 当前的产品堆栈解决 HPC 和云计算解决方案。

随着 BERT、Megatron、GPT-3 等预训练模型在 NLP 领域获得前瞻的成果，许多多团队也进入超大规模训练中，使得训练模型从亿级别发展到了千亿甚至万亿的规模。首先，模型参数量过大使得训练和推理速度过慢且部署成本极高；其次在很多实际场景中数据量不足的问题仍然制约着大模型在小样本场景中的应用，PAI 团队推出了 EasyNLP 中文 NLP 算法框架，助力大模型快速且高效的落地。

Cirq是一个Python框架，用于编写、操作和优化量子电路。它专为近期的量子计算机设计，这些计算机具有几百个量子比特和几千个量子门，而Cirq1.0版本支持这些系统的绝大多数工作流，并且有一个稳定的API。基于Cirq建立了一个健康的社区，支持不同的量子计算研究领域。...

这是来自70多个国家和250多个机构的1000多名研究人员一年工作的成果，最终在法国巴黎南部的JeanZay超级计算机上训练了117天(3月11日至7月6日)的BLOOM模型，这要归功于法国国家科学研究中心(CNRS)和法国科学研究中心(CNRS)估计价值300万欧元的计算拨款。今天，我们发布了BLOOM，第一个在完全透明的情况下训练的多语言LLM，以改变这一现状——这是有史以来最大的人工智能研究人员合作的结果。，该模型具有1760亿个参数，一举超越市面上的所有竞争对手，成为目前规模最大的语言模型。...

微软宣布开源 Grounded Open Dialogue Language Model (GODEL) 语言模型。GODEL 在单一语言模型中结合了两个重要功能。第一个是以任务为导向的，第二个是仍然使对话变得自然和社交。 GODEL 是一类预训练模型，基本上允许对话代理（例如聊天机器人）根据当前对话提供答案，同时还生成外部和相关信息，使您的交互更加真实和扎实。 GODEL 实际上是微软研究院于 2019 年发布的 DialoGPT 的进化版。微软基于自动化和人工的测试表明其最新

JAX 框架：能使用GPU加速的，支持自动微分的numpy。numpy在科学计算领域十分普及，但在深度学习领域。 Jax 是 Autograd 和 XLA 的结合用以提供高性能机器学习研究。作为 Autograd 的更新版本，JAX 可以自动微分原生 Python 和 Numpy 函数。可通过 loops、branches、recursion 和 closures，进行微分，并且能够对导数的导数求导。 2020 年，DeepMind 宣布使用 JAX 来加速其研究。越来越多来自

在AI 编程里，各大公司都推出自己AI 编程工具，亚马逊 CodeWhisperer 、 GitHub Copilot等，由机器学习（ML）驱动的服务。通过开发者的注释和代码来生成代码建议，帮助开发者提高生产力。 亚马逊 CodeWhisperer 是在数亿的开源代码和亚马逊自己的代码库上进行的训练，目前 CodeWhisperer 支持 Java、JavaScript 和 Python等各种语言。 目前 CodeWhisperer 支持包括 Visual

敲代码神器、程序员的AI助手GitHub Copilot，可以帮程序员节省时间，集中精力去解决更重大的问题，GitHub还希望Copilot能帮人掌握一门新的编程语言。GitHub Copilot架构上基于OpenAI和文本编辑器的架构，AI辅助功能基于penAI 的文本生成技术。而其前端则借助于开源的文本编辑器及其扩展实现的IDE。可以插入到VScode、Neovim、VS，JetBrains等流行的IDE中 开发人员使用GitHub Copilot实现AIcoding以及代码补全，和现有

Yandex 内部使用多年的YDB（Yandex Database）数据库开源。YDB 具有容错性、水平可扩展性，以及强一致性和对 ACID 事务的支持。YDB 的特点：容错配置：YDB 设计为在三个可用区工作，在磁盘、节点，甚至数据中心中断的情况下也能确保可用性； 可扩展性：添加或删除节点以根据需要轻松扩展和缩减，YDB 可以在实际生产中使用每秒数百万个事务和 PB 级数据； 自动容灾：在磁盘、服务器甚至数据中心发生故障后自动恢复，将应用程序的延迟中断降至最低； 用于数据操作..

OpenTURNS 是一个 C++ 和 Python 库，内置专用于处理不确定性数据的模型和算法。该库的主要目标是提供处理工业应用研究中的不确定性所需的所有功能。官方表示，该软件的目标用户是所有希望在迄今为止的确定性研究中引入概率维度的工程师。多元概率建模，包括依赖 专用于处理不确定性的数值工具 与任何类型的物理模型的通用耦合 开源，LGPL 许可，C++/Python 库...

经济分析和模型研究所（DREAM）近日在 GitHub了名为 "MAKRO" 的经济模型，并为其选择了宽松的 MIT 开源许可协议在经济学模型中，内生变量 (endogenous variables) 是该模型所要决定的变量，外生变量 (exogenous variables) 是由模型以外的因素所决定的已知变量。简单说就是在模型中的X轴Y轴（自变量和因变量）是内生变量，其他的（影响因变量变化的）变量全部都属于外生变量。aggregates-计算与许多其他模块相关的对象 consumer...

2019冠状病毒病大流行加速了2021年人工智能或机器学习的应用。企业对自动化的需求，加上人工智能硬件和软件的进步发展，有利于将人工智能应用变成现实。2022年预计会出现的五大人工智能趋势:趋势1:大型语言模型(LLM)定义下一波会话式人工智能语言模型是基于自然语言处理技术和算法来确定一个给定的单词序列出现在一个句子中的概率。这些模型可以预测句子中的下一个单词大型语言模型(LLMs)是在包含大量数据的大量数据集上进行训练的。谷歌的BERT和OpenAI的...

H2O.ai 是一家开发了开源框架和独特应用程序的初创公司，使各类公司都能够轻松建立和运营基于人工智能的服务。澳大利亚联邦银行就是H2O.ai 的客户，该公司的其他客户还包括有英伟达和 AT&T 等。PitchBook数据显示，H2O.ai 迄今为止已筹集了超过 2.5 亿美元的资金开源组件 H2O 目前已被超过 2 万家公司使用。根据 H2O.ai 的说法，其开源框架既可以与现有的大数据基础设施、裸机或与现有的 Hadoop、Spark 和 Kubernetes 集群配合使用，并且...

Facebook 的安全团队本周向开源社区揭晓了一个新的开源项目 ——Mariana Trench，这是一个用于识别 Android 和 Java 应用程序漏洞的开源工具，Facebook 此前一直在公司内部使用这个以应用安全为重点的工具可以分析数千万行的大型代码库，帮助开发者在代码出现漏洞之前发现漏洞，大大减少交付安全和隐私错误所带来的风险Mariana Trench 的工作方式：Mariana Trench 通过分析从 "源"（用户敏感数据，如密码或地理位置）到 "汇"（使用来自于源..

Qlib 涵盖了量化投资的全过程，为用户的 AI 算法提供了高性能的底层基础架构，从框架设计上让用户可以更容易地应用 AI 算法来辅助解决量化投资的各个关键问题（例如 Alpha 预测，风险预测，市场动态性建模）。对于金融从业者来说，Qlib 平台大大降低了使用 AI 算法的门槛，其内部集成了十几个 AI 算法在金融场景下的使用样例以供参考，并且为整个金融行业提供了一个适应 AI 算法的高性能基础设施和数据、模型管理平台。而对于 AI 从业者来说，Qlib 则提供了一个完备的投资研究框架，以及...

EMNLP，是自然语言处理经验方法会议（Conference on Empirical Methods in Natural Language Processing），是由国际语言学会（ACL）下属的SIGDAT小组主办的自然语言处理领域的顶级国际会议，也是自然语言算法的A类会议DBLP地址: dblp: EMNLP (Findings) 2020GitHub - tylin/coco-captionEMNLP 2020GitHub - yizhen20133868/NLP-Con.

AJ-Report是开源的一个BI平台，酷炫大屏展示，能随时随地掌控业务动态，让每个决策都有数据支撑。多数据源支持，内置mysql、elasticsearch、kudu驱动，支持自定义数据集省去数据接口开发，支持17种大屏组件，不会开发，照着设计稿也可以制作大屏。三步轻松完成大屏设计：配置数据源---->写SQL配置数据集---->拖拽配置大屏---->保存发布。欢迎体验特性：新增大屏分享功能 大屏图表动态数据集支持数据集 大屏图表动态数据集字典进行分类管理

GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美2020 年，微软与 OpenAI 达成了协议，微软将拥有对 GPT-3 源代码的独家访问权，自此 OpenAI 就不像以往一样开放其 GPT-3 AI 模型，而 OpenAI 的 GPT-1 和 GPT-2 仍然是开源项目打破 OpenAI 和微软对自然语言处理 AI 模型的垄断，Connor Leahy、Leo

OpenAI与GitHub联合构建的AI自动编程工具Copilot，Copilot基于自然语言处理模型GPT-3搭建而成，Copilot预览版已经正式上线Visual Studio Code平台OpenAI的GPT-3初识2019年DOTA2的顶级赛事TI8的正赛完成，OpenAI以2：0完胜了OGOpenAI开始转战自然语言处理领域，OpenAI发布了全新一代的NLP模型——GPT-3GPT-3商业应用CopilotGPT-3最火的阶段，代码补全这个应用虽然也被业界关注..

EMRJindo 是阿里云基于Apache Spark / Apache Hadoop在云上定制的分布式计算和存储引擎EMR Jindo 有计算和存储两大部分，存储的部分叫 JindoFS。JindoFS 是阿里云针对云上存储定制的自研大数据存储服务，完全兼容 Hadoop 文件系统接口，给客户带来更加灵活、高效的计算存储方案，目前已验证支持阿里云 EMR 中所有的计算服务和引擎：Spark、Flink、Hive、MapReduce、Presto、Impala 等。...

Apache DolphinScheduler 分布式易扩展的可视化DAG工作流任务调度系统Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用Apache DolphinScheduler 架构Apache DolphinScheduler 特性以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态 支持丰富的

Apache Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台Message consumption(消息消费)：如何发送和消费消息 Message Acknowledgement(消息确认)：如何确认消息 Message Retention(消息保留)：消息要保留多久、出发消息删除的原因以及删除方式典型的基于排队的消息传递系统包括RabbitMQ和RocketMQ1、历史背景Pulsar源自Yahoo，于2016年开源并捐献给...

Lakehouse是一种结合了数据湖和数据仓库优势的新范式，解决了数据湖的局限性。Lakehouse使用新的系统设计：直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。如果你现在需要重新设计数据仓库，现在有了廉价且高可靠（以对象存储的格式）的存储可用，不妨考虑使用Lakehouse数据仓库、数据湖以及 data lakehouse 比较Lakehouse架构Lakehouse可定义为基于低成本，可直接访问存储的数据管理系统，该系统还提供传统的...

Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效Apache Doris 核心特性Doris存储文件格式优化选择Doris 的原因...

openlookeng 官网1、openLookeng概述openLooKeng是一种"开箱即用"的引擎，支持在任何地点（包括地理上的远程数据源）对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持，为企业工作负载提供了所需的可靠性openLooKeng用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层...

Alluxio 官网1、Alluxio概述Alluxio的前身为Tachyon，Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。2、Alluxio 架构 HDFS、HBase、Spark等大数据相关框架一致， 与HDFS、HBase、Spark等大数据相关框架一致，3、Alluxio 应用...

MLSQLConsole是MLSQL Stack 套件中非常重要的一款直接面向普通用户的产品。 MLSQL Console支持无编码所见即所得的交互性数据分析，同时也提供了面向大数据和AI的语言MLSQL的支持，拥有诸如脚本管理，代码补全，执行等功能1、MLSQL 特性： 1-1、易用性：MLSQL非常易于使用，以SQL为基本语法单元，支持命令行形态，内嵌Python，可以直接分布式操作海量数据，玩转数据于弹指之间； 1-2、数据安全性：MLSQL语言内置数据安...

数据湖三剑客1、Iceberg 基本结构1-1、Iceberg 表格式Apache Iceberg是一种用于大型分析数据集的开放表格格式。Iceberg向Trino和Spark添加了使用高性能格式的表，其工作方式就像SQL表一样2、Icebreg 核心 通过快照方式，在时间延续上记录表的所有变化 2-1、某个时间节点，表的所有数据文件列表 2-2、每次更新操作都生成新的快照 2-3、实现数据：...

数据湖（Data Lake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。 数据湖是包含数据存储、数据处理、数据分析的一系列操作，集中存储、海量存储才能构成数据湖的基本要素之一，数据处理主要是在大数据里方便和快速查看想要的数据，数据分析是通...

随着科技的进步，大数据存储和处理需求越来越多样化，日常所产生的数据，如果不经过存储和数据处理，就没法有效的利用数据资源提供服务。人工智能的三要素：数据、算力和算法，数据： 数据是最基础，也是有数据作为前提条件，我们才能为人工智能做AI 的训练，数据是资源，要得到资源的价值，就必须进行有效的数据分析，数据分析主要依靠机器学习算法。算力： 算力是对数据进行计算的时间单位，深度学习，要训练出来需要很多数据，很强是算力支撑，有数据之后，需要进行训练，不断地训练，除了训...

Marcos Lopez de Prado应邀在美国计算机学会关于金融领域的人工智能会议上发表主旨演讲，会议将于2020年10月14日至16日举行conference-program：https://ai-finance.org/conference-program/《Machine Learning for Asset Managers》《Advances in Financial Machine Learning》投资组合构建/风险分析https://papers....

Facebook AI研究团队开源的机器人框架PyRobot，该框架是与美国卡耐基梅隆大学（Carnegie Mellon University）研究人员合作创建的， 能够运行由Facebook的机器学习框架PyTorch训练的深度学习模型PyRobot目前支持Sawyer和LoCoBot两种类型的机器人。其中Sawyer是一个7DoF的协作机械臂，广泛应用于机器操控、包装、ECM自动化等众多领域，并已成功进入电子、汽车、金属制造等多个行业；而LoCoBot是一个移动机械臂，主要用于卡内基梅隆大学机器.

Apache 软件基金会（ Apache Software Foundation，ASF）于官网发文，Apache Hudi晋升为 Apache 顶级项目（TLP）。Apache Hudi（HadoopUpsertsDelete andIncremental）数据湖技术可在 Apache Hadoop 兼容的云存储和分布式文件系统之上进行流处理核心功能包括：可插拔式的索引支持快速 Upsert/Delete。 事务提交/回滚数据。 支持捕获Hudi表的变更进行流式处理。 支持...