<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[白乔专栏]]></title><description><![CDATA[资深代码研究员，大数据爱好者]]></description><link>https://blog.youkuaiyun.com/bluejoe2000</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; bluejoe2000]]></copyright><item><title><![CDATA[理解transformer]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/145129035</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/145129035</guid><author>bluejoe2000</author><pubDate>Tue, 14 Jan 2025 08:53:56 +0800</pubDate><description><![CDATA[Transformer由论文提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。Transformer 与 RNN 不同，可以比较好地并行训练。]]></description><category></category></item><item><title><![CDATA[多模态大模型（mllm）论文Survey和一些思考]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/144255729</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/144255729</guid><author>bluejoe2000</author><pubDate>Thu, 05 Dec 2024 09:11:17 +0800</pubDate><description><![CDATA[1. 简介（Introduction）

自以gpt3为代表的大语言模型问世以来，纯文本模态的大模型和多种模态混合的多模态大模型都获得了迅速的发展，无论是学术界还是工业界。文本模态的大语言模型几乎学习了目前人类能够从公开渠道获取到的所有的文本数据，结合模型规模的扩大以及模型“涌现”能力，使得大语言模型的“智能”、“记忆”、“推理”、“对话”、“创作”等多方面的能力得到了长足的发展。互联网发展到今天，除了海量的文本数据之外，还产生了更多的多模态数据，如图文多模态数据、音视频、甚至于某些终端还包含了位姿信号、深]]></description><category></category></item><item><title><![CDATA[漫画大模型简史]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/144255499</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/144255499</guid><author>bluejoe2000</author><pubDate>Thu, 05 Dec 2024 09:04:30 +0800</pubDate><description><![CDATA[2012年：杰弗里·辛顿的指导下，亚历克斯·克里泽夫斯基（Alex Krizhevsky）开发出AlexNet模型，在ImageNet图像识别竞赛中取得了显著的成绩，推动了深度卷积神经网络的发展。时间的从1943年说起，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts）提出了人工神经元模型，也就是阙值逻辑单元（TLU），这是神经网络研究的基础。2023年：OpenAI发布了GPT-4，具备多模态处理能力和更强的理解与生成性能，进一步推进了通用人工智能的发展。]]></description><category></category></item><item><title><![CDATA[消融实验（Ablation Study）]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/144255374</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/144255374</guid><author>bluejoe2000</author><pubDate>Thu, 05 Dec 2024 08:56:45 +0800</pubDate><description><![CDATA[通过系统地移除（或“消融”）模型中的某些部分，并观察这种变化如何影响模型的性能，研究者可以深入了解各个组件在模型中的贡献程度，从而指导模型的改进和优化。然后，逐一或组合地移除模型中的某些组件，如特定的层、算法、特征等，每次修改后都重新训练模型并评估其性能。优化模型：基于消融实验的结果，研究者可以识别出对模型性能贡献较小的组件，并考虑将其移除或替换，以优化模型的整体性能。理解模型：通过逐步移除模型的不同部分，研究者可以更深入地理解模型的工作原理和各个组件之间的相互作用。]]></description><category></category></item><item><title><![CDATA[科学数据中心软件栈FairStack]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/128037374</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/128037374</guid><author>bluejoe2000</author><pubDate>Fri, 25 Nov 2022 14:26:15 +0800</pubDate><description><![CDATA[FairStack面向科学数据中心在科学数据全生命周期管理中的共性需求，提供科学数据汇聚、管理、分析、共享全流程服务以及安全防护等支撑保障，致力于推进科学数据中心的FAIR化（可发现Findable、可访问Accessible、可互操作Interoperable、可重用Reusable）。面向机构科研团队的数据公开发布需求，提供科学数据发布审核、资源发现、资源访问和用户支持等核心功能服务，通过构建科学数据中心标准化服务接口，实现多元数据的互操作，并实现数据资源唯一标识（DOI，CSTR）。]]></description><category></category></item><item><title><![CDATA[使用Neo4j+InteractiveGraph实现豆瓣电影知识图谱可视化]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/113685031</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/113685031</guid><author>bluejoe2000</author><pubDate>Fri, 05 Feb 2021 11:18:46 +0800</pubDate><description><![CDATA[0.介绍

本文基于豆瓣电影数据构建了一个电影知识图谱。其中包括电影、演员、导演三种节点及相关关系。并使用InteractiveGraph对图谱完成可视化工作。

数据丰富，图谱包含2.7万个节点，5万条关系
	使用Neo4j图数据库进行图存储
	支持大图全局可视化预览
	支持节点关联发现
	支持节点展开浏览可视化
所用到的程序包括：

Tomcat 8.5
	Neo4j 社区版3.5.12
	InteractiveGraph 0.3.2 (项目地址:https://github.com/grapheco/]]></description><category></category></item><item><title><![CDATA[RocksDB使用场景和特性]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/113683051</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/113683051</guid><author>bluejoe2000</author><pubDate>Fri, 05 Feb 2021 10:46:31 +0800</pubDate><description><![CDATA[https://www.jianshu.com/p/3302be5542c7

存储和访问数百PB的数据是一个非常大的挑战，开源的RocksDB就是FaceBook开放的一种嵌入式、持久化存储、KV型且非常适用于fast storage的存储引擎。
  传统的数据访问都是RPC，但是这样的话访问速度会很慢，不适用于面向用户的实时访问的场景。随着fast storage的流行，越来越多的应用可以通过在flash中管理数据并快速直接的访问数据。这些应用就需要使用到一种嵌入式的database。
  使用嵌入式的]]></description><category></category></item><item><title><![CDATA[RocksDB调优指南]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/111296668</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/111296668</guid><author>bluejoe2000</author><pubDate>Wed, 16 Dec 2020 17:35:03 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/zerooffdate/article/details/89458362

本指南的目的是提供你足够的信息用于根据自己的工作负载和系统配置调优RocksDB。

RocksDB非常灵活，这有好也有坏。你可以真多很多工作场景和存储技术进行调优。在Facebook，我们使用相同的代码跑内存工作压力，闪盘设备和机械硬盘。然而，灵活性不总是对用户友好的。我们引入了大量的调优参数，让人疑惑不解。我们希望这个指南会帮助你压榨你的系统的最后一滴性能并且完全利用你的资源。

我们]]></description><category></category></item><item><title><![CDATA[转变：从SQL技术栈到图技术栈]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/108338801</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/108338801</guid><author>bluejoe2000</author><pubDate>Tue, 01 Sep 2020 13:00:59 +0800</pubDate><description><![CDATA[【摘要】传统的以SQL为中心的技术栈无法有效地应对大数据场景带来的多元异构数据管理、大规模关系网络管理和复杂网络分析等挑战,本文针对新型大数据技术栈展开研究。通过分析图数据模型的优势,结合图技术的发展和应用现状,提出以图为中心的新型大数据技术栈，该技术栈在生物数据网络、科技知识图谱等实际应用中得到较好的验证。尽管该技术栈的大面积推广还存在支撑工具不足、应用生态不够成熟等困难。但我们相信，以图为中心的新型大数据技术栈会在更多的大数据应用场景中发挥更大的价值。

1 以SQL为中心的技术栈

　　1969年,C]]></description><category></category></item><item><title><![CDATA[图数据交互可视化分析框架InteractiveGraph v0.3版本发布]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/104333111</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/104333111</guid><author>bluejoe2000</author><pubDate>Sat, 15 Feb 2020 19:43:02 +0800</pubDate><description><![CDATA[图数据交互可视化分析框架 InteractiveGraph日前发布v0.3版本，下载地址https://github.com/grapheco/InteractiveGraph/releases/tag/0.3.1。
图数据模型具有对实体关系的表达能力强、属性 及结构可扩展性好、关联查询高效等优势。在对海量 的多元异构信息进行建模时, 图数据模型较关系模 型、键值模型、文档模型等而言具有更好的直观...]]></description><category></category></item><item><title><![CDATA[MySQL 主从复制与读写分离概念及架构分析]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/103078790</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/103078790</guid><author>bluejoe2000</author><pubDate>Fri, 15 Nov 2019 09:03:02 +0800</pubDate><description><![CDATA[1.MySQL主从复制入门

首先，我们看一个图：




			影响MySQL-A数据库的操作，在数据库执行后，都会写入本地的日志系统A中。

			

			假设，实时的将变化了的日志系统中的数据库事件操作，在MYSQL-A的3306端口，通过网络发给MYSQL-B。

			

			MYSQL-B收到后，写入本地日志系统B，然后一条条的将数据库事件在数据库中完成。

			

			...]]></description><category></category></item><item><title><![CDATA[白乔原创：理解Neo4j的Cypher执行引擎]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/101629734</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/101629734</guid><author>bluejoe2000</author><pubDate>Sat, 28 Sep 2019 19:34:39 +0800</pubDate><description><![CDATA[org.neo4j.cypher.internal.ExecutionEngine
其中execute()
      val preParsedQuery = preParser.preParseQuery(query, profile)
      val executableQuery = getOrCompile(context, preParsedQuery, queryTracer, ...]]></description><category></category></item><item><title><![CDATA[Scala的编程规范与最佳实践]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/101520022</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/101520022</guid><author>bluejoe2000</author><pubDate>Fri, 27 Sep 2019 11:12:28 +0800</pubDate><description><![CDATA[应用层


80/20原则：80%的代码是 纯函数，其余如处理IO，数据库，用户交互等方面的20%的代码也应该尽量轻量级
培养面向表达式的编程思维，培养函数式编程思维
用Actor模型实现并发功能
将更多的 行为 从 类里 移到 更细粒度的 trait中


代码层


坚持写纯函数
习惯将函数作为变量和参数进行传递
重点学习scala的集合类和其API
尽量使用immutable代码，优先使用v...]]></description><category></category></item><item><title><![CDATA[乐观锁与悲观锁]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/88082553</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/88082553</guid><author>bluejoe2000</author><pubDate>Sat, 02 Mar 2019 22:23:34 +0800</pubDate><description><![CDATA[转载自https://blog.youkuaiyun.com/qq_34337272/article/details/81072874

何谓悲观锁与乐观锁
乐观锁对应于生活中乐观的人总是想着事情往好的方向发展，悲观锁对应于生活中悲观的人总是想着事情往坏的方向发展。这两种人各有优缺点，不能不以场景而定说一种人好于另外一种人。

悲观锁
总是假设最坏的情况，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的...]]></description><category></category></item><item><title><![CDATA[转载：用户画像建设过程简析]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/84589423</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/84589423</guid><author>bluejoe2000</author><pubDate>Wed, 28 Nov 2018 17:50:40 +0800</pubDate><description><![CDATA[https://mp.weixin.qq.com/s?__biz=MzI0NzAwMzcyNQ==&amp;amp;mid=2247483655&amp;amp;idx=1&amp;amp;sn=11b9bf9c862e88ae6b744c1374e3335f&amp;amp;chksm=e9b7ee25dec06733a6cedf8dda35bbc841518cbd6a6d648cef1481e97b8cbfbee662416...]]></description><category></category></item><item><title><![CDATA[转载：用户画像系统原型]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/84588874</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/84588874</guid><author>bluejoe2000</author><pubDate>Wed, 28 Nov 2018 17:32:33 +0800</pubDate><description><![CDATA[https://mp.weixin.qq.com/s/kEstjsrMhk7lfEk67r7Vnw

用户画像的概念在前面写的一系列文章有过详细介绍，感兴趣的可以翻阅。这篇梳理下一个完整的用户画像产品有哪些功能，给出一个比较粗略的产品原型。

 

用户画像建设过程简析|连载一

建立用户画像的标签体系 | 连载二

时尚全媒体用户画像建模 | 连载三

构建新零售业态中的用户画像标签体系（附带整...]]></description><category></category></item><item><title><![CDATA[Lambda架构已死，去ETL化的IOTA才是未来]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/84588163</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/84588163</guid><author>bluejoe2000</author><pubDate>Wed, 28 Nov 2018 17:30:01 +0800</pubDate><description><![CDATA[http://www.sohu.com/a/228020781_115326

经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化。

▌Lambda架构

在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需...]]></description><category></category></item><item><title><![CDATA[分布式系统唯一ID生成方案汇总]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/83472863</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/83472863</guid><author>bluejoe2000</author><pubDate>Sun, 28 Oct 2018 11:02:13 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/haoxinyue/p/5208136.html

系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。下面就介绍一些常见的ID生成策略。

1. 数据库自增长序列或字段

最常见的方式。利用数据库，全数据库唯一。

优点...]]></description><category></category></item><item><title><![CDATA[HBase的rowkey的设计原则]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/83472472</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/83472472</guid><author>bluejoe2000</author><pubDate>Sun, 28 Oct 2018 10:27:11 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/yuguoshuo/p/6265649.html

HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。

HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有两种方式：

1、通...]]></description><category></category></item><item><title><![CDATA[ceph存储分布式系统设计系列 -- 基本原理及高可用策略]]></title><link>https://blog.youkuaiyun.com/bluejoe2000/article/details/83449339</link><guid>https://blog.youkuaiyun.com/bluejoe2000/article/details/83449339</guid><author>bluejoe2000</author><pubDate>Sat, 27 Oct 2018 20:20:48 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/skdkjzz/article/details/50737241?utm_source=blogxgwz1

“分布式系统设计”系列第一篇文章，这篇文章主要介绍一些入门的概念和原理，后面带来一些高可用、数据分布的实践方法！！

 

==&amp;gt; 分布式系统中的概念
==&amp;gt; 分布式系统与单节点的不同
==&amp;gt; 分布式系统特性
==&amp;gt; 分布...]]></description><category></category></item></channel></rss>