<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Sojer的读书笔记]]></title><description><![CDATA[记录概括一些学习的要点，好记性不如烂笔头]]></description><link>https://blog.youkuaiyun.com/sojer</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sojer]]></copyright><item><title><![CDATA[招聘中记录的一些大模型应用不错的经验]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/150921981</link><guid>https://blog.youkuaiyun.com/sojer/article/details/150921981</guid><author>sojer</author><pubDate>Wed, 27 Aug 2025 11:47:24 +0800</pubDate><description><![CDATA[3、车机场景的训练数据是在外边买的，有资质的数据供应商可采购，可以提需求，如抽烟，打电话，厂商要雇人帮忙录，厂商要采集和标注，也比较贵。他们要租车要找人去做。2、车载使用了0.5B的多模态大模型，做一些车机对话的信息记录，作为上下文加入到后续的对话中，可用上声纹识别识别角色；记录上车的人群，做场景匹配，比如儿童场景；1、交互场景中关键信息的记录：车机交互场景中，或机器人多轮交互场景中，由大模型判断哪些关键信息要记录到记忆库里面。4、终端计算，在一些终端上能支撑计算的话，云端算力可以释放出来，降低中央成本。]]></description><category></category></item><item><title><![CDATA[【无标题】]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/126507971</link><guid>https://blog.youkuaiyun.com/sojer/article/details/126507971</guid><author>sojer</author><pubDate>Wed, 24 Aug 2022 16:56:59 +0800</pubDate><description><![CDATA[hadoop文件分块大小设置计算方法与原理]]></description><category></category></item><item><title><![CDATA[数据湖学习笔记]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/120621827</link><guid>https://blog.youkuaiyun.com/sojer/article/details/120621827</guid><author>sojer</author><pubDate>Sat, 02 Apr 2022 18:21:39 +0800</pubDate><description><![CDATA[数据湖的理念：1、能够存储海量的原始数据
结构化数据
半结构化数据
非结构化数据
二进制数据（图片等）2、能够支持任意的数据格式
底层存储：S3、OSS、HDFS，Parquet、Avro、Orc
数据缓存加速
轻量级索引3、有较好的分析和处理能力
多种数据源接入、数据连接、Schema管理、权限管理，
批处理、流处理、交互式分析、机器学习

=============================

Hudi特性：廉价存储、table schema、acid语义保证，多版本保证、支持流批读写
不需强绑定]]></description><category></category></item><item><title><![CDATA[【转载】Swift里的CAP理论和NWR策略应用]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/119331351</link><guid>https://blog.youkuaiyun.com/sojer/article/details/119331351</guid><author>sojer</author><pubDate>Mon, 02 Aug 2021 18:29:48 +0800</pubDate><description><![CDATA[转载自：http://blog.sina.com.cn/s/blog_57f61b490101a8ca.html

最近有人讨论到swift副本数是否能够调整，3副本成本过高，如果改成2副本怎么样？多聊了几句以后发现不少人可能都是望文生义，简单的认为副本数只是多一个少一个Copy的问题，并不了解背后的理论依据。所以想写个简单的介绍，普及分布式系统设计的一些基础知识点。这个是按傻瓜版写的，已经知道的同学请自动无视。



不同于传统的集中式存储，对于分布式存储系统来说，因为自身的复杂性，副本数并非简单拍脑..]]></description><category></category></item><item><title><![CDATA[广州大数据项目招资深大数据运维工程师]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/112260132</link><guid>https://blog.youkuaiyun.com/sojer/article/details/112260132</guid><author>sojer</author><pubDate>Wed, 06 Jan 2021 11:13:54 +0800</pubDate><description><![CDATA[工作职责：

一、负责大数据基础平台的运维

负责大数据基础平台维护，确保集群稳定运行；
	数据可用性检查，保证数据质量；
	集群安全管理、数据安全管理、租户管理等；
二、负责相关服务产品的落地执行

制定各类日常维护和监控方案(业务)，保证系统稳定运行，业务数据信息准确无误。
三、完成公司工程合同中的业务系统部署、联调测试，上线等工作

配合工程团队完成各类工程合同的实施落地，包括新系统（软件）的部署，联调测试，上线等工作；
	根据产品的版本规划计划和客户侧需求，完成现网生产环境的版本同步升级和配套服务支]]></description><category></category></item><item><title><![CDATA[转型大数据的一点心得]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/107287734</link><guid>https://blog.youkuaiyun.com/sojer/article/details/107287734</guid><author>sojer</author><pubDate>Sat, 11 Jul 2020 17:59:01 +0800</pubDate><description><![CDATA[大数据这个话题实在太大，一篇小文装不下冰山一角。故只写一点自己从Java开发转型到大数据来的心得。

大数据，其实也是分方向的，我总结为两个方向：大数据应用开发与大数据平台开发。区别是什么？简单地说，大数据应用开发是使用生态里的各种组件与平台，去实现各种大数据需求；而大数据平台开发，就是给大数据应用开发者开发这种平台。方向该挑哪个？这几乎没得选，各个公司对大数据的探索演进程度参差不齐，只是用用的，就只需要应用开发，要做数据中台的，就要平台开发。两种岗位对技能要求的区别：应用开发需要懂Hadoop生态，然后会]]></description><category></category></item><item><title><![CDATA[chproxy测试时遇到的执行成功但数据没插入的问题]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/105689154</link><guid>https://blog.youkuaiyun.com/sojer/article/details/105689154</guid><author>sojer</author><pubDate>Mon, 27 Apr 2020 16:12:42 +0800</pubDate><description><![CDATA[首先要说明的时，这是“测试时”。生产环境不一定会遇到。
]]></description><category></category></item><item><title><![CDATA[gorse试用]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/105412382</link><guid>https://blog.youkuaiyun.com/sojer/article/details/105412382</guid><author>sojer</author><pubDate>Thu, 09 Apr 2020 16:18:36 +0800</pubDate><description><![CDATA[注：本试用是在win10下安装试用

一、导入items成功：


gorse import-items C:\Users\zhouxiujue/.gorse/gorse.db D:\golang\dataset\ml-100k\u.item


2020/04/09 11:45:04 database status: 0 feedback, 0 items
2020/04/09 11:45:04...]]></description><category></category></item><item><title><![CDATA[clickhouse里物化视图如何跟随源表更新数据]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/104903323</link><guid>https://blog.youkuaiyun.com/sojer/article/details/104903323</guid><author>sojer</author><pubDate>Mon, 16 Mar 2020 17:11:03 +0800</pubDate><description><![CDATA[创建两个源表，只有两个字段，通过id关联：
CREATE TABLE default.test0 (
`id` String,
 `name` String
) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_granularity = 8192

CREATE TABLE default.test00 (
`id` St...]]></description><category></category></item><item><title><![CDATA[clickhouse复杂时间格式转换]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/104818570</link><guid>https://blog.youkuaiyun.com/sojer/article/details/104818570</guid><author>sojer</author><pubDate>Thu, 12 Mar 2020 14:41:59 +0800</pubDate><description><![CDATA[1、如果只用toDateTime，你需要拼接成一个完全按照YYYY-MM hh:mm:ss格式的字符串给它，否则，它会当你是一个从1970年偏移的毫秒去转换
SELECT 20191231235959 as expire_date, toDateTime(20191231235959), 
concat(toString(floor(20191231235959/10000000000)), '-...]]></description><category></category></item><item><title><![CDATA[clickhouse几种create table的情况]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/104692485</link><guid>https://blog.youkuaiyun.com/sojer/article/details/104692485</guid><author>sojer</author><pubDate>Fri, 06 Mar 2020 11:43:46 +0800</pubDate><description><![CDATA[普通建表：
CREATE TABLE dis_j.D_F1_shard on  cluster cluster_demo (
`product_code` String, 
 `package_name` String
) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192

分布表：
CREATE ...]]></description><category></category></item><item><title><![CDATA[clickhouse修改默认数据目录和log目录]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/104643238</link><guid>https://blog.youkuaiyun.com/sojer/article/details/104643238</guid><author>sojer</author><pubDate>Tue, 03 Mar 2020 22:17:54 +0800</pubDate><description><![CDATA[测试节点配置

1、配置用户密码

由于是测试，从简，只用明文


&lt;password&gt;aspire123&lt;/password&gt;


2、修改数据目录

创建数据文件夹


/opt/aspire/product/isp_cert
/opt/aspire/product/isp_cert/clickhouse


安装时生成的默认文件迁移


mv /var/lib/cli...]]></description><category></category></item><item><title><![CDATA[clickhouse中Nullable与非空字段的建表与类型互转]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/104627542</link><guid>https://blog.youkuaiyun.com/sojer/article/details/104627542</guid><author>sojer</author><pubDate>Tue, 03 Mar 2020 10:51:15 +0800</pubDate><description><![CDATA[--2020.3.3 有些表随着业务发展会涉及到增加字段 1、历史数据字段容许为空 2、历史数据字段补全 3、兼容性转换
drop table default.tttt
CREATE TABLE default.tttt(
id String,
name String
) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_...]]></description><category></category></item><item><title><![CDATA[clickhouse的left join、any right join、any left join实验]]></title><link>https://blog.youkuaiyun.com/sojer/article/details/104607021</link><guid>https://blog.youkuaiyun.com/sojer/article/details/104607021</guid><author>sojer</author><pubDate>Mon, 02 Mar 2020 11:38:40 +0800</pubDate><description><![CDATA[drop table jiakai.testJoin1
CREATE TABLE jiakai.testJoin1(
id String ,
b String
) ENGINE = MergeTree ORDER BY id SETTINGS index_granularity = 8192

CREATE TABLE jiakai.testJoin2(
id String ,
b String
...]]></description><category></category></item></channel></rss>