- 博客(6)
- 收藏
- 关注
RSS订阅原创 DataX
DataX完成单个数据同步的作业，我们称之为Job。DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataXJob模块是单个作业的中枢管理节点，承担了数据清洗、子任务切分（将单一作业计算转化为多个子Task）、TaskGroup管理等功能。DataXJob启动之后，会根据不同的源端切分策略，将Job切分成多个小的Task（子任务），以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
2025-02-18 10:08:24
1077
原创 如何使用硅基流动去使用DeepseekR1模型
使用Chatbox对DeepseekR1模型进行调用，不用因为电脑配置不够部署不了高性能模型而烦恼，这篇文章直接教你打破这个烦恼
2025-02-10 10:34:04
675
原创 MapReduce
该阶段的编程模型中有一个 reduce 函数需要开发人员重写，reduce 函数的输入也是一个 <key，value> 对，reduce 函数的输出也是一个<key，value> 对。该阶段的编程模型中会有一个 map 函数需要开发人员重写，map 函数的输入是一个 <key,value> 对,map 函数的输出也是一个<key,value> 对，key 和 value 的类型需要开发人员指定。我们在上述的代码中，将 mapper 的逻辑和 reducer 的逻辑分开实现，写在了两个文件中。
2023-05-22 21:41:50
1342
1
原创 python数据容器之列表
在堆空间中开辟一个新的空间，将原来容器中的每一个元素拷贝到这个新的空间中。深拷贝会产生新的堆空间，得到的容器类型的变量，也是指向新的堆空间的地址，因此对原来的容器没有影响。浅拷贝不会有新的堆空间开辟，得到的两个容器类型的变量，其实存储的都是地址，指向的是相同的空间。: 为了创建一个新的列表，在新的列表创建的时候，可以根据一个已有的序列，对其中的元素进行映射、过滤。但是列表和字符串还是不同的，列表是可变的，也就是说，可以通过索引来修改指定位置的元素。切片，是获取到一个新的列表，原来列表中的元素是不会改变的。
2023-05-13 16:23:27
211
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人