- 博客(9)
- 收藏
- 关注
原创 Firecrawl的Docker配置
最近寻找爬虫项目时发现Firecrawl,官网提供的文档比较简单,实际操作遇到的困难还是很多,这里记录一下我的配置过程和解决办法。
2024-12-04 16:10:31
5369
16
原创 LangChain v0.2接入Ernie Speed大模型
ERNIE Bot Agent的LangChain插件目前包含如下组件:ErnieBot:大语言模型,用于完成文本补全任务。ErnieBotChat:聊天模型,用于完成对话补全任务。ErnieEmbeddings:文本嵌入模型,用于生成文本的向量表示。
2024-06-02 14:57:33
1086
1
原创 LangChain v0.2快速入门
ChatModel是 LangChain“Runnable”的实例,这意味着它们公开了一个用于与它们交互的标准接口。为了简单地调用模型,我们可以将消息列表传递给该.invoke方法。更常见的是,我们可以将模型与此输出解析器“链接”在一起。这意味着此输出解析器将在此链中每次被调用。此链采用语言模型的输入类型(字符串或消息列表)并返回输出解析器的输出类型(字符串)。我们可以看到它返回了一个ChatPromptValue由两条消息组成的消息。现在我们可以将其与上面的模型和输出解析器结合起来。
2024-06-02 14:35:53
651
原创 分布式SQL计算 Hive入门(包括Beeline客户端的启动)
Apache Hive是一款分布式SQL计算的工具,其主要功能是将SQL语句 翻译成MapReduce程序运行,基于Hive为用户提供了分布式SQL计算的能力写的是SQL、执行的是MapReduce。
2023-04-26 18:19:59
922
原创 MapReduce&YARN学习入门
MapReduce是“分散->汇总”模式的分布式计算框架,可供开发人员开发相关程序进行分布式数据计算。MapReduce提供了2个编程接口:•Map•Reduce其中•Map功能接口提供了“分散”的功能, 由服务器分布式对数据进行处理•Reduce功能接口提供了“汇总(聚合)”的功能,将分布式的处理结果汇总统计用户如需使用MapReduce框架完成自定义需求的程序开发只需要使用Java、Python等编程语言,实现Map Reduce功能接口即可。
2023-04-24 10:28:51
1323
3
原创 HDFS学习笔记
主从模式(Master-Slaves)就是中心化模式,表示有一个主节点来作为管理者,管理协调下属一批从节点工作。也称一主多从模式。
2023-04-18 14:12:27
1046
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人