- 博客(61)
- 资源 (14)
- 问答 (2)
- 收藏
- 关注
原创 如何在本地部署deepseek-r1模型【详细步骤】
引言:最近在跟几个朋友聊到企业AI应用的时候,发现我们虽然一直在使用各种大模型提供的端侧应用,聊天APP等,但是对很多企业来说,私有数据不方便上传至公网,提问记录也不希望被公网记录。当然还有一个重要的原因就是Token的消耗。当然大部分企业也不会投入大成本进行大模型的训练,由此在本地部署LLM,也是一个比较迫切的需求。很多人也想在自己机器上部署大模型,创建自己的模型,今天咱们就以deepseek-r1模型为例,使用Ollama部署本地模型。
2025-01-30 14:15:04
465
原创 数据思维的哲学思考
数据思维的哲学基础源于唯物主义哲学。在马克思的唯物主义思想中,世界是物质的,物质是运动的,运动是有规律的,规律是客观的。数据思维的哲学基础就是:用数据探索世界的规律。
2024-12-22 12:20:56
501
原创 业绩汇报不够亮眼?试试这些小套路,效果翻倍!
年底了,又到一年一度的业绩汇报季。明明是同样一份数据,为什么有的人能汇报得引人注目,而有的人却平淡无奇?其实,数据汇报有“心机”可用!今天给大家分享几个小技巧,让你的数据瞬间“发光发热”。学会这些小心机,能让数据汇报更有吸引力,但别忘了,我们最终要做的,是用数据说真话、做实事。如果你还有其他有趣的汇报技巧,欢迎在评论区留言讨论!也欢迎关注我的同名微信公众号:五只鸭子,一起提升我们的数据分析思维。
2024-12-11 10:24:42
352
原创 Redis 逻辑过期策略设计思路
当我们平常使用Redis缓存的时候,会出现一种场景, redis的key到过期时间了,总是需要到数据库里面去查一遍数据再set回redis,这个时候如果数据库响应比较慢,那么就会造成用户等待,如果刚好并发比较大,则有可能给数据库造成巨大的压力,甚至导致服务不可用。当客户端发起GET请求的时候,首先判断Value是否有值。如果没有,说明物理过期时间已经过期了,这个时候执行LoadValue函数,一般是从数据库里面加载数据,然后再调用Set请求,将数据set进Redis,并将数据返回给Client。
2024-04-18 15:16:54
2655
原创 岭回归:优化预测的利器
在数据科学和机器学习的领域,构建准确、稳定的预测模型是一项至关重要的任务。岭回归作为一种强大的工具,被设计用来应对数据集中存在多重共线性的问题,并通过引入正则化来缩小预测误差。岭回归是线性回归的一种扩展形式,通过在损失函数中引入L2正则化项,控制模型的复杂度。其中,yi 是观测值,xij 是特征矩阵的元素,β0 是截距项,βj 是自变量的系数,α 是正则化参数。
2024-03-12 23:43:33
706
原创 概率与常见的概率分布
概率是数据分析、机器学习中最基础的知识。也是在生活中最实用的一门学科,学了很多大道理不一定能过好一生,学好概率则有一定概率会变得更好。
2024-03-12 23:34:32
1853
原创 ABC原则助你选择合适的数据类型
在数据库中,不论是关系型数据库还是大数据等,面对数据类型选择的时候ABC原则都适用。ABC原则,即Appropriate(合适的)、Brief(消耗最少的资源)、Complete(数据不可丢失)帮助我们更好地选择数据类型。
2024-02-25 15:21:19
557
原创 埋点事件属性设计方案
除了通用属性外,通常根据不同的业务,或操作展现性质,会有不同的属性,为了让事件属性不要膨胀,建议在埋点管理系统中将事件和事件属性进行严格管控。预制事件通常由第三方的埋点系统自己上报,市面上有比较多的第三方埋点系统,例如神策、每一个页面离开的时候,需要上报 page_leave 事件,事件名称为 页面离开。每一个页面进入的时候,需要上报 page_view 事件,事件名称为 页面浏览。可以规定事件创建的时候,属性必须是从现有的属性池中选择,而不是随意添加。事件的通用属性,每个元素事件都需要上传。
2024-02-25 14:20:30
1812
原创 用户行为埋点采集方案架构概览
在互联网应用中,了解用户的行为对产品的优化和公司的战略至关重要,市面上主要涵盖这三种埋点方式,分别是全埋点、可视化埋点和代码埋点,各有优缺点,一般有实力的企业都会选择代码埋点,更加灵活而且能获取到更加丰富的信息。图1 :三种埋点方式的对比我们详细讨论下代码埋点的架构和基本概念。
2024-02-25 13:47:39
767
原创 线性代数:理解矩阵的基本操作:加法、减法和乘法
矩阵是线性代数中的一种基本结构,广泛应用于数学、物理、计算机科学等领域。在本文中,我们将深入探讨矩阵的加法、减法和乘法操作,通过图文和Python代码来一起逐步理解这些基本操作。
2024-02-24 21:18:47
2110
原创 用SpEL优雅实现Kafka中的消息被group中所有机器都消费
一种思路是让每台机器的groupid不一致,例如group name加上本机IP, 这样就能实现所有的机器都能消费到同一个topic了。还有一种业务场景,需要让每台机器都消费topic中的消息。例如本地缓存的场景,在应用集群部署的环境下,需要把数据库里面的内容缓存到每台机器的本地。数据库内容变更的时候,发送kafka消息,每台机器都需要更新本地的缓存。通常来说,Kafka中的一条消息在同一个消费组(group)中只能被一个消费者消费,这种场景在应用端集群部署的时候非常适用。
2024-02-24 09:58:11
361
原创 向量的组成
向量是有序的一维数组,其中包含多个标量元素。每个元素都有一个索引,表示其在向量中的位置。在数学表示中,我们通常用小写粗体字母表示向量,如 v。向量的构成元素主要是其分量。在二维空间中,一个向量有两个分量,分别表示向量在x轴和y轴上的投影。在三维空间中,一个向量有三个分量,分别表示向量在x轴、y轴和z轴上的投影。向量的分量不仅决定了向量的大小和方向,还决定了向量在空间中的位置。二维向量在x和y轴上的投影。
2024-02-23 23:14:35
517
原创 线性代数:向量、张量、矩阵和标量
标量是数学中的一个基本概念,它表示一个单独的实数,没有方向或位置。在数学表示中,我们通常用小写字母表示标量,例如 a 或 x。向量是有序的一维数组,其中包含多个标量元素。每个元素都有一个索引,表示其在向量中的位置。在数学表示中,我们通常用小写粗体字母表示向量,如v。矩阵是一个二维数组,其中包含多个标量元素,这些元素按行和列排列。在数学表示中,我们通常用大写字母表示矩阵,如 A。在线性代数里面可以简单的将张量理解为一个多维数组,可以包含标量、向量和矩阵。在数学表示中,我们通常用大写粗体字母表示张量,如T。
2024-02-23 21:57:28
4211
1
原创 常见的20种数据值异常检验方法
数据值异常是指在数据集中存在一些与其他数据值相比较不符的值。这些异常值有可能是由于数据录入错误、测量偏差或者其他未知原因导致的。数据值异常对数据分析和建模的结果产生了不利的影响,因此需要进行检验和处理。
2023-04-29 17:29:19
8437
2
原创 数据治理在学术上的发展史以及未来展望
数据治理是大数据领域中非常重要的一环,从早期的学术研究到如今的各大企业落地实践,经历了漫长的过程,数据治理的实践落地本身也是一场马拉松。从百度学术通过精确关键词匹配,搜索中文期刊的“数据治理” 和外文期刊的“data governance”查看1980年以来的论文发布数量,2000年之前没有收录记录。2000-2009年有少量收录,2010年之后开始指数级上升。当然,百度学术的数据不一定完全,只能反映一部分情况,只能做一个简单的参考。
2023-04-28 17:34:18
2377
2
原创 现代企业级架构框架蓝图
企业架构不仅仅是IT架构,他定义了一个企业的组织结构和运作流程,目的是让组织能够更高效的实现企业的愿景。强调一切以公司使命为指引,以战略目标为方向,而不是完全以技术为导向。
2022-12-13 21:28:20
1347
原创 各种平均值:算术平均值,几何平均值,调和平均值等
平均数反映了一组数据的一般水平,最常见的平均数是算术平均数,除了算数平均数外,还有几何平均数,调和平均数,加权平均数等。
2022-10-10 20:14:03
28470
原创 利用Hound快速搭建代码搜索引擎
Hound 是轻量级的快速代码搜索引擎。支持Git、SVN、Mercurial、Bazaar。Hound 自身是个静态 React 前端,可以和 Go 后端进行交互,后端拉取最新代码库并建立索引,并通过API进行代码搜索和页面展示。效果如图。
2022-10-09 15:00:33
817
原创 猿创征文|TiDB架构解析和注意事项
TiDB是一款开源的分布式HTAP数据库,同事支持TP(Transactional Processing)的在线事务处理,也支持AP(Analytical Processing)的在线分析处理。实际使用下来的感受:TP场景的高并发确实非常优秀,但是AP场景的分析能力相对专业的AP数据库还是存在不足之处。TiDB的最大亮点:通过 Multi-Raft Learner 协议将TiKV的数据实时复制到TiFlash,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。
2022-10-06 21:43:42
2233
原创 Hadoop生态系统全面介绍
Hadoop作为大数据的分布式计算框架,发展到今天已经建立起了很完善的生态,本文将一一介绍基于Hadoop生态的一系列框架和组件。Flume简介:Flume 是一个分布式、高可用的服务,用于高效收集、聚合和移动大量日志数据。作用:Flume 主要承载的作用是收集各个数据源的事件或日志数据,然后将其Sink到数据库架构Flume的实现架构原理也非常简单,通过Agent代理来实现数据的收集,一个Agent包含了Source,channel,Sink三个组件。Source:采集的数据来源
2022-05-28 10:22:35
9822
原创 MaxCompute(ODPS):Hive的进阶者
Hive概述架构于Hadoop之上,可以将结构化的HDFS文件映射成一张表,并提供了类似于SQL语法的HQL查询功能核心本质:将HQL语句转换成MapReduce任务Hive的主要优缺点优点:避免了开发人员去实现Map和Reduce的接口,大大降低了学习成本HQL语法类似于SQL语法,简单、容易上手缺点:执行效率比较低 Hive生成的MapReduce任务,不够智能化,容易造成数据倾斜Hive架构图每个模块负责的内容:Meta Store: 元数据,一般存储在mysqlClient
2022-04-22 21:11:56
4281
原创 浅谈企业的数字化转型
企业为什么要做数字化转型我们怎样看待这个世界?“数字孪生”概念的兴起让我们能以数字化的角度来看待这个物理世界,一切在物理世界的实体都能在数字世界里映射出来。借助数字孪生,可以将物理世界的实体进行建模映射在数字世界,在数字世界通过量化的方式,可以更加直觉的了解物理实体的状况。然后对量化的数据进行提炼挖掘和分析,提取出有用的信息,这些信息再输出给物理世界,从而帮助物理世界做出更为合理的行动和决策,帮助物理世界改进流程,再将改进的流程再次映射到数字世界,如此形成一个正向的循环。企业一旦形成这种正向的循环,
2022-04-19 19:43:49
4859
1
原创 MySQL设计和开发规范
说明:此设计规范考虑了业务规范和数据处理的规范,其中的主键ID和etl_update_time字段的规范是为了方便数据平台分析处理数据。Common不要使用MySQL保留关键字建议级别:强制说明:不论是库名,表名,字段名,索引名等都不要使用MySQL保留的关键字。5.6版本的完整关键词参考MySQL官方文档:https://dev.mysql.com/doc/refman/5.6/en/keywords.html#keywords-5-6-detailed-A反例:from,time,key
2022-04-19 14:56:37
328
原创 数说金融-宁德时代储能业务对上游企业拥有极高话语权
据365储能及智慧能源能够调研数据整理,2021年中国储能企业20强和储能电池企业20强分别如下。储能行业集中度非常高,宁德时代和比亚迪处于领先的第一梯队,其中宁德时代一家就占据了市场的半壁江山储能电池上游的原材料主要包括正极材料、负极材料、电解液、隔膜以及结构件等;上游的集成系统设备主要包括涂布机、搅拌机等。目前储能电池主要以锂电池的形态存在,其上游原材料主要是锂电池上游的参与者。2012-2020年,锂电池开始被广泛应用,锂离子电池占全球电化学储能累计装机规模由2012年的26%提升至2019年
2022-01-11 16:02:22
905
原创 数说金融-财富归边愈演愈烈
二八原则相信大家都耳熟能详了,并且绝大部分人已经认可二八原则的存在和合理性了,可是现实真的是这样吗?特别是在万恶的资本市场,二八原则同样适用吗?
2022-01-11 11:32:38
2676
原创 swagger-ui-layer v1.0.0 正式版发布
swagger-ui-layer v1.0.0正式版发布swagger-ui-layer 简介主要更新功能待完成功能源码维护地址swagger-ui-layer 简介swagger-ui-layer 是一个基于swagger的前端UI实现,目的是为了让接口文档更直观,更漂亮,更好用。经过一年多的时间,6个非正式版的发布,终于迎来了第一个正式版的发布。感谢swagger-ui-layer 的co...
2018-10-30 21:23:06
1630
原创 ElasticSearch es 插件开发
ElasticSearch es 插件开发1. 插件分类API Extension Plugins API扩展插件 通过添加新的API或功能向Elasticsearch添加新功能,通常与搜索或映射有关。 优秀插件代表: SQL language Plugin: 让 Elasticsearch 支持 SQL语句查询 (by NLPchina)Alerting Plugins 告警插...
2018-09-16 14:30:28
8519
原创 ElasticSearch 聚合筛选,类似SQL里面的having
ElasticSearch 聚合筛选,类似SQL里面的having 特别说明:文章所有内容基于ElasticSerch 5.5.3版本背景我们在实际业务场景中会遇到聚合筛选的需求,需要先分组然后聚合,再通过聚合的结果进行筛选,关系型数据库中有having或者子查询来实现,ES中key使用 bucket_selector 来实现此功能实际业务场景需要找出下单次数大于等于...
2018-07-11 16:17:03
17630
7
原创 ElasticSearch join连接查询
ElasticSearch join连接查询 特别说明:文章所有内容基于ElasticSerch 5.5.3版本ElasticSerch 的连接查询有两种方式实现nestedparent和child关联查询nested存储结构 nested的方式和其他字段一样,在同一个type里面存储,以数组的方式存储在type里,格式如下:PUT index...
2018-07-10 20:28:08
55558
7
原创 JavaCV 第一个JavaCV程序
JavaCV 第一个JavaCV程序JavaCV 简介JavaCV是一个计算机视觉领域的封装库,封装了包括 OpenCV,FFmpeg 等 GitHub: https://github.com/bytedeco/javacv 顺便附上 OpenCV 的文档地址: https://docs.opencv.org/master第一个JavaCV 程序使用J...
2018-05-25 17:33:33
19290
3
原创 Spring Cloud Eureka Server 高可用集群搭建
Eureka 作为一个云端负载均衡,本身是一个基于REST的服务,在 Spring Cloud 中用于发现和注册服务。 那么当成千上万个微服务注册到Eureka Server中的时候,Eureka Server 的负载将会很大,这样一旦Eureka Server服务挂掉了,整个微服务架构也就瘫掉了,所以在实际生产环境中不光要对注册在Eureka Server中的微服务进行集群管理
2017-10-25 16:52:04
7851
原创 Swagger 自定义UI界面
Swagger 自定义UI界面Swagger简单介绍如何使用Swagger 添加自定义UI界面使用swagger-ui-layer
2017-09-13 14:11:48
97351
43
原创 Java 基础操作库 hoe 使用介绍
hoe 是一个 Java 基础操作库,包括 String,number,random 等常规操作,几乎包含了大部分工作中用到的常用处理方法,也有详细文档。可以使用 Hoe 来轻松解决字符串,数字,随机数等的处理。整个包不依赖任何其他第三方库,也极其简单小巧,只有 18kb。
2017-08-25 13:44:07
1203
原创 windows下 pip install 错误 error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat).
1、pip 需要安装Microsoft vc++ 编译模块,请确认先安装了此模块如果没有安装,就用Visio studio 安装下这个模块2、设置环境变量我设置了三个,分别对应不同的vs版本VS100COMNTOOLS = D:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\ToolsVS120COMN
2017-01-13 16:05:53
2522
原创 ORA-27101,ORA-01033 另类错误原因
Ghost镜像后连接数据库怎么也连不上,报下面两个错误ORA-27101: shared memory realm does not existORA-01033: ORACLE initialization or shutdown in progress试了各种方法都不管用查找原因最靠谱的方式是查看错误日志信息:日志文件在 ${oraclehome}\${databa
2016-12-29 11:35:57
1201
原创 技术泡妹子二:篡改百度首页,惊呆女神
大多数网民上网的入口都是先打开百度,然后再搜索xxx,进入,为了给女神惊喜,决定篡改百度首页让女神惊呆,当然不是黑了百度,目前没这个实力,但是我们可以修改host文件,将www.baidu.com 指向自己的机器,或者你自己的云端服务器,然后当女神打开百度的时候就会打开你做好的网页了,她会惊讶的,哈哈哈。
2016-01-17 11:34:00
31323
3
转载 架构师职业加点攻略
不同的过程在原理上是相通的,如果你目前只是一个程序员,那么经过无数的经验值的提升,最终都会实现蜕变,成为一名架构师。从小白玩家到最后的架构师的成长之中,漫长而又艰辛,如何将自己有限的精力投入在职业技能的加点分布上呢?
2016-01-12 21:48:25
995
转载 浏览器缓存机制
浏览器缓存机制,其实主要就是HTTP协议定义的缓存机制(如: Expires; Cache-control等)。但是也有非HTTP协议定义的缓存机制,如使用HTML Meta 标签,Web开发者可以在HTML页面的<head>节点中加入<meta>标签
2016-01-12 20:53:49
1183
原创 myeclipse导出可执行jar包读取外部配置文件
myeclipse导出的可执行jar包的时候会把properties也直接打在jar包里面了。导致修改配置文件还需要重新导jar包,太麻烦了。所以想要用jar包读取外部的配置文件。用下面的方式,导出jar包之后只需要把jar包和相应的配置文件放到一个目录下即可读取了
2016-01-08 23:47:54
6835
原创 Java nio 概述
1、Java nio 与 io最主要的区别;2、Nio的核心概念:Buffer (缓冲区),Channel(通道),Selector(选择器)
2015-12-29 21:41:54
4537
SQLyog 64位中文破解版
2017-11-08
wechatsdk weixin微信项目例子
2014-03-14
java-unrar-0.3.jar
2013-12-12
html5 帮助文档 chm,HTML5 从入门到精通
2013-12-12
ibatis 多表查询,字段重复,用别名报找不到column
2013-12-08
jbpm4.4 部署时,发生死锁问题
2013-08-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人