- 博客(18)
- 收藏
- 关注
RSS订阅原创 详解Flink滑动窗口的本质，以及解决数据断流导致水位线不增长的问题。
在工作中遇到这个问题，处理了几天，尝试了几种解决方案，现分享一版可行的方法。需求：从kafka读取用户行为日志，经过flink计算后向redis写入数据，使得业务侧可以查询到每个uid在过去1小时内的访问次数，做到秒级延迟。
2024-08-11 19:45:43
969
1
原创 解决HADOOP_HOME and hadoop.home.dir are unset.异常问题
我在Windows环境下 运行MapReduce程序时遇到这个异常，其原因是windows下的环境与Linux环境不同，而Hadoop一般基于Linux系统运行，因此需要一系列辅助程序才能运行。下载对应版本号的文件（找不到对应版本建议找最近版本），解压到任意目录下。
2024-07-06 18:14:38
1685
1
原创 超越传统调参：贝叶斯优化Optuna指南与实战
'''以LightGBM模型为例param_ranges表示需要搜索的超参数及其搜索范围params为不需要优化的超参数'''params = {'''objective函数是优化的核心，其返回值决定了优化目标，这里的返回值是测试集的平均预测误差MAE此处建议把MAE_on_trian、MAE_on_test、adjusted_params编写为训练日志输出，便于之后观察参数变化与目标值之间的关系，明确调优的方向'''# 获取模型# 拟合模型。
2024-01-21 23:31:21
1729
原创 图解LightGBM直方图算法、单边梯度采样算法（GOSS）
我近期研究了各种树模型，在理解LightGBM的直方图、GOSS单边梯度采样环节时都有些困难。我在网上找了很多资料，但大部分以文字为主，且非常抽象，理解起来十分困难。因此我想通过画图、画表、举例子的方式，具体解释一下LightGBM的直方图算法和GOSS算法。本文旨在以图表化的方式展现直方图算法和GOSS算法的具体过程，因此不涉及任何数学推导和代码内容。如果有小伙伴对梯度提升树、xgboost、LightGBM的概念还比较陌生，建议先补充相关知识。
2023-11-15 07:04:27
1582
原创 从原理到实战详解K-means算法：手撕代码不再依赖sklearn、详解轮廓系数如何找到最佳k个质心数、压缩图像实战。
如何不依赖sklearn库实现k-means算法？如何使用sklearn实现k-means算法？如何确定k=？如何运用k-means算法压缩图像？
2023-11-01 06:43:23
895
原创 详解Softmax多分类算法及交叉熵（Cross-Entropy）成本函数（附代码实现、计算过程、公式）
Softmax 是一个用于多类别分类问题的激活函数，它通常用于神经网络的输出层。Softmax 函数将一个实数向量转换为概率分布，其中每个元素表示一个类别的概率。简单来说，Softmax的输出代表了一个样本属于某一类别的概率。：Softmax 将输入转换成一个概率分布，其中每个元素表示相应类别的概率。这意味着所有输出元素的总和将等于 1。：Softmax 常用于多类别分类问题，其中有多个互斥的类别需要被分配概率。图中，an代表了该y=n的概率预测。
2023-10-26 20:51:24
2765
1
原创 R - 时间序列数据的预测——指数平滑法（一次、二次、三次）详解附代码与公式
指数平滑法（Exponential Smoothing）是一种时间序列分析方法，用于处理时间序列数据的平滑和预测。它的核心思想是基于过去的观测值来预测未来的值，同时对过去的数据赋予不同的权重，最近的观测值被赋予更大的权重，从而捕捉到时间序列的趋势和季节性模式。指数平滑法的参数有3个——alpha、beta、gamma，分别对应数据、趋势、季节性。注意：参数值可以手动设定，参数值越大则模型越看重近期数据。若不设定参数，则软件会根据最大似然法计算得出参数值。
2023-10-14 06:20:03
15074
1
原创 Python - 用C指针理解Python的可变类型与不可变类型的底层原理
先来看一段代码：如果不从指针的角度出发，上述代码的逻辑似乎正确：我先创建一个list，再拷贝一份副本list_copy，然后再对副本进行修改。但是结果却是对“副本”的修改导致了“主本”的原数据也发生了变化。这种错误常见于：当得到了某个对象，希望对其内部某个值进行操作，但又不想令其本身发生变化时，或许就会步入这种“临时拷贝副本”的语法错误中。这里先放结论：可变类型指内存内容可以被原地修改的数据类型，不可变类型指内存内容不可以被原地修改的数据类型。常见的可变类型：列表list, 字典dictionary,
2023-09-23 16:25:52
165
1
原创 如何解决datepicker时间选择器在模态框中错位的问题（同时应用了markdown编辑器时）
今天在遇到这么一个问题：我在模态框中同时应用了markdown编辑器与datepicker时间选择器，但是每次在点击时间输入框时，markdown编辑器总是会被重新加载，导致模态框跳转回最顶部，因此时间选择框与输入框就处在了分离的位置：我原本的方法是在button标签属性中实现与模态框的绑定，而在模态框显示时，使用回调函数来执行markdown的初始化函数（因为如果在加载页面时就初始化markdown，则会出现无法输入文字的情况）。代码如下：此处尝试过将datepicker初始化过程封装成函数，与in
2023-09-18 01:28:55
246
原创 jQuery & Django - 如何为ModelForm循环生成的button标签绑定同一点击事件
使用$('#button_id')的方法寻找id，只能实现为第一个button绑定点击事件，因为jQuery中通过$匹配标签id的方法默认仅寻找第一个。使用Django的ModelForm组件生成button按钮标签，需求是：点击每一个button按钮都绑定同一点击事件，并弹出模态框。通过$('.btnEdit')就可以寻找到所有class为btnEdit的button，为其绑定同一个点击事件。解决方法：通过寻找class的方式。
2023-09-06 23:15:54
215
1
原创 Django - 如何解决把图片加载到html中出现裂图的情况
第二步：确保django.contrib.staticfiles已经注册在setting.py文件中。将本地的静态文件写入html中，出现图片加载不出的情况（出现裂图的图标）第一步：确保static文件夹存在与templates同级的目录下。第三步：确认setting.py文件中定义了STATIC_URL。
2023-08-30 06:28:58
945
1
原创 初识Socket网络编程——用Python实现一个服务端与一个客户端之间的通信
【代码】初识Socket网络编程——用Python实现一个服务端与一个客户端之间的通信。
2023-07-25 21:54:28
212
原创 安装Pymysql时报错的解决方法
解决方法是通过pip install指令安装cryptography，注意不要在python内运行pip install指令。如果已经进入了python，应使用exit()指令以退出。此处原因是缺少sha256_password和caching_sha2_password这两种加密算法，导致连接数据库时无法验证密码。此处错误为调用创建Connection类对象conn时，传入参数password没有使用str格式。故此处注意密码要用" "引号。
2023-07-23 14:41:25
1213
原创 Python中的Bytes类型与Bytes()方法
当我们在Python中定义一个字符串时，通常使用的方法如下：通过这两个方法，我们得到2个类型为str的字符串对象>>> y = '甲乙丙'Bytes类型与str类型一样，都是Python内置的对象之一。Bytes类型以字节符的形式存储字符串，具体的构造方法就是在' '之前加上字母b：此时x1的类型就是bytes了>>> x1b'abc'但需要注意的是，以添加字母b的构造方法，仅支持ASCII码中对应的字符。>>> y1 = b'甲乙丙'那么如何构建类型为Bytes的中文字符串呢？
2023-07-19 17:11:29
1217
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人