- 博客(432)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 关于2021年个人公众号总结
兜兜转转，又过了一年，2022年来了，自己又老了一岁，娃也长大了一岁，无聊的年底迎来了一波又一波的数字化考核，假的让人瞠目结舌。人生啊，处于上有老下有小的境地，工作呢，在甲乙丙丁戊各方中周...
2022-01-04 15:20:44
1361
1
原创 关于2020年个人公众号总结
年关将近，又到了一年一度的总结时候，本来写的好好的总结材料，结果没保存好，只好提笔重写写到哪里算哪里了。2020年是特别的，一场突如其来的新冠疫情从武汉爆发迅速席卷到全国，然后全世界也沦陷了，几乎影响和改变了每个人的生活，时至今日还在我们的生活中时不时的制造一些麻烦。疫情深刻地改变了全球政治、经济和人们的生活。对中国来说,中国方案和中国抗疫行动为世界在灾难面前保持了一份稳定的信心。也正因为中国方案和行动卓有成效,才迎来中国经济的稳步复苏和国内生活秩序的迅速恢复。这一成绩点亮了世界,也点亮了人们的内心。也
2020-12-30 00:35:32
1016
1
原创 关于我的公众号和公众号文章索引，请大家关注，谢谢
2019年公众号文章索引。有兴趣，大家可以关注，谢谢。目前差不多将近90篇了，有质量高的有质量低的，有懈怠的时候也有如期交付的时候，不管怎么样，算是坚持下来了，希望明年会更好。总的来说，搞技术要沉下来，不求尽如人意，但求问心无悔。链接太难搞了，偷偷懒，只贴标题和分类了。文章 类型 关于大数据运维能力的一些思考 IT业界 去IOEorNot? I...
2020-02-04 15:25:14
1055
原创 天雷滚滚我好怕怕，大家都来手搓哪吒
为了这部电影，他耗时数年，从剧本的反复雕琢，到人物形象的精心设计，再到每一帧画面的细腻打磨，无不彰显着他对动画的热爱与执着。这一成绩的取得，绝非偶然。如果你也是一个热爱哪吒的人，不妨也拿起手中的画笔，或者用其他方式，创作出属于自己的哪吒。虽然我的画技可能比不上专业的画师，但我相信，我对哪吒的热爱都融入到了每一笔、每一划之中。我希望通过我的画，能让更多的人感受到哪吒的魅力，感受到中国传统文化的博大精深。从哪吒那标志性的黑眼圈，到他充满力量感的身形，再到他手中的混天绫和火尖枪，每一个细节我都反复琢磨。
2025-03-19 00:57:30
120
原创 关于2022年-2024年个人公众号总结
从2019年到2025年也有6个年头了，本来想矫情一下，既没有矫情的资本，也没有矫情的水平，还是如流水账般对自己近三年的努力做一下总结吧。之所以是这三年，是因为最初的前三年每年都会总结一下，这几年里孩子也长大了，工作换了，连工作内容也换了，代码也不怎么写了，自己的技能当然一如既往的停留在初学状态，但初学不等于不学，已经成了技术人的唯一执念了。这三年里基本还是以Python为主，偶尔搞一下GIS和数...
2025-03-04 00:16:06
628
原创 一文读懂大语言模型提示词，让你轻松玩转 AI 时代！
如果你不幸进来了，这恰恰是提示词的功效，因为标题就是提示词给出的。提示词工程，又叫Prompt Engineering，是一种专门针对语言模型进行优化的方法。它的目标是通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型交互时，无论是智谱清言、deepseek、豆包还是ChatGPT，给定的提示词会极大地影响模型的响应内容和质量。提示词...
2025-02-28 00:00:27
311
原创 大数据分析之异常值检测后的数据处理方法
异常值处理的常用方法包括以下几种：删除观测值：直接删除异常值是最简单的方法，但可能会导致样本量不足，改变变量的原有分布，从而影响统计模型的稳定性。保留并综合分析：通过回归分析，利用残差分布信息来判断模型优劣，观察残差是否超出经验范围（如3倍标准差），并检查R方、均分误差等指标，这些指标可以提供关于异常值的信息。使用统计量替代：如果样本量较小，可以用均值或其他统计量来替代异常值。这...
2025-02-27 01:04:09
323
原创 大数据分析之异常值检测（基于pyod的24种异常值检测算法）
PyOD是一个全面且易于使用的Python库，专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据，它们可能表示错误、噪声或潜在的有趣现象。PyOD为异常值检测提供了广泛的算法集合，适用于有监督和无监督的场景。无论处理的是带标签的数据还是未带标签的数据，PyOD都提供了一系列技术来满足特定需求。PyOD的突出特性之一是其用户友好的API，使新手和有经验的从业者都可以...
2025-02-26 00:27:42
278
原创 大数据分析之异常值检测（基于Zscore、指定分位数和基于密度算法）
异常值是指那些显著偏离其他观测值的数据点，这些值可能由于错误、偏差或自然变异而产生，当然也可能本身在业务上就是合理的。异常值也被称为离群点，它们可能会扭曲统计分析的结果，导致错误的结论和决策。一、异常值检测的重要性数据质量保障：异常值可能源于数据采集、传输或存储中的错误，检测并处理这些异常值有助于提升数据质量，确保分析结果的准确性。提升模型性能：异常值会影响机器学习模型的训练效果，导致模型偏差...
2025-02-25 06:55:24
962
原创 大数据分析之缺失值处理，多种方法带你轻松搞定
在Python中处理缺失值至关重要，因为缺失值可能导致数据分析结果出现偏差，影响模型的准确性和可靠性。如果不对缺失值进行处理，统计分析可能会产生误导性的结论，机器学习模型也可能因为数据的不完整性而无法有效学习数据中的模式。因此，选择合适的数据处理方法对于维持数据完整性并提升模型训练效率至关重要。常见的数据缺失值处理方法包括：1、删除含有缺失值的行或列：简单直接，但可能丢失重要信息。2、填充缺失值：...
2025-02-24 08:15:20
875
原创 关于机器学习-基于2023年度各省统计数据的十一种聚类方法（DBSCAN、GaussianMixture、Birch等）和可视化...
scikit-learn库中使用10种不同的聚类算法，包括AP聚类、聚合聚类、BIRCH、DBSCAN、K-均值、Mini-BatchK-均值、MeanShift、OPTICS、谱聚类和高斯混合模型。其中例如Kmean聚类、谱聚类、高斯混合模型等需要指定聚类数量，其他一些不需要。如前文所述，聚类的结果虽然有一些量化标准，但更多的取决于个人的主观判断cluster.MeanShift是一种基于核密度...
2025-02-21 00:00:12
248
原创 关于机器学习-基于2023年度各省统计数据的降维后再Kmean聚类后的另一种可视化...
本文和前文在数据标准化、降维和聚类方法上是一致的，在可视化上略有不同，前文仅限于地理数据的可视化，本文可拓展到各类数据，理论上2维数据、三维数据等更高维度的数据，均可实现可视化。此处代码和前文是一致的，因此不再赘述。#导入库importpandas as pd#panda库importmatplotlib.pyplot as pltfrom sklearn.preprocessingi...
2025-02-20 08:15:38
130
原创 DeepSeek Step by Step（4）——通过AnythingLLM打造自己的知识库
RAG（Retrieval-Augmented Generation）是一种结合了信息检索和语言生成技术的人工智能模型，旨在通过引用外部知识库来优化大语言模型的生成结果，从而提高预测的质量和准确性。AnythingLLM则是一个更广泛的概念，指的是将所有可用的语言模型资源整合到一个统一的平台上，提供全面的语言处理能力。这种整合可以包括多个LLM模型、不同的知识库和各种工具，形成一个综合的语言处...
2025-02-19 00:06:25
903
原创 关于机器学习-基于2023年度各省统计数据的降维后再Kmean聚类
在机器学习中，PCA（主成分分析）和K-Means聚类是两种非常实用的技术，尤其在数据预处理和无监督学习中。PCA是一种降维方法，通过减少数据集的特征数量来简化数据，同时保留大部分的变异性。这有助于我们更好地理解和分析数据。K-Means则是一种聚类算法，能够将数据分成几个不重叠的群组或“簇”。这种算法常用于发现数据的内在结构和模式。KMeans聚类前进行降维的主要原因是为了提高算法的效率和效果...
2025-02-18 08:10:39
287
原创 关于机器学习-基于2023年度各省统计数据的Kmean聚类
K-Means聚类算法是一种常用的聚类方法，具有简单、快速的特点，适用于处理大数据集。基本原理K-Means聚类算法的核心思想是将数据集分成K个簇，每个簇由其质心（中心点）代表。算法首先随机选择K个数据点作为初始质心，然后根据每个数据点到各个质心的距离，将其分配到最近的质心所代表的簇中。接着，重新计算每个簇的质心，如果新的质心与旧的质心变化很小，则算法收敛，聚类结束；否则继续迭代。但看算法本...
2025-02-16 01:11:34
235
原创 DeepSeek Step by Step（3）——构建web化访问页面
如前文所述，构建web化访问页面有多种方式，flask、streamlit、gradio都可以，也看过很多基于streamlit、gradio开发简单机器学习和人工智能的页面，毕竟内置了很多组件，这些组件自带CSS，比flask从头到尾构建还是快速很多，虽然笔者对后两者没怎么研究过，但不妨碍就学习deepseek而言只是做个尝试性的demo。Streamlit 和 Gradio 都是用于构建和部署...
2025-02-13 07:15:26
342
原创 DeepSeek Step by Step（2）——构建本地交互应用
DeepSeek的迅速蹿红，也导致了目前收费的提升和服务质量的下降，同时随着DeepSeek的爆火和出圈、以及社区的完善和上手门槛的降低，大模型与普通人的距离也越来越近，对于IT人士而言可以不用钻研太多，但必须主动会用。对我们而言，构建本地交互应用无非两种形式，工具或代码，主流的工具如Open WebUI和Chatbox AI；代码则包括以下几种方式（来自于deepseek的回答）：方式 1，使用...
2025-02-12 08:15:20
328
原创 DeepSeek Step by Step（1）——本地化配置和部署
DeepSeek是一款由国内人工智能公司研发的大型语言模型，拥有强大的自然语言处理能力，能够理解并回答问题，还能辅助写代码、整理资料和解决复杂的数学问题。DeepSeek R1则像2023年初OpenAI的ChatGPT一样,让所有人真正感受到了这种震撼,这是DeepSeek R1出圈的非常重要的原因。当然震撼是可以看得到的，受中国人工智能初创公司——深度求索公司冲击，引发的美国人工智能主题股票以...
2025-02-11 08:43:05
731
原创 关于TikTok 难民和引发的思考
一觉醒来，打开小红书的瞬间，宛如踏入了一个全新的世界。首页推荐不再是清一色精致淡雅的图文笔记，大量风格迥异、节奏明快的短视频如潮水般涌来。屏幕上满是夸张的表情、活力四射的舞蹈和极具冲击力的视觉效果，这一切都在宣告着 “TikTok 难民” 的强势入驻。关于TikTok 难民：TikTok 自推出以来，凭借其创新的短视频模式、强大的算法推荐以及丰富多元的内容，在全球范围内迅速走红。在美国，TikTo...
2025-01-16 12:51:48
747
原创 关于FastAPI文档无法显示的问题
Python调试和部署总会碰到各种各样的问题，Python的版本问题，各种包的版本问题，Python的调试和部署快成了一门玄学，这次遭遇到的是FastAPI文档界面无法显示的问题，中间也测试过几种方案。FastAPI部署后，各页面均正常响应，除了文档页，经查证是FastAPI接口文档中默认使用的是https://cdn.jsdelivr.net/npm/swagger-ui-dist@5.9.0/...
2024-03-12 09:30:33
855
原创 QGIS文章五——对遥感影像进行土地类型分类—监督分类（dzetsaka : classification tool）
dzetsaka classification tool是QGIS的强大分类插件，目前主要提供了高斯混合模型分类器、Random Forest、KNN和SVM四种分类器模型，相比于SCP(Semi-Automatic Classification)，他的一个特点就是功能专一，操作简单。从十一月开始一直忙于写个可研材料，持续忙了20天，此外关于训练这事儿，主要因素一个是数据标注，一个是摸索工具，另外...
2023-11-22 22:47:16
2078
2
原创 QGIS文章五——对遥感影像进行土地类型分类-选择遥感影像
关于下载遥感影像的地方有很多：1、国家综合地球观测数据共享平台（https://www.chinageoss.cn/）2、地理空间数据云（https://www.gscloud.cn/）3、美国地质勘探局官网（https://earthexplorer.usgs.gov/）一来几乎所有网站都需要注册，国内网站还需要审核下载，并且需要等待，此外下载下来之后，会发现分辨率太低，还远不如天地图/高德地图...
2023-10-06 09:05:50
804
原创 关于GIS数据分类方式
GIS数据有很多种分类方式，按照数据结构可分为矢量数据、栅格数据、DEM数据，还可以再细致的分为数据库格式、点云格式、3D格式，也可以按照各厂家和标准类别来分等等。笔者也是GIS小白，在这里把收集到的素材略加整理，万一碰到形形色色的GIS文件，不至于显得太意外。一、栅格数据栅格数据由像素组成。它们通常间隔规则且呈方形，但不必如此。栅格通常看起来像素化，因为每个像素都有自己的值或类。1. netCD...
2023-10-04 08:05:48
461
原创 QGIS文章三——模拟风暴潮水淹
之前工作中处理过风暴潮的数据，也获取到了不同等级台风水淹的DEM数据，不过还是很好奇是怎么推演出来的，最近一段时间看QGIS比较多，加上看到了一篇文章《GIS软件进行风暴潮沿海洪水建模》，于是简单尝试了一下，我也东施效颦了一把。主要目的是看一下海口市在风暴潮1米、2米、5米、10米情况下的水淹情况，当然这个肯定不精准，未考虑到承灾体、城市建设等情况。前置条件：还是承接上文，把海口高程地图从海南的...
2023-10-03 08:05:12
291
原创 QGIS文章二——DEM高程裁剪和3D地形图
经常看到别人基于高程文件制作出精美的3D地图，笔者按照互联网几种制作方式进行尝试后，写的DEM高程裁剪和3D地形图教程，或许其中有一些错误的，也请指出。本文基于海南省的shp文件和海南省DEM高程文件，制作海口地区的3D地形图。前置条件：1、下载DEM高程文件到 https://dwtkns.com/srtm30m/ 下载2、获取海南省各市县边界shp文件自行到互联网搜索3、参考前文配置天地图底图...
2023-10-02 17:16:45
890
原创 QGIS文章一——实现天地图加载
无论是农业科学还是海洋科学，对地图的处理和数值模型的计算是少不了的，地图是可视化的基础，先有了基础再进行开始某些复杂处理，进而开始模拟推演，最后进行数值模拟和计算。QGIS（原称Quantum GIS）是一个自由软件的桌面GIS软件。它提供数据的显示、编辑和分析功能。QGIS是一个用户界面友好的桌面地理信息系统，可运行在Linux、Unix、Mac OSX和Windows等平台之上。QGIS是基于...
2023-10-01 17:25:03
660
1
原创 基于Yolov8网络进行目标检测（三）-训练自己的数据集
前一篇文章详细了讲解了如何构造自己的数据集，以及如何修改模型配置文件和数据集配置文件，本篇主要是如何训练自己的数据集，并且如何验证。VOC2012数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/coco全量数据集下载地址：http://images.cocodtaset.org/annotations/annotations_train...
2023-09-16 00:00:19
4284
6
原创 基于Yolov8网络进行目标检测（二）-安装和自定义数据集
关于Yolov8的安装在前一个环节忽略了，其实非常简单，只需要以下两个步骤：1、安装pytorchpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1182、安装ultralyticspip install ultralytics为什么把目录结构单独拿出来扯呢？这个和训...
2023-09-15 00:00:57
1075
原创 基于Yolov8网络进行目标检测（一）-介绍和预测
之前提到过目标检测模型分为两类。一类是two-stage，将物体识别和物体定位分为两个步骤分别完成，这一类的典型代表是R-CNN, fast R-CNN, faster-RCNN家族。他们识别错误率低，漏识别率也较低，但是由于网络结构参数的计算量大，导致其检测速度慢，不能满足实时检测场景。为了解决精度与速度并存的问题，另一类方式出现了，称为one-stage, 典型代表是Yolo, SSD, Yo...
2023-09-13 01:25:40
1553
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（二）——预训练模型和预测
CoCo的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，包括检测、分割、关键点估计等任务，目前用的比较多的是Coco2017数据集。Coco2017数据集是一个包含有大量图像和标注数据的开放数据集，它是微软公司在COCO项目基础上发展而来。这个数据集主要包含了种场景下的图片，包括人物、动物、物品等各种目标。同时，它还包含了很多不同的属性...
2023-09-08 00:00:53
1128
原创 基于Pytorch构建Faster-RCNN网络进行目标检测的一段插曲-安装GPU环境
因工作原因，原来的台式机工作站发生了变更，除了GPU显卡（NVIDIA GeForce GTX 1660显卡变成了NVIDIA Quadro P2200显卡）以外，其他配置都差不多，从网上查阅NVIDIA Quadro P2200相当于NVIDIA GeForce GTX 1660显卡。NVIDIA Quadro P2200是一款NVIDIA品牌的显卡，制作工艺为28纳米。NVIDIAQuadro...
2023-09-05 16:53:22
281
原创 基于Pytorch构建Faster-RCNN网络进行目标检测（一）
尽管R-CNN是物体检测的鼻祖，但其实最成熟投入使用的是faster-RCNN，而且在pytorch的torchvision内置了faster-RCNN模型，当然还内置了mask-RCNN，ssd等。既然已经内置了模型，而且考虑到代码的复杂度，我们也无需再重复制造轮子，但对模型本身还是需要了解一下其原理和过程。FasterRCNN 的整体框架按照功能区分，大致分为4个模块，分别是特征提取网络ba...
2023-09-04 12:30:18
986
原创 关于目标检测鼻祖R-CNN论文
R-CNN系列论文是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN 以及faster-RCNN都是沿袭R-CNN的思路。R-CNN全称region with CNN features，其实它的名字就是一个很好的解释。用CNN提取出Region Proposals中的featues，然后进行SVM分类与bbox的回归Rich feature hierarchies for accurat...
2023-08-23 00:00:42
194
原创 关于图像分类、图像识别和目标检测异同
计算机视觉是人工智能领域的一个重要分支，它旨在构建能够理解和处理图像、视频等视觉信息的计算机系统。在计算机视觉领域中，图像分类、图像识别和目标检测是三个重要的任务，当然目标跟踪、图像生成也是新的方向和延伸。其实下面这幅图已经非常准确地说明图像分类、图像识别和目标检测的区别和共同点。 一、图像分类 图像分类的目的是将一张图像分到某个预定义的类别中。一般意义上的图像分类是指单标签分类，和...
2023-08-22 00:00:21
780
原创 基于Pytorch构建DenseNet网络对cifar-10进行分类
DenseNet是指Densely connected convolutional networks（密集卷积网络）。它的优点主要包括有效缓解梯度消失、特征传递更加有效、计算量更小、参数量更小、性能比ResNet更好。它的缺点主要是较大的内存占用。DenseNet网络与Resnet、GoogleNet类似，都是为了解决深层网络梯度消失问题的网络。Resnet从深度方向出发，通过建立前面层与后面层之...
2023-08-21 00:00:13
379
原创 基于Pytorch构建ResNet网络对cifar-10进行分类
何凯明等人在2015年提出的ResNet，在ImageNet比赛classification任务上获得第一名，获评CVPR2016最佳论文。自从深度神经网络在ImageNet大放异彩之后，后来问世的深度神经网络就朝着网络层数越来越深的方向发展，从LeNet、AlexNet、VGG-Net、GoogLeNet。直觉上我们不难得出结论：增加网络深度后，网络可以进行更加复杂的特征提取，因此更深的模型可以...
2023-08-20 12:34:29
232
原创 基于Pytorch构建GoogLeNet网络对cifar-10进行分类
GoogLeNet是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果：能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。incept...
2023-08-19 01:42:53
448
原创 基于Pytorch构建VGG-16Net网络对cifar-10进行分类
VGGNet发布于 2014 年，作者是 Karen Simonyan 和 Andrew Zisserman，该网络表明堆叠多个层是提升计算机视觉性能的关键因素。VGGNet 包含 11层或13层或16层 或 19 层，主要由小型的 3×3 卷积操作和 2×2 池化操作组成。基本组成部分是：1. 带填充以保持分辨率的卷积层；2. 非线性激活函 数，如ReLU；3. 汇聚层，如最大池化层。VGG 的...
2023-08-17 08:40:40
438
原创 基于Pytorch构建AlexNet网络对cifar-10进行分类
AlexNet网络是CV领域最经典的网络结构之一了，在2012年横空出世，并在当年夺下了不少比赛的冠军。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。AlexNet和LeNet的设计非常类似，但AlexNet的结构比LeNet规模更大。AlexNet的结构比LeNet规模更大，AlexNet包含8层变换，其中包含5层卷积和2层全连接隐藏层，以及最后的一个全连接的...
2023-08-16 00:58:27
1198
原创 基于Pytorch构建LeNet网络对cifar-10进行分类
LeNet5诞生于1994年，是最早的卷积神经网络之一，是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构，是一种用于手写体字符识别非常高效的网络。一般LeNet即指代LeNet5。LeNet5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层，是其他深度学习模型的基础。LeNet5由七层组成（不包括输入层），每一层都包含可训练权重。通过卷积、池化等操作进行...
2023-08-15 10:10:34
272
SQLSERVER2008存储结构二_GAM、SGAM、PFS、IAM、DCM、BCM.doc
2010-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人