Together_CZ的博客

数据建模中模型开发过程中超参数优化利器：网格搜索、随机搜索、贝叶斯搜索、遗传算法GA、粒子群优化PSO、差分进化DE、梯度提升树GBM多种搜索优化技术总结对比分析与代码实践

基于卷积神经网络CNN开发构建HAR人类行为识别Human Activity Recognition

基于yolov5的农作物田间杂草检测识别系统

时序数据建模分析已经有很多相关的应用了，在这个领域里面LSTM网络绝对是占据着非常重要的作用，自从LSTM网络提出以来，陆陆续续又出现了很多相关的变种网络，传统的时序建模工作主要是基于一个指定的时序数据集进行模型的构建与预测分析的，但是在实际的工程使用中会有一种特殊的情况就是：我们通过实验所采集到的数据集往往不是绝对连续的而是多“片段”的。 何为 “片段”？以我之前的时序建模相关的文章来讲，诸如：气象数据预测、风力发电数据预测等等，都是具有一定数据规模的数据进行时序预测模型的构建，...

对于经常最运维或者是开发的人来说docker应该是很熟悉的东西了，最近有一个需求就是需要在不同的平台上面去测试自己的项目，amd64、X86、ARM等等，目前的项目主要是在windows环境里面开发的，所以迁移到别的机器上面除了部署配置环境麻烦点其他的都还好，Linux下面的话部署运行项目如果借助于docker容器技术的话就会非常方便了，可扩展性也是很高的，这里就需要有一套比较高可用稳定的基础镜像来为项目提供所需的运行环境，今天花点时间从零开始实践，制作出来一个基础的镜像环境，主要以Ubuntu...

在我之前的文章中，没有或者是很少有涉及到Attention机制的使用，因为之前做的很多工作中也不需要用到这个技术，周末正好有点时间就想学一下这个Attention机制，看看到底怎么样去结合使用，怎么样能够提升我们原有模型的性能。 当我们人在看一样东西的时候，我们当前时刻关注的一定是我们当前正在看的这样东西的某一地方，换句话说，当我们目光移到别处时，注意力随着目光的移动也在转移，这意味着，当人们注意到某个目标或某个场景时，该目标内部以及该场景内每一处空间位置上的注意力分布是不一样的。...

聊天机器人是非常常见而广泛的应用，很多企业都有很多机器人客服的需求，比如：移动、电信、联通、淘宝、京东等等，聊天机器人的本质就是文本数据处理，我的主要研究方向并不是文本处理相关的，但是断断续续学习、工作中接触到了一定的文本数据处理的任务，对文本数据处理也算得上是有一定的了解程度吧。 聊天机器人的应用可以简单理解为“输入一句话，机器返回一句响应的话”，返回的话跟你的话或者是问题相关度比较高，让你察觉不到是在跟一台机器聊天，这里模型需要能够比较确切地了解或者是解读清楚你输入的文本数据，然...

一般来说，想要搭建自己的深度学习模型来对自己的图像数据做处理往往是需要准备很多数据才行的，不然模型性能是很差的，之前也做过一些人脸识别的应用实践，但大都是需要自己去采集自身的人脸图像数据，这个就比较主观了，因为你可以采集的很多很多人脸图像数据，或者也可以采集的很少，但是很少的话一般效果都不会太好。今天找到一个很有意思的数据集，是我目前接触到的人脸识别领域中最为迷你的数据集，为什么说它“迷你”呢？主要有两个原因：1、种类很多，一共包含有40个人的图像数据2、单个人的图像数据很少只有10张，这...

手写数字识别作为一个深度学习类入门级别的应用，被广大爱好者所使用，在实际的工作中正好有一个实际的场景需求用到了数字和字母的识别，这里先以手写数字识别为例来对该类型的任务进行讲解。 本文的实践主要是基于卷积神经网络来进行的，卷积神经网络作为如今深度学习的核心自然有它独特的地方。 卷积神经网络的提出是受生物自然视觉认知机制的启发，它的核心在于其采用了卷积层和子采样层组合的特征提取方式。CNN一共采用了三种技术来降低模型的计算复杂度。1）局部感受野 首先是...

在值预测相关的任务里面回归模型使用的非常得多，从最简单的逻辑回归模型到复杂点的集成回归模型，可以根据具体任务的适用程度来尝试或者决定使用什么样的模型来构建自己的预测模型。 本文主要是基于APP采集到的行走数据，也就是地理空间里面的经纬度数据来对未来位置进行预测分析，我们这里主要是将行走的数据建模成了一个时序数据分析问题，因为物体的移动轨迹不会是随机移动的是随着时间推移，有规...

异常点或者是异常值检测算法是机器学习领域中很重要的一个分支，有效地挖掘出来数据中的异常值对于建模分析等工作来说是很重要的，异常点的检测算法也有很多，主要分为以下几种：异常检测的方法：（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。（2）基于邻近...

ARIMA模型（英语：Autoregressive Integrated Moving Average model），差分整合移动平均自回归模型，又称整合移动平均自回归模型（移动也可称作滑动），是时间序列预测分析方法之一。ARIMA(p，d，q)中，AR是“自回归”，p为自回归项数；MA为“滑动平均”，q为滑动平均项数，d为使之成为平稳序列所做的差分次数（阶数）。 AR...

新闻数据本质上来说也属于文本数据，新闻分类本质也就归成了文本分类系统，本文主要是自己业余时间里面的一个小实践，主要是完成从数据采集、存储解析、文本向量化处理、分类模型构建几个步骤，方法和套路都是比较常规的，整体看效果还是不错的。 这里我们初步选定今日头条来作为我们的数据源站点，毕竟头条的新闻类型很多，数据更新很快，尤其是如今火热的自媒体行业的兴起，一大批创作者涌入头条里...

最近在做的工作里面有一个地方需要去计算给定的不同图像之间的相似度，对于图像来说其本质上就是一个3维的RGB数据矩阵，知道了这个特性以后，很多相似度计算方法逐渐被提出和实现，这里我针对具体的应用实现列举几种我所用到的相似度计算方法，下面是具体的代码实现：#!usr/bin/env python#encoding:utf-8from __future__ import divis...

做深度学习相关的项目，最痛苦的莫过于没有GPU资源，好在今年终于等来了第一台深度学习服务器，虽然是采用购买租用的形式，但这并不影响我们实际的使用，大多数人现在购买云端服务器资源首选可能都会是阿里云，毕竟现在的云端做得很好，闲话就不多说了，这里主要是记录一下自己的实际安装使用过程，从昨晚开始安装，一步一个坑，到现在的成功使用，分享一点自己的亲身实践经历，希望能够帮到需要的人。1...

在国内比较知名的电影数据平台应该就是豆瓣、猫眼了，别的使用的不是很多，这两个平台就我们来说，平时的实践依赖还是比较多的，今天主要是想基于猫眼电影数据做一点分析性的工作，在我之前的文章中，基于豆瓣影评数据的采集、处理、存储、分析、可视化整个流程已经做了详细的介绍与实现了，感兴趣的话可以去参考一下我之前的文章 ，地址在下面：https://yishuihancheng.blog.cs...

Google之前上线了“以图搜图”的功能，吸引了一大批人员的使用， 体验之后不得不说还是很强大，谷歌背后的黑科技还是很强大的。感知哈希本质上是哈希算法中的一类算法，最初被提出来就是用来做相似图片的匹配与计算的，以图搜图的本质也是在做详细图片的计算与匹配，不同的算法会有不同的计算精度和计算速度。 对于我们每个人来说，我们有个人的身份证号码这样的数字指纹来标识每一个人，同样...

本文的主要研究主要是基于一批历史的气象数据来挖掘不同天气形势下的关联性，对空气质量的管控和分析提供合理的指导意见，技术是通用性的，问题是具体业务场景里面的，最初接触到这个任务的时候着实没有特别清晰的实现思路，就我以往的实践经验来水，数据之间的关联性往往会借助于关联规则挖掘算法来实现固有关联规则或者是潜在关联规则的挖掘，数据之间的相似性往往会借助于相似度算法来完成计算，在前者的任务场景...

恶意网站是我们生活中多少都会遇上到的一种网页集合，大多是包含病毒或者是一些非法获取个人信息的页面，本文所指的恶意网站主要指的是我们生活中遇到过的钓鱼网站，也就是仿冒网站。 我们先来看一份简短的月报： 如果想要简单来了解一下网络钓鱼背后的操作原理的话，推荐你看这篇文章《黑客技术解密：网络钓鱼》，地址在下方：http://www.so...

本分析中很多的工作都是基于评论数据来进行的，比如：滴滴出行的评价数据、租房的评价数据、电影的评论数据等等，从这些语料数据中能够挖掘出来客户群体对于某种事物或者事情的看法，较为常见的工作有：舆情分析、热点挖掘和情感分析。 如果想要了解关于文本分类或者是情感分析相关的工作内容，可以阅读我的《数据建模实战》专栏文章，下面是链接信息： ...

推荐系统在我们日常生活中发挥着非常重要的作用，相信实际从事过推荐相关的工程项目的人或多或少都会看多《推荐系统实战》这本书，我也是读者之一，个人感觉对于推荐系统的入门来说这本书籍还是不错的资料。很多商场、大厂的推荐系统都是很复杂也是很强大的，大多是基于深度学习来设计强有力的计算系统，本文是笔者在公司实践项目中实际做过的推荐系统实践经验分享。技术层面主要从机器学习和深度学习两个方面来分别...

对于我们算法分析人员来说，机器学习和神经网络早已不是什么新鲜内容，搭建、训练出来一个好的模型用于线上生产是必不可少的基础功能，对于业务人员或者是对于模型细节并不是很清楚或者是关注的人来说，这个就显得很抽象了，这个时候必要的可视化工作就显得很重要了，当前比较成熟的可视化工具大致包括：matplotlib、seaborn、Chaco 、pychart 、VPython 、yellowb...

声明：本博客中的VIP系列博客内容严禁转载，未经允许不得以任何形式进行传播，违者追究侵权责任！ 感知器算法超详细讲解实战+spark简单应用 ...

人脸识别如今已经是家喻户晓了，几乎每天都要跟他打交道，我们上班的考勤机就是一个人脸识别系统，我们俗称“刷脸机”。进入火车站或者机场的时候也会有人脸识别的需要，这里面都是深度学习的计算力在支撑，今天主要的内容是自己动手完整地去实践整个人脸识别系统，虽说人脸识别已经不是很新鲜的东西了，但是对于一个数据挖掘从业者或者初学者来说想要完整地做出来一个属于自己的人脸识别项目还是需要花费一定的时...

声明： 本博客中的VIP系列博客内容严禁转载，未经允许不得以任何形式进行传播，违者追究侵权责任！ 基于词典和弱标注信息的电影评论情感分析系统 ...

招聘和求职是一对永恒的话题，不论什么时候都有招聘或者是求职的需求，找不找得到工作可能最主要的就是匹配度是否高，待遇福利是否诱人，如今互联网的快速发展，找工作的方式早已发生了翻天覆地的变化，从以往的面对面形式的招聘简历投递和面试方式，变成了电子简历网络直接投递、远程面试录用的形式，便捷性大大提升，需求的快速增长，促生了一批互联网招聘类的企业，诸如：51job、BOSS直聘、拉勾网等等，为了能...

声明： 本博客中的VIP系列博客内容严禁转载，未经允许不得以任何形式进行传播，违者追究侵权责任！ 基于微博数据的人物性格分类系统 ...

之前接触到比较多的模型集成相关的工作，有Bagging、Boosting等等，当然还有Stacking，正好不久之前做的一个项目用的主体框架就是Stacking，所以关于这个框架的印象还算清晰吧。 实际中，将机器学习模型和Stacking框架融合的做法是比较多的，但是将神经网络模型作为基础模型来用Stacking框架进行集成使用倒不是很多，今天就是想花点时间来做一下这个...

在实际生活中，时序序列数据是很常见的一类数据，回归模型、神经网络模型都可以用于构建时间序列数据的预测模型，基于机器学习回归模型的时序数据预测模型构建在我之前的文章中已经提及了这里就不再进行说明了，基于深度神经网络模型DNN的时序数据预测模型相对于LSTM网络结构而言更为简单，今天不做说明，本文主要是结合LSTM网络模型来构建时序数据的预测模型，实践一下时间序列预测。 这里首先...

声明： 本博客中的VIP系列博客内容严禁转载，未经允许不得以任何形式进行传播，违者追究侵权责任！ 本文主要是基于LSTM（Long Short-Term Memory）长短期记忆神经网络来实践多变量序列预测，并完成对未来指定步长时刻数据的预测、分析和可视化，，手把手教你去搭建属于自己的预测分析模型。本文主要分为：LSTM模型简介、数据探索...

在自然语言处理里面，情感分析大类上归属于文本分类领域，是NLP非常常见也是很重要的一种任务类型，在大多数已开展的分析研究工作中，主要是基于评论数据集，诸如：滴滴打车评论数据集、豆瓣猫眼影评数据集；或者是一些社交媒体数据集，诸如：Twitter数据集、微博数据集、人人网数据集等等。 在开始本文的主要内容之前，我们先看一下有意思的东西，我以当今的小鲜肉【王俊凯】为搜索对象...

天气预报可以说是我们每个人日常生活中都会接触到并关注的一件事情了，当前的天气预报技术不仅仅基于模式预报，也融入进了人工智能分析预测预报技术，准确度相较于以往还是有了很大的提升了的。今天我想基于气象局公布出来的数据来做一些有意思的工作。 首先就是我们的数据采集工作了，这里的数据采集主要包括两种数据类型的采集，分别介绍如下：第一种：数值型数据的采集 主要...