写个爬虫,爬取 Boss 直聘全部前端岗位

python爬取boss直聘数据(selenium+xpath) 不知道是boss反爬做的太好,还是我个人太菜(哭~)我个人倾向于第二种这个爬虫还有很多很多的不足之处,比如在页面加载的时候,boss的页面会多次加载(这里我很是不理解,我明明只访问了一次,但是他能加载好多次),这就导致是不是ip就会被封…再比如,那个下一页的点击按钮,一直点不了,不知有没有路过的大佬指点一二(呜呜呜~)# 下一页标签定位 ui-icon-arrow-right# # 点击指定的标签# # 释放动作链总之boss的信息爬取,我还是无法做到完全自动化😭。 阅读详情
AI摘要

本文介绍了如何使用Puppeteer进行网页爬取,从BOSS直聘获取前端职位的描述,并通过TypeORM将数据持久化到MySQL数据库,以备后续数据分析和处理。

我们在找工作的时候,都会用 boss 直聘、拉钩之类的 APP 投简历。

根据职位描述筛选出适合自己的来投。

此外,职位描述也是我们简历优化的方向,甚至是平时学习的方向。

图片

所以我觉得招聘网站的职位描述还是挺有价值的,就想把它们都爬取下来存到数据库里。

今天我们一起来实现下。

爬取数据我们使用 Puppeteer 来做,然后用 TypeORM 把爬到的数据存到 mysql 表里。

创建个项目:

mkdir jd-spider
cd jd-spider
npm init -y

图片

进入项目,安装 puppeteer:

npm install --save puppeteer

我们要爬取的是 boss 直聘的网站数据。

首先,进入搜索页面,选择全国范围,搜索前端:

图片

然后职位列表的每个点进去查看描述,把这个岗位的信息和描述抓取下来:

图片

创建 test.js

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({
    headless: false,
    defaultViewport: {
        width: 0,
        height: 0
    }
});

const page = await browser.newPage();

await page.goto('https://www.zhipin.com/web/geek/job');

await page.waitForSelector('.job-list-box');

await page.click('.city-label', {
    delay: 500
});

await page.click('.city-list-hot li:first-child', {
    delay: 500
});

await page.focus('.search-input-box input');

await page.keyboard.type('前端', {
    delay: 200
});

await page.click('.search-btn', {
    delay: 1000
});

调用 launch 跑一个浏览器实例,指定 headless 为 false 也就是有界面。

defaultView 设置 width、height 为 0 是网页内容充满整个窗口。

然后就是自动化的流程了:

首先进入职位搜索页面,等 job-list-box 这个元素出现之后,也就是列表加载完成了。

就点击城市选择按钮,选择全国。

然后在输入框输入前端,点击搜索。

然后跑一下。

跑之前在 package.json 设置 type 为 module,也就是支持 es module 的 import:

图片

node ./test.js

它会自动打开一个浏览器窗口:

图片

然后执行自动化脚本:

图片

这样,下面的列表数据就是可以抓取的了。

不过这里其实没必要这么麻烦,因为只要你 url 里带了 city 和 query 的参数,会自动设置为搜索参数:

图片

所以直接打开这个 url 就可以:

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({
    headless: false,
    defaultViewport: {
        width: 0,
        height: 0
    }
});

const page = await browser.newPage();

await page.goto('https://www.zhipin.com/web/geek/job?query=前端&city=100010000');

await page.waitForSelector('.job-list-box');

然后我们要拿到页数,用来访问列表的每页数据。

怎么拿到页数呢?

其实就是拿 options-pages 的倒数第二个 a 标签的内容:

图片

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({
    headless: false,
    defaultViewport: {
        width: 0,
        height: 0
    }
});

const page = await browser.newPage();

await page.goto('https://www.zhipin.com/web/geek/job?query=前端&city=100010000');

await page.waitForSelector('.job-list-box');

const res = await page.$eval('.options-pages a:nth-last-child(2)', el => {
    return parseInt(el.textContent)
});

console.log(res);

$eval 第一个参数是选择器,第二个参数是对选择出的元素做一些处理后返回。

跑一下:

图片

页数没问题。

然后接下来就是访问每页的列表数据了。

就是在 url 后再带一个 page 的参数:

图片

然后,我们遍历访问每页数据,拿到每个职位的信息:

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({
    headless: false,
    defaultViewport: {
        width: 0,
        height: 0
    }
});

const page = await browser.newPage();

await page.goto('https://www.zhipin.com/web/geek/job?query=前端&city=100010000');

await page.waitForSelector('.job-list-box');

const totalPage = await page.$eval('.options-pages a:nth-last-child(2)', e => {
    return parseInt(e.textContent)
});

const allJobs = [];
for(let i = 1; i <= totalPage; i ++) {
    await page.goto('https://www.zhipin.com/web/geek/job?query=前端&city=100010000&page=' + i);

    await page.waitForSelector('.job-list-box');

    const jobs = await page.$eval('.job-list-box', el => {
        return [...el.querySelectorAll('.job-card-wrapper')].map(item => {
            return {
                job: {
                    name: item.querySelector('.job-name').textContent,
                    area: item.querySelector('.job-area').textContent,
                    salary: item.querySelector('.salary').textContent
                },
                link: item.querySelector('a').href,
                company: {
                    name: item.querySelector('.company-name').textContent,
                }
            }
        })
    });
    allJobs.push(...jobs);
}

console.log(allJobs);

图片

具体的信息都是从 dom 去拿的:

图片

跑一下试试:

图片

图片

可以看到,它会依次打开每一页,然后把职位数据爬取下来。

做到这一步还不够,我们要点进去这个链接,拿到 jd 的描述。

for(let i = 0; i< allJobs.length; i ++) {
    await page.goto(allJobs[i].link);

    try{
        await page.waitForSelector('.job-sec-text');

        const jd= await page.$eval('.job-sec-text', el => {
            return el.textContent
        });
        allJobs[i].desc = jd;

        console.log(allJobs[i]);
    } catch(e) {}
}

try catch 是因为有的页面可能打开会超时导致中止,这种就直接跳过好了。

跑一下:

图片

它同样会自动打开每个岗位详情页,拿到职位描述的内容,并打印在控制台。

图片

接下来只要把这些存入数据库就好了。

我们新建个 nest 项目:

npm install -g @nestjs/cli

nest new boss-jd-spider

图片

用 docker 把 mysql 跑起来:

从 docker 官网下载 docker desktop,这个是 docker 的桌面端:

图片

跑起来后,搜索 mysql 镜像(这步需要科学上网),点击 run:

图片

输入容器名、端口映射、以及挂载的数据卷,还要指定一个环境变量:

图片

端口映射就是把宿主机的 3306 端口映射到容器里的 3306 端口,这样就可以在宿主机访问了。

数据卷挂载就是把宿主机的某个目录映射到容器里的 /var/lib/mysql 目录,这样数据是保存在本地的,不会丢失。

而 MYSQL_ROOT_PASSWORD 的密码则是 mysql 连接时候的密码。

图片

跑起来后,我们用 GUI 客户端连上,这里我们用的是 mysql workbench,这是 mysql 官方提供的免费客户端:

图片

连接上之后,点击创建 database:

图片

指定名字、字符集为 utf8mb4,然后点击右下角的 apply。

创建成功之后在左侧就可以看到这个 database 了:

图片

当然,现在还没有表。

我们在 Nest 里用 TypeORM 连接 mysql。

安装用到的包:

npm install --save @nestjs/typeorm typeorm mysql2

mysql2 是数据库驱动,typeorm 是我们用的 orm 框架,而 @nestjs/tyeporm 是 nest 集成 typeorm 用的。

在 AppModule 里引入 TypeORM,指定数据库连接配置:

图片

TypeOrmModule.forRoot({
  type: "mysql",
  host: "localhost",
  port: 3306,
  username: "root",
  password: "guang",
  database: "boss-spider",
  synchronize: true,
  logging: true,
  entities: [],
  poolSize: 10,
  connectorPackage: 'mysql2',
  extra: {
      authPlugin: 'sha256_password',
  }
}),

然后创建个 entity:

src/entities/Job.ts

import { Column, Entity, PrimaryGeneratedColumn } from "typeorm";

@Entity()
export class Job {
    
    @PrimaryGeneratedColumn()
    id: number;

    @Column({
        length: 30,
        comment: '职位名称'
    })
    name: string;

    @Column({
        length: 20,
        comment: '区域'
    })
    area: string;

    @Column({
        length: 10,
        comment: '薪资范围'
    })
    salary: string;

    @Column({
        length: 600,
        comment: '详情页链接'
    })    
    link: string;

    @Column({
        length: 30,
        comment: '公司名'
    })   
    company: string;

    @Column({
        type: 'text',
        comment: '职位描述'
    })
    desc: string;
}

链接可能很长,所以设置为 600,而职位描述就更长了,直接设置 text 就行,它可以存储大段文本。

在 AppModule 引入:

图片

把服务跑起来:

npm run start:dev

TypeORM会自动建表:

图片

图片

然后我们加个启动爬虫的接口:

图片

@Get('start-spider')
startSpider() {
    this.appService.startSpider();
    return '爬虫已启动';
}

安装 puppeteer:

npm install --save puppeteer

在 AppService 里实现 startSpider:

import { Injectable } from '@nestjs/common';
import puppeteer from 'puppeteer';

@Injectable()
export class AppService {
  getHello(): string {
    return 'Hello World!';
  }

  async startSpider() {
    const browser = await puppeteer.launch({
        headless: false
        ,
        defaultViewport: {
            width: 0,
            height: 0
        }
    });

    const page = await browser.newPage();

    await page.goto('https://www.zhipin.com/web/geek/job?query=前端&city=100010000');

    await page.waitForSelector('.job-list-box');

    const totalPage = await page.$eval('.options-pages a:nth-last-child(2)', e => {
        return parseInt(e.textContent)
    });

    const allJobs = [];
    for(let i = 1; i <= totalPage; i ++) {
        await page.goto('https://www.zhipin.com/web/geek/job?query=前端&city=100010000&page=' + i);

        await page.waitForSelector('.job-list-box');

        const jobs = await page.$eval('.job-list-box', el => {
            return [...el.querySelectorAll('.job-card-wrapper')].map(item => {
                return {
                    job: {
                        name: item.querySelector('.job-name').textContent,
                        area: item.querySelector('.job-area').textContent,
                        salary: item.querySelector('.salary').textContent
                    },
                    link: item.querySelector('a').href,
                    company: {
                        name: item.querySelector('.company-name').textContent
                    }
                }
            })
        });
        allJobs.push(...jobs);
    }

    // console.log(allJobs);

    for(let i = 0; i< allJobs.length; i ++) {
        await page.goto(allJobs[i].link);

        try{
            await page.waitForSelector('.job-sec-text');

            const jd= await page.$eval('.job-sec-text', el => {
                return el.textContent
            });
            allJobs[i].desc = jd;

            console.log(allJobs[i]);
        } catch(e) {}
    }
  }
  
}

这里原封不动的把之前的爬虫逻辑复制了过来,只是把 headless 设置为了 true,因为我们不需要界面。

浏览器访问下:

图片

图片

爬虫跑的没啥问题。

不过这个过程中 boss 可能会检测到你访问频率过高,会让你做下是不是真人的验证:

图片

这个就是验证码点点就好了。

然后我们把数据存到数据库里:

图片

用 EntityManager 来 save 就好了:

@Inject(EntityManager)
private entityManager: EntityManager;
const job = new Job();

job.name = allJobs[i].job.name;
job.area = allJobs[i].job.area;
job.salary = allJobs[i].job.salary;
job.link = allJobs[i].link;
job.company = allJobs[i].company.name;
job.desc = allJobs[i].desc;

await this.entityManager.save(Job, job);

再跑下:

图片

图片

去数据库里看下:

图片

图片

这样,你就可以对这些职位描述做一些搜索,分析之类的了。

比如搜索职位描述中包含 react 的岗位:

SELECT * FROM `boss-spider`.job where `desc` like "%React%";

图片

这样,爬虫就做完了。

如果想在前端实时看到爬取到的数据,可以通过 SSE 来实时返回:

图片

这样用:

图片

这里我们就不改了。

案例代码上传了 nest 小册仓库:https://github.com/QuarkGluonPlasma/nestjs-course-code/tree/main/boss-jd-spider

总结

我们通过 puppeteer 实现了对 BOSS 直聘网站的前端职位的爬取,并用 Nest + TypeORM 把数据保存到了数据库里。

这样就可以在本地对这些职位数据做一些处理或分析了。

【2024最新】快速爬取Boss直聘职位信息 在如今竞争激烈的就业市场,了解最新的职位信息是成功找到理想工作的关键。而Boss直聘作为国内领先的招聘平台,拥有海量的职位信息。本教程将带您一步步学习如何使用爬虫技术,快速、高效地爬取Boss直聘上的职位信息。通过本教程,您将学会使用Python编写爬虫程序,快速爬取Boss直聘的职位信息。希望本教程能够帮助到您,顺利找到理想的工作!(注意:在进行任何爬取操作时,请遵守相关法律法规和网站的使用规定,避免对目标网站造成不必要的影响。本教程仅供学习和技术交流使用。 阅读详情

相关推荐

2024最新boss直聘岗位数据爬虫,并进行可视化分析

通过以上步骤,我们成功地使用DrissionPage实现了从BOSS直聘爬取岗位数据,并进行了基本的数据清洗和可视化分析。这为我们进一步的深入分析和研究提供了基础数据。希望本文能对读者有所帮助,并激发您在数据科学和爬虫技术方面的兴趣。以上对您有帮助的话麻烦三连哦~t=N7T8BOSS直聘https://www.zhipin.com/web/geek/job?

weixin_44765053的博客 4519

BOSS直聘岗位python爬取思路1(完整代码+详细介绍)

- 爬取字段:详情链接、岗位名、岗位年限、岗位薪资范围、职位描述、岗位关键字、岗位地区、岗位地址 - 爬取工具:Python - 所需第三方库:selenium,BeautifulSoup,json - !! 注意selenium必须要提前安装和浏览器版本一样的驱动器(本人在这步卡了好久,具体请看链接:) - 思路:(这样分段有利于中途报错不需要所有都重新跑) - 先利用selenium获取每个岗位的链接 - 再遍历页面的链接获取每个岗位招聘信息的源代码 - 再利用beautifulSoup对每个岗位

麻辣清汤的博客 1万+

爬取BOSS直聘网上关于产品经理岗位的相关信息

爬虫心得 爬虫步骤: html网页源代码获取 目标数据解析 数据保存 在写解析部分的代码时,为了避免频繁访问url,我们可以将HTML代码保存到txt文件,后面只需要对txt文件中的html代码进行解析,当解析成功后,我们就可以直接对url进行解析了。 with open(file.txt, 'a', encoding='utf-8') as f: f.write(data) 一、网站分析...

YiBochun-Blog 805

爬虫实战---(4) 使用Selenium爬取Boss直聘招聘数据

本文使用Python的Selenium库从黑马程序员网站(Boss直聘)中爬取Python职位招聘信息

qq_51749909的博客 4595

求职效率提升:BOSS直聘岗位爬虫(新手友好版),薪资/地点一键筛选

这款BOSS直聘爬虫的核心价值在于“精准筛选+省时省力”——无需手动翻页、无需逐个过滤不符合条件的岗位,爬虫自动完成“爬取→筛选→排序→导出”全流程,直接输出高优先级岗位列表。数据包含求职决策的所有核心字段,Excel格式支持二次个性化筛选,无论是校招应届生还是社招跳槽,都能快速找到符合薪资、地点、经验要求的优质岗位,避免错过机会。代码完全开源,新手可直接复用,进阶用户可根据需求添加更多功能(如岗位详情爬取、微信推送),轻松适配个性化求职需求。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2522

Boss直聘Python岗位数据采集:基于DrissionPage的招聘信息爬取实战

本文介绍了一个基于DrissionPage库的Boss直聘Python岗位数据采集系统。该系统通过分析Boss直聘的动态加载机制和反爬策略,采用浏览器自动化技术模拟真实用户行为,结合数据包监听直接获取结构化JSON数据。详细解析了从环境配置、数据采集到解析存储的全流程实现,包括7个关键步骤:数据加载机制分析、反爬机制分析、技术选型决策、数据存储设计、多页批量采集、数据解析清洗和Excel存储。系统可获取招聘者信息、职位详情、企业信息等关键字段,为市场研究和职业规划提供数据支持。

那些看似不起波澜的日复一日,会在某天让你看到坚持的意义 1224

BOSS直聘爬虫分析:Bright Data + PandasAI 洞察招聘市场的薪资动态与职位趋势

本文将通过Python以及使用Bright Data 代理对BOSS直聘招聘平台进行数据抓取,并结合 PandasAI来分析当前互联网岗位的薪资动态与职位趋势。

编码世界 2万+

基于boss直聘的招聘数据可视化分析平台-Flask+html

本程序采用Python语言进行编写,基于Flask的轻量级Web应用框架,并结合经典模块化前端框架Bootstrap,数据库采用Mysql进行设计,数据可视化展示通过开源可视化图表库Echarts,主要包括对招聘信息的爬取、存储、可视化展示与数据挖掘,实现了Boss直聘招聘信息数据可视化分析系统。

老卓爱爪哇 的博客 1702

基于 DrissionPage 爬取 Boss 直聘岗位数据

Boss直聘数据爬取项目总结 项目概述 本项目基于DrissionPage实现Boss直聘岗位数据的自动化采集,主要特点包括: 技术架构:采用浏览器自动化+网络请求监听技术,绕过前端渲染限制 数据存储:MySQL持久化存储+Redis高效去重 智能遍历:通过多层职位树配置驱动关键词遍历 合规设计:请求频率控制、数据去重机制 核心功能 使用DrissionPage监听XHR/Fetch数据包获取JSON数据 四层职位树配置(行业→领域→岗位→关键词) 双重去重机制(本地Set+Redis) 自动翻页与异常处理

qq_65787661的博客 942

水下井口装置及钻杆建模

内容:海上油气资源开采的过程中,通常会由海上钻井平台下入钻杆连接到海底井口装置。OrcaFlex软件可进行各种海洋工程结构动态分析,通过各项数据的输入,能够很方便地进行水下井口装置及钻杆建模。直接使用软件New Line及new vessel功能,再设置模型的各项参数(几何属性、弯曲刚度、轴线刚度、扭转刚度、泊松比等)即可建成井口装置及钻杆模型。 设置管线的几何属性:主要包括管线的内外径、壁厚、...

s0302017的博客 1148

深度学习中的注意力机制

最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例,深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制,同时也抽象出其本质思想,并介绍了注意力模型在图像及语音等领域的典型应用场景。

优快云人工智能 4万+

基于 Python+Flask 的 BOSS 直聘数据分析

【摘要】针对求职者在传统招聘平台面临的信息筛选效率低、行业趋势难把握、薪资对比无依据三大痛点,本文设计了一套基于Python的招聘数据分析系统。系统通过爬取BOSS直聘数据(使用Requests+正则表达式),经Pandas清洗后,采用Flask+ECharts实现可视化展示,包括:1)城市岗位分布饼图;2)学历-薪资关系条形图;3)公司类型分布分析。数据表明,数据分析师岗位中上海占比35%,本科要求占62%,1-3年经验薪资涨幅达50%。系统支持条件筛选和薪资预测,帮助求职者快速决策。未来计划扩展多岗位支

3036

BERT + BiLSTM-CRF 处理流程

BERT是一个基于 Transformer 的预训练语言模型。与传统的语言模型不同,BERT 是双向的,即它同时利用上下文信息进行词表示学习。BERT 在大规模语料库上进行预训练,可以捕捉到深层次的语言知识和上下文关系,生成非常丰富的词向量表示。在序列标注任务中,BERT 被用作输入文本的编码器,将每个词映射为上下文相关的词嵌入(embeddings)。

AI Agent 首席体验官 2258

java简单爬取Boss直聘招聘基本信息

准备工作先去https://jsoup.org/download下载一个jsoup.jar;熟悉web前端知识;熟悉浏览器抓包,分析请求和返回 开始写代码爬取 /** * @Desc: 简单爬取boss直聘的基本招聘信息 * @Author: me * @Created by: 2019/7/3 0003 16:48 **/ class BossLoadUtils { pr...

ITPlus的博客 3093

Flutter UI代码生成实战:Cursor与MCP的企业级规范适配

本文探讨了在企业级Flutter项目中,如何通过配置Cursor Rules与定制Figma MCP工具,为AI代码生成设定严格的开发规范。该方法解决了AI生成代码与现有项目架构、命名约定及资源引用规范脱节的核心痛点,实现了从Figma设计稿到高质量、可维护Flutter UI代码的自动化流程,显著提升团队协作效率与代码一致性。

http9protocoller的博客 280

从‘包饺子’到‘包络线’:一个生活化比喻讲透长期与短期成本决策

本文通过饺子馆经营的生活化比喻,深入浅出地解析了长期与短期成本决策的核心逻辑。从调整人力(可变成本)到扩建厨房(固定成本),揭示了包络线理论在商业决策中的实际应用,帮助企业主在规模经济与成本控制间找到平衡点。

weixin_32006655的博客 342

Python数据可视化分析项目(boss直聘数据可视化分析)

python数据分析大作业(django+爬虫+前端+数据库+数据分析+模型预测)

熊百涛的博客 6138

AD(AltiumDesigner)封装导入allegro生成allegro封装

AD(AltiumDesigner)封装导入allegro生成allegro封装 貌似PCB的封装问题是一个无尽话题,为了简单我总是想找捷径(主要还是太懒了),因为也是近期才开始学习使用allegro进行PCB设计,在最近的一个设计中,很多器件封装allegro中都没有,一个一个画感觉很费时间,但是在AD(AltiumDesigner)的封装库中是有的,于是便想着AD的封装库能不能倒入到alleg...

yangh2560的博客 2万+

基于Python的招聘数据分析平台,通过爬取Boss直聘等招聘网站的岗位信息,对数据进行清洗、存储、分析,并通过Web界面为用户提供直观的可视化展示

本项目是一个基于Python的招聘数据分析平台,通过爬取Boss直聘等招聘网站的岗位信息,对数据进行清洗、存储、分析,并通过Web界面为用户提供直观的可视化展示。平台包含岗位数据分析、薪资预测、岗位匹配等核心功能,旨在帮助求职者了解IT行业就业市场现状,提高求职效率。

2301_76484015的博客 1128

uniapp - 实现手机端H5网页直播功能效果,拿到后端推流地址或播放资源后进行前端的流畅播放和画面展示功能,uniapp实时推流/拉流直播系统详细教程(提供完整示例代码,一键复制开箱即用!)

uniapp,h5网页,手机端H5网页,uniapp h5直播功能页面,uniapp直播实时推送显示,uniapp h5直播怎么做,怎么使用uniapp去实现移动端手机H5直播,h5 vue+uniapp怎么做直播,uniapp中使用videojs构建H5直播播放器,uniappH5端怎么实现直播推流,uniapp如何实现直播,直播聊天功能,h5平台端直播用什么插件,uniapp手机网页直播用什么组件插件播放器,uniapp手机H5直播播放器详细教程,直播项目,怎么使用vue+uniapp怎么做H5实时直播

✅ 精选推荐文章 8796

Claude Code 任务编排 头脑风暴与 疯狂拷问:Superpowers vs Grill-me 硬核对比与工程落地

Superpowers和Grill-me是AI编程中的互补工具:Superpowers提供工程化开发流程(从需求梳理到代码审查),确保规范执行;Grill-me通过持续追问帮助厘清需求,避免方向偏差。两者结合形成"构思-拷问-执行"工作流,前者负责方案生成与落地,后者专注需求审查。根据场景选择:个人项目可用Grill-me快速澄清需求,企业项目推荐Superpowers全流程,复杂开发则建议组合使用。它们分别解决"如何落地"和"是否对齐"的问题,共

十年老程序猿,AI 疯狂研究专家,前沿硬核知识分享 331

基于Python的Boss直聘招聘信息爬虫可视化平台

如今时代,人们获取信息的方式已经从传统媒体如电视、报纸、书籍、信件等转变为以互联网为主要来源,这促进了信息的快速更新和获取,与此同时,计算机的存储能力和复杂算法的飞速发展,导致数据量在近年是指数级增长,导致各行各业的决策越来越依赖于数据,从“业务驱动”向“数据驱动”转变。因此,我们需要充分利用数据的海量处理和智能分析能力,准确抓取时代的热点数据,并在此基础上构建高效率的分析系统。

Zsffbb211 511

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

毕业设计:BOSS直聘数据分析可视化系统Python+Django+Selenium爬虫 大数据 计算机专业( 源码+文档)✅

毕业设计:BOSS直聘数据分析可视化系统Python+Django+Selenium爬虫 大数据 计算机专业( 源码+文档)✅

q_3375686806的博客 747

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

基于协同过滤算法,实现Boss直聘数据可视化分析和岗位智能推荐系统

本项目是一个基于Django框架开发的Boss直聘数据可视化分析和基于协同过滤算法的岗位智能推荐系统。该系统通过爬取Boss直聘网站的招聘数据,对数据进行处理、分析和可视化展示,并基于用户的个人信息和浏览历史提供智能岗位推荐服务。系统旨在帮助求职者更好地了解就业市场趋势,并获取更加精准的岗位推荐。

Nick_zcy的博客 1163

制作一个谷歌浏览器插件,实现网页数据爬虫

浏览器插件,基于浏览器的原有功能,另外增加新功能的工具,是可定制浏览体验的小型软件程序,让用户可以根据个人需要或偏好来定制浏览器。如拦截网页中的广告、划词翻译、倍速视频等等。Chrome、edge等浏览器中都有专门的插件下载商店。 受某些原因限制,Chrome服务并不能正常访问这里提供几个常用的浏览器插件下载地址:Chrome插件,谷歌浏览器插件下载,chrome谷歌商店插件crx应用推荐与下载-扩展迷Chrome插件,Chrome商店,谷歌浏览器插件下载,谷歌商店 - Chrome插件网极简插件_Chro

weixin_69999177的博客 1万+
上一篇: 帮公司部署了个ChatGPT,然后被开除了,更离谱的是...
下一篇: 微软前工程师称Windows 11性能差得笑死人,难怪市场份额持续下降
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值