- 博客(16)
- 收藏
- 关注
RSS订阅
原创 Node.js新闻爬虫实验项目二(5)最终项目
创建项目 express --view=ejs project npm install npm install mysql -save 安装依赖项. 数据库连接&Data Access Object 建立mysql表单保存用户信息&操作日志 logDAO.js // 用于存放用户操作记录 日志 //该文件没有用，最后选择使用express中间件 morgan记录日志（app.js中） var mysql = require('mysql'); var mysqlConf = re
2020-06-19 21:05:52
450
原创 Node.js新闻爬虫实验项目(9)express前后端基于之前成果的扩展
mysql.js文件相关 将第四节的mysql.js文件拷贝到项目中 运行mysql.js node mysql.js npm install mysql --save save将mysql安装到这个项目，更重要的是将它保存进package.json npm install 安装所有package.json中的依赖项 打开routes/index.js，准备修改 原来自动创建出的代码...
2020-04-20 16:51:31
270
原创 Node.js新闻爬虫实验项目(4)爬虫代码分析
引入模块 var fs=require('fs'); //文件操作 var request=require('request'); var cheerio=require('cheerio'); var iconv=require('iconv-lite'); var mysql=require('./mysql.js'); //Mysql使用 var schedule=require...
2020-04-08 23:50:46
576
原创 Node.js新闻爬虫实验项目二(4)建立mysql表单保存用户信息&操作日志
mysql -u root -p 输入密码 （root账户） 因为之前已经建了一个数据库crawl 见： Node.js新闻爬虫实验项目(4)爬虫代码分析 我们直接建立2个表单保存用户信息，操作日志。 创建用户信息表单 CREATE TABLE `crawl`.`user`( `id` INT UNSIGNED NOT NULL AUTO_INCREMENT, `username` VARCHAR(45) NOT NULL, `password` VARCHAR(45) NOT NULL, `re
2020-06-19 00:53:22
373
3
原创 Node.js新闻爬虫实验项目二(3)Echarts数据可视化
基本图示 柱状图 统计不同日期的新闻发布数 饼状图 统计不同作者编辑新闻的数量 折线图 关键词数量随日期的变化 词云 所有新闻内容jieba分词的词云展示 数据来源 项目一存入mysql的爬虫数据 建立网站 express --view=ejs echarts_site 在项目文件夹下执行命令行,ejs为一种模板引擎. npm install mysql -save 安装mysql模块，并将其加入依赖项. npm install 在echart_site文件夹内命令行运行 ...
2020-06-08 00:31:07
982
2
原创 Node.js新闻爬虫实验项目（0）目录
要求 参考教程与开发工具 建立云服务器及安装开发环境 爬虫代码分析 简单尝试mysql查询数据库 简单http前后端框架 简单express前后端框架 express开发环境 express前后端基于之前成果的扩展 ...
2020-04-27 22:53:49
244
原创 Node.js新闻爬虫实验项目(8)express开发环境
简单使用express的功能并不能满足项目需要，因此我们需要一个开发环境来帮助我们管理express项目 安装环境 注意，我是在linux下操作 npm ll -g express express-generator 先查询全局是否已经安装. 并没有安装 npm install -g express@4 express-generator@4 开始安装 npm ll -g express ...
2020-04-20 13:27:33
265
原创 Node.js新闻爬虫实验项目(7)简单express前后端框架
前端 <!DOCTYPE html> <html> <head> <title>search</title> <meta charset="utf-8"> //设置编码，防止乱码 </head> <body> <form action="http://5...
2020-04-19 17:30:31
228
原创 Node.js新闻爬虫实验项目(6)简单http前后端框架
前端 <!DOCTYPE html> <html> <body> //form表单 <form action="http://127.0.0.1:8080/7.02.html" method="GET"> <br/> title: <input type="text" na...
2020-04-19 16:12:41
228
原创 Node.js新闻爬虫实验项目(5)简单尝试mysql查询数据库
代码分析 var mysql=require('./mysql.js');//mysql.js在第4篇中提及 var title='黄金';//选一个关键词 var select_Sql="select title,author,publish_date from fetches where title like '%" +title+ "%'";//这是个mysql查询语句,有固定格式 mys...
2020-04-18 23:32:46
204
原创 Node.js新闻爬虫实验项目（3）建立云服务器及安装开发环境
建立服务器及个人网站 参考：https://blog.youkuaiyun.com/weixin_44550463/article/details/100680659 安装mysql 参考:https://blog.youkuaiyun.com/weixin_44283232/article/details/90167048 我在照这个流程做时,没有成功地连接本地mysql,这个在以后解决。 安装node.js 参考:h...
2020-04-07 20:09:07
236
原创 Node.js新闻爬虫实验项目（2）参考教程与开发工具
由于之前并没有学习过相关的语言，在这里我将逐步介绍需要的工具。 以下是我参考的nodejs教程： www.ybao.org/book/nodejs/627.html 提供给大家学习参考。 由于上述教程中已经提供了安装的方法，在这里我将简要的介绍一下一些基础的开发工具。 ----------------------------------------------------------------...
2020-04-05 10:24:00
293
原创 Node.js新闻爬虫实验项目(1)要求
这是一个学生的第一个开发项目。以下是**项目要求**： ◦1、选取3-5个代表性的新闻网站（比如新浪新闻、网易新闻等，或者某个垂直领域权威性的网站比如经济领域的雪球财经、东方财富等，或者体育领域的腾讯体育、虎扑体育等等）建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。 ◦2、建立网站提供对爬取内容的分项全文搜索...
2020-04-04 23:25:24
462
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人