- 博客(11)
- 收藏
- 关注
RSS订阅原创 智能人物画像综合分析系统——Day21
今天遇到数据类型不一致的问题，为了使数据格式一致便于展示，前端同学向我反映，需要将数据类型统一。于是我去与后端的python组进行协商，将数据类型改为int，并且有些加入汉字的数字我也为他们想办法解决了，但是facebook的时间类型属于特殊数据，无法改为int类型...
2021-07-27 21:48:06
261
原创 智能人物画像综合分析系统——Day16
目前为止的话数据采集爬虫已经基本写好了，还在一步步完善数据集，然后前端界面的属性展示在根据目前的数据库设计进行更改，并完成了相应的图标可视化展示。因为指导人员想要具体效果展示，我之前让python组的同学们爬取了一些静态数据，用这些数据与前端的界面进行整合，目前效果不错。今天下午开会交流了一下进度，发现我们的项目进度有些缓慢，因为各位同学刚刚回家，并且还不怎么习惯这种线上的工作模式，很多时候交流不是很畅通。下周的效率会更高一些，我也会更加贴近项目，促进大家的沟通交流。...
2021-07-27 13:26:29
310
原创 智能人物画像综合分析系统——Day15
今天终于将已做好的数据进行了汇总，并发现了许多问题。因为YouTube的反爬策略过于严格，李想同学的进度受阻，我们在反复讨论并且尝试无果后，我将世界日报的爬取工作交给了他，来丰富我们的数据种类。另外一个问题是，因为爬虫部分的不同网站的爬取是由不同的同学完成的，导致命名比较随意，不是很统一，我们也没有一个统一的命名标准，他们也不清楚要改成怎样的命名较为妥当，只好开会进行沟通，确定不同文件中相重叠的属性，再进行讨论，最后决定怎样的命名符合大众的认知，并且格式规范。这虽然是小细节，却也有很大的影响。这体现
2021-07-27 12:34:26
424
原创 智能人物画像综合分析系统——Day12
今天是线上实训的第一天，组内成员的线上打卡遇到一些问题。如：钉钉外勤打卡需要将手机里的虚拟定位和梯子全部删掉，部分同学因此遇到一些困难。还有一些同学经过回家又经历一个周末没有打卡导致上班迟到。目前还有部分同学刚刚到家还在休整，项目进度进展较慢，python组的数据还未整合完成发给Java组进行链接，有些混杂。我会努力协调各组工作，对他们进行督促，争取不要让进度停滞落后。2021-7-12 编辑...
2021-07-27 12:01:53
174
原创 智能人物画像综合分析系统——Day8
明天是暑期实训线下部分的最后一天，本来计划需要中期进度汇报，但因为学校搬迁的原因暂时取消。我将公司后面所给的三个国外新闻网站分配给大家。因为我们马上就要回家，回家后无法进行线下交流，所以在大家回家之前我们需要开会统一一下进度，做好接下来三周的工作规划，以便项目进度顺利进行，并在最后顺利结项。由我预约会议并主持。目前我们Java分组已经将大致的界面初步完成，界面可以将不同界面的不同图表的数据显示出来，后面数据传过来后，还可以根据数据库继续制作。python组还在继续爬数据...
2021-07-27 11:40:25
528
原创 智能人物画像综合分析系统——Day7
油管 李想用户视频推特 于铭哲 推文及用户爬虫完成，下一步考虑实现用户参与讨论的话题爬取用户推文表具体字段B站 韩宗胜 爬虫代码基本编写完毕up主视频微博 李霆泷 薛羽丰 搭建了阿里云服务器，并完成图形界面，python环境配置，mysql数据库配置，为在服务器运行爬虫做好准备。使用flask框架，编写后端服务端口，主要功能是接收java前端提供的关键词信息等，以根据前段提供的信息，进行针对性的爬取。 吴慧倩 数据库数据整合 知乎 卢昱佑 爬取知乎的相关数据核.
2021-07-07 20:14:26
259
原创 智能人物画像综合分析系统——Day6
今天因为毛概期末考试并没有打卡，我晚上收集汇总了一下项目的推进情况，总的来说项目进展比较顺利，同学们也都积极工作。后端数据组油管 李*刚开始写完配置部分，爬虫开始调试推特 于**推文及用户爬虫完成，下一步考虑实现用户参与讨论的话题爬取B站 韩**爬虫代码基本编写完毕微博 李**微博爬虫即将完成薛**搭建了阿里云服务器，并完成图形界面，python环境配置，mysql数据库配置，为在服务器运行爬虫做好准备。使用flask框架，编写后端服务端口，主要功能是接收java前端提供的...
2021-07-06 14:53:02
383
原创 智能人物画像综合分析系统——Day3
今日上午的主要工作是对已学习知识的熟悉和运用，Java组开始尝试vue的使用，目前还没有遇到太多困难。 中午对python组的进度以及知识掌握情况做了大致的统计，下午由公司的技术人员来为我们培训。培训还是照常由我来申请教室，利用腾讯会议共享屏幕，现场讲解。 现在两个组在知识上的困难都已基本解决，项目开始平稳进行，未来的时间将主要用于项目开发。项目来源：浩睿智源（山东）人工智能有限公司...
2021-06-30 16:47:24
252
原创 智能人物画像综合分析系统——Day2
上午我申请了腾讯会议进行线上培训，下午申请了教室线下答疑，今日工作重点主要有python分组细化——数据的爬取、解析、入库共计划爬取六个网站，国内国外各三个。不同网站的布局不同，这就使得数据爬取的逻辑不太一样。我们开会决定爬取Youtube、Facebook、twitter、知乎、哔哩哔哩、微博这几大平台的用户信息，由六个人分别负责爬取。另外两个人负责数据库整合和前后端的融合。Java培训view渲染页面需要展示的数据库、数据，前端使用controller页面跳转实现，restful结构实现前后
2021-06-29 16:12:20
245
原创 智能人物画像综合分析系统——Day1
今日九时举行过项目实训开营仪式后，我们来到教室讨论项目实训议题。自我介绍后，我们首先针对对本题目的理解进行了讨论，然后根据每个人不同的擅长领域进行了分工，本项目主要利用python和Java语言。经过讨论python组暂时分为数据的爬取，数据意义解析，数据入库，于同学具有一些爬虫基础，作为负责人带领其他同学实现。因为这三部分是一个相互协调的关系，暂时不考虑细分，由于同学带领进行实现。Java开发使用intelliJ IDEA实现，前端由VUE实现，两者所涉及的技术差别较大，有较大跨度，考虑对他们
2021-06-29 14:39:42
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人