很伤心,if I were a boy

本文介绍了一个舆情分析服务的具体实现方式,包括如何通过API获取企业及行业的负面新闻信息,并将其转换为可存储的对象。该服务还涉及到了HTTP请求处理、JSON解析以及日志记录等功能。
package com.winchampion.credit.yq;


import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;


import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;


import com.google.gson.Gson;
import com.google.gson.JsonArray;
import com.google.gson.JsonElement;
import com.google.gson.JsonParser;
import com.winchampion.credit.core2.common.utils.GsonUtil;
import com.winchampion.credit.core2.repository.bean.news.NegNew;
import com.winchampion.credit.core2.repository.bean.news.YQNegnewsJson;
import com.winchampion.credit.http.HttpHelper;
import com.winchampion.credit.http.ResponseContent;


@Service
public class PubSentimentServiceImpl implements PubSentimentService {
// 1.获取公司名录,从上海和江苏的两个数据库中获取
// 2.按照公司名称去除重复,把List放到HashSet
// 3.按公司名录删除表中已存在的公司名称数据t_news表中的数据
// 4.调用接口(gatway),把返回的数据添加到表中(service-dao)

private static Logger logger = LoggerFactory.getLogger(PubSentimentServiceImpl.class);

private String charset = "utf-8";

/**添加企业名称接口URL*/
@Value("${comAddkeywordUrl}")
private String comAddkeywordUrl;
/** 企业具体负面新闻内容接口 URL */
@Value("${comNegnewsUrl}")
private String comNegnewsUrl;
/** 行业具体负面新闻内容URL */
@Value("${indNegnewsUrl}")
private String indNegnewsUrl;
/**行业负面行业政策接口*/
@Value("${indNegpolicyUrl}")
private String indNegpolicyUrl;

private String baseGet(String url){
ResponseContent result=HttpHelper.getUrlRespContent(url,charset);
if(result!=null){
try {
logger.info("舆情推送返回值:"+result.getContent());
return result.getContent();
} catch (UnsupportedEncodingException e) {
logger.error(e.getMessage());
e.printStackTrace();
}
}
return null;
}


@Override
public String addCompayName(String compName) {
return  this.baseGet(comAddkeywordUrl+compName);
}

@Override
public List<NegNew> getComNegnews(String fromDate, String toDate,
String compName) {
List<NegNew> negnewsList=new ArrayList<NegNew>();
String resultJsonStr=this.baseGet(comNegnewsUrl+"from="+fromDate+"&to="+toDate+"&name="+compName);//如果遍历两个公司名。如果这个公司名在HashSet中,说明还没有查过,查,查后在HashSet中删除。如果不在,说明已经查过了,就不要再查,直接下一个。
try{
Gson gson = GsonUtil.gson;
if(null!=resultJsonStr&&!"".equals(resultJsonStr)){
// List<YQNegnewsJson> resultJson;
gson.toJson(resultJsonStr);
JsonParser jsonParser = new JsonParser();
JsonElement element = jsonParser.parse(resultJsonStr);
JsonArray jsonArray = null;
if(element.isJsonArray()){
jsonArray = element.getAsJsonArray();
}
//System.out.println("abc");
Iterator it = jsonArray.iterator();
while(it.hasNext()){
JsonElement ele = (JsonElement)it.next();
YQNegnewsJson yqNegnewsJson = gson.fromJson(ele, YQNegnewsJson.class);
NegNew negnews = new NegNew();
negnews.setNewsId(yqNegnewsJson.getNews_id());
negnews.setTitle(yqNegnewsJson.getTitle());
negnews.setUrl(yqNegnewsJson.getUrl());
negnews.setPulishTime(yqNegnewsJson.getPulish_time());
negnews.setOperateTime(yqNegnewsJson.getLast_update_time());
negnews.setKeyword(compName);
negnews.setType("1");
negnewsList.add(negnews);
}
}
}catch(Exception e){
System.err.println(e.toString());
}
return negnewsList;

  

//把HashSet中数据循环,然后分别传参数,
@Override
public List<NegNew> getIndNegnews(String fromDate, String toDate,
String industryname) {
List<NegNew> negnewsList=new ArrayList<NegNew>();
String resultJsonStr=this.baseGet(indNegnewsUrl+"from="+fromDate+"&to="+toDate+"&name="+industryname);
try{
Gson gson = GsonUtil.gson;
/*JSONArray jsonArray = new JSONArray();
if(null!=resultJsonStr&&!"".equals(resultJsonStr)){
// YQNegnewsJson[] resultJson = gson.fromJson(resultJsonStr,(new YQNegnewsJson[]{}).getClass());
(List)JSONArray.
for(YQNegnewsJson yqNegnewsJson : resultJson){
NegNew negnews = new NegNew();
negnews.setNewsId(yqNegnewsJson.getNews_id());
negnews.setTitle(yqNegnewsJson.getTitle());
negnews.setUrl(yqNegnewsJson.getUrl());
negnews.setPulishTime(yqNegnewsJson.getPulish_time());
negnews.setOperateTime(yqNegnewsJson.getLast_update_time());//operateTime
negnews.setKeyword(industryname);
negnews.setType("2");
negnewsList.add(negnews);
}
}*/
}catch(Exception e){
System.err.println(e.toString());
}
return negnewsList;
}




@SuppressWarnings("unchecked")
@Override
public List<NegNew> getIndNegpolicy(String fromDate, String toDate,
String name) {
List<NegNew> negnewsList=new ArrayList<NegNew>();
String resultJsonStr=this.baseGet(comNegnewsUrl+"from="+fromDate+"&to="+toDate+"&name="+name);
try{
Gson gson = GsonUtil.gson;
if(null!=resultJsonStr&&!"".equals(resultJsonStr)){
List<YQNegnewsJson> resultJson = gson.fromJson(resultJsonStr,ArrayList.class);
Iterator it = resultJson.iterator();
while(it.hasNext()){
Map<String,Object> ele = (LinkedHashMap<String,Object>)it.next();
NegNew negnews = new NegNew();
negnews.setNewsId((String.valueOf(ele.get("news_id"))));
negnews.setTitle((String)ele.get("title"));
negnews.setUrl((String)ele.get("url"));
negnews.setPulishTime((String)ele.get("pulish_time"));
negnews.setOperateTime((String)ele.get("last_update_time"));
negnews.setKeyword(name);
negnews.setType("3");
negnewsList.add(negnews);
System.out.println(ele.get("url"));
}
}
}catch(Exception e){
System.err.println(e.toString());
}
return negnewsList;
}
}
训练数据保存为deep_convnet_params.pkl,UI使用wxPython编写。卷积神经网络(CNN)是一种专门针对图像、视频等结构化数据设计的深度学习模型,在计算机视觉、语音识别、自然语言处理等多个领域有广泛应用。其核心设计理念源于对生物视觉系统的模拟,主要特点包括局部感知、权重共享、多层级抽象以及空间不变性。 **1. 局部感知与卷积操作** 卷积层是CNN的基本构建块,使用一组可学习的滤波器对输入图像进行扫描。每个滤波器在图像上滑动,以局部区域内的像素值与滤波器权重进行逐元素乘法后求和,生成输出值。这一过程能够捕获图像中的边缘、纹理等局部特征。 **2. 权重共享** 同一滤波器在整个输入图像上保持相同的权重。这显著减少了模型参数数量,增强了泛化能力,并体现了对图像平移不变性的内在假设。 **3. 池化操作** 池化层通常紧随卷积层之后,用于降低数据维度并引入空间不变性。常见方法有最大池化和平均池化,它们可以减少模型对微小位置变化的敏感度,同时保留重要特征。 **4. 多层级抽象** CNN通常包含多个卷积和池化层堆叠在一起。随着网络深度增加,每一层逐渐提取更复杂、更抽象的特征,从底层识别边缘、角点,到高层识别整个对象或场景,使得CNN能够从原始像素数据中自动学习到丰富的表示。 **5. 激活函数与正则化** CNN中使用非线性激活函数来引入非线性表达能力。为防止过拟合,常采用正则化技术,如L2正则化和Dropout,以增强模型的泛化性能。 **6. 应用场景** CNN在诸多领域展现出强大应用价值,包括图像分类、目标检测、语义分割、人脸识别、图像生成、医学影像分析以及自然语言处理等任务。 **7. 发展与演变** CNN的概念起源于20世纪80年代,其影响力在硬件加速和大规模数据集出现后真正显现。经典模型如LeNet-5用于手写数字识别,而AlexNet、VGG、GoogLeNet、ResNet等现代架构推动了CNN技术的快速发展。如今,CNN已成为深度学习图像处理领域的基石,并持续创新。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值