【python学习.第五周任务】

本文介绍了一种在GitHub上实时上传并测试代码的方法。通过改进代码实现一边扫描一边上传的功能,便于在不同阶段进行测试。文章还展示了具体的Python代码示例及数据库操作。

做了上述的准备,简单结合下就可以综合起来做这周的任务了。

一开始我传进GITHUB的代码有不足,一是只有所有网址都检查完才能传进去,这样根本无法测试(电脑跑得慢哈哈),我又改了一下,可以一边扫描一边传进去。为了测试方便,我把遍历换成了两个网址,一个被注册了,一个没被注册,我想效果是一样的。

然后这是改后的代码。。。。。。。


__author__ = 'Administrator'
# -*- coding: UTF-8 -*-
import urllib
import urllib2
import re
import MySQLdb
range=['a','b','c','d','e','f','g','h','i','j','k','l','m','o','p','q','r','s','t','u','v','w','x','y','z']
temps = ['aabav','aaaaa']
result=[]
try:
    conn=MySQLdb.connect(host='localhost',user='cjw',passwd='123456',port=3306)
    cur=conn.cursor()
    conn.select_db('python1')
    cur.execute('create table url10(URL varchar(20))')
    url = 'http://www.zgsj.com/domain_reg/domaintrans.asp'
    for temp in temps:

        values = {'d_name':"%s.com" %temp,
              'dtype':"common",
              'drand':"1416053904465"}
        data = urllib.urlencode(values)
        user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.124 Safari/537.36'
        headers = {'User-Agent' : user_agent }

        req = urllib2.Request(url,data,headers)
        response = urllib2.urlopen(req)
        the_page = response.read()

        reg = r"value='([a-zA-Z]+\.com)' checked"

        if re.findall(reg,the_page):
            result.append(re.findall(reg,the_page))
            value=re.findall(reg,the_page)
            cur.execute('insert into url10 values(%s)',value)
            conn.commit()
            print str(re.findall(reg,the_page))
        else:
            pass
    conn.commit()
    cur.close()
    conn.close()
except MySQLdb.Error,e:
     print "Mysql Error %d: %s" % (e.args[0], e.args[1])

然后这是结果,,,,,









PS:我觉得,是不是该做完后把表删掉呢,因为这样我测试下就要改一下表的名字,看我都到url9了,就知道我已经测试了9次。

Nano-ESG数据资源库的构建基于2023年初至2024年秋季期间采集的逾84万条新闻文本,从中系统提炼出企业环境、社会及治理维度的信息。其构建流程首先依据特定术语在德语与英语新闻平台上检索,初步锁定与德国DAX 40成分股企业相关联的报道。随后借助嵌入技术对文本段落执行去重操作,以降低内容冗余。继而采用GLiNER这一跨语言零样本实体识别系统,排除与目标企业无关的文档。在此基础上,通过GPT-3.5与GPT-4o等大规模语言模型对文本进行双重筛选:一方面判定其与ESG议题的相关性,另一方面生成简明的内容概要。最终环节由GPT-4o模型完成,它对每篇文献进行ESG情感倾向(正面、中性或负面)的判定,并标注所涉及的ESG具体维度,从而形成具备时序特征的ESG情感与维度标注数据集。 该数据集适用于多类企业可持续性研究,例如ESG情感趋势分析、ESG维度细分类别研究,以及企业可持续性事件的时序演变追踪。研究者可利用数据集内提供的新闻摘要、情感标签与维度分类,深入考察企业在不同时期的环境、社会及治理表现。此外,借助Bertopic等主题建模方法,能够从数据中识别出与企业相关的核心ESG议题,并观察这些议题随时间的演进轨迹。该资源以其开放获取特性与连续的时间覆盖,为探究企业可持续性表现的动态变化提供了系统化的数据基础。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值