Sci假论文爬虫

最新推荐文章于 2023-10-26 23:16:32 发布

原创最新推荐文章于 2023-10-26 23:16:32 发布 · 909 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #爬虫

机器学习专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一个基于MIT的假论文生成器的爬虫程序，该程序能够抓取指定URL生成的假论文，并进行简单的预处理，包括去除无关文本和保存为本地文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于MIT的假论文生成器的爬虫，及简单的预处理

def fetch(start,end):
    t=0
    for t in xrange(start,end):
        urlText = []
        response = urllib2.urlopen('http://scigen.csail.mit.edu/cgi-bin/scigen.cgi?author=6&author=&author=&author=&author=')  
        html = response.read() 

        class parseText(HTMLParser.HTMLParser):
            def handle_data(self,data):
                if data != '\n' or data != '\n\n' or data!= '\n ' :
                    urlText.append(data)

        lParser = parseText()
        lParser.feed(html)

        #print urlText
        file_object = open('fakepaper/paper'+str(t)+'.txt', 'w')
        i=0
        while i<len(urlText):
            if 'Back to the SCIgen homepage.'==urlText[i]:
                del urlText[i]
                break
            else:
                del urlText[i]
        str2 = '\n'.join(urlText)
        str2 = ' '.join(str2.split('\n'))
        file_object.write(str2)
        file_object.close( )
        print t