import requests
import re              #启动两个必备模块#
class=spider(object):      #先设定一个类，类名叫spider，他的父类是object#
  def getsource(self,url):      #这个类有个属性叫getsource，它需要一个变量url#  
    html=requests.get(url)     #用过request.get获得所瞄准页码的源代码#
    return(html.text)
  def changepage(self,url,total_page):    #这个类有个属性叫changepage#
    now_page=int(re.search(pageNum="(\d+)",url,re.S).group(1))
    #当前的页数---这里获得的是一个纯数字的，它是从url上获得的，写这个命令的目的是定位头数字，前面加上了int等于把这个结果改编成int形式#
    page_group=[]                
    for i in range(now_page,total_page+1):
      link=re.sub(pageNum="(\d+)",pageNum=i,url,re.S)
    #这个语句的目的是把url里的数从now_page换到total_page+1，这样的walk一遍，达到翻页的目的，这里link会生成好几个url#
      page_group.append(link)
    return(page_group)
    #把生成的那些url放到了page_group这个空列表里#
  def geteveryclass(self,source):
#这个属性叫geteveryclass，作者他是要把一节课所有的相关介绍内容都一把抓下来，然后再细细分掉#
    everyclass=re.findall()
    return(everyclass)
  def getinto(self,everyclass):
    info={}
#这里生成了一个空的字典映射#
    info["title"]=re.search()
#通过字典映射的提取功能，来从上面那一把抓里提取出相关的东西，对应的生成物就是属于了info这个列表里的title这个key的value。注意！生成的东西是一个列表#
    info["content"]=re.search()
    timeandlevel=re.search()
#这俩目标有相同的定位符，因为是列表，就一会使用序号单独分开#
    info["classtime"]=timeandlevel[0]
    info["classlevel"]=timeandlevel[1]
    info["classnumber"]=re.search()
    return(info)
  def saveinto(self,classinto):
    f=open("e:/pythonaaa/b/study & test/1919.txt","a")
    for each in classinto:
      f.writelines("title:"+each"title"+"\n")
      f.writelines("content:"+each"content"+"\n")
      f.writelines("classtime:"+each"classtime"+"\n")
      f.writelines("classlevel:"+each"classlevel"+"\n")
      f.writelines("classnumber:"+each"classlevel"+"\n")
    f.close()
  if __name__="__main__"
classinto=[]
url="http://www.jikexueyuan.com/course/?pageNum=1"
  jikespider=spider()
#这次行动的实例化名称叫jikespider，他属于spider这个类#
  all_links=jikespider.changepage(url.20)
#在翻页的那个属性里，我们要翻到第20页#
  for link in all_links:            #把这20个页单独拆开#
    print("正在处理画面"+link)
    html=jikespider.getsource(link)
#获得了每一个页的源代码#
    everyclass=jikespider.geteveryclass(html)
#获得了这20页的每一个课程的所有介绍#
    for each in everyclass:                 #又把这20页里每一个课程单独拆开#
      info=jikespider.getinfo(each)          
#对应的每一节课的名称、介绍、等级、时长、人数都做成了一个字典，一一对应，生成了这样的一个info字典映射#
      classinto.append(info)
#classinto这个空列表已经被info的内容装满#
  jikespider.saveinfo(classinfo)
#行动以classinfo为变量启动了saveinfo这个属性#



==================================分割线===========================================

1）很多网站虽然显示出来很光鲜靓丽，但是源代码很是混乱，黏黏糊糊成一团，看起来非常恶心，但是这样不空格不回车的代码，在“夹逼正则”的时候非常好夹，因为没有那些看不见的/n和/t,看到正则的定位符就可以下手。


2）有些网站源代码写得很清晰，这样反而在“大锤敲缝”的定位上不太好把握，因为定位<html><div><hL<li>这种网页语言标志符是没用的，要定位就定位有特征的字符。


3）这个代码写得很棒，思路也很清晰，就好像控制一个机器人去桌子边拿一杯水，他先给予机器人几个能力，比如：能走路，知道哪里是桌子，识别水杯，能水杯口向上的抓住水杯，返回。先把这几个能力写明白、写清楚。然后启动这个机器人去做这个事情。这个代码的思路值得学习，但是难点就是变量的不断更替上，有一点跟不上，就会绊住。