啰里啰嗦写了好几篇了，也不知道对大家有没有帮助，这一篇应该是该系列教程的最后一篇了，希望有个好的结尾！上一篇中我们简单介绍了解析新闻索引中的新闻版块，新闻标题和新闻URL的信息，这一篇我们将根据这些信息来逐步获取真正的新闻内容。

首先，我们重新定义一个函数来获取长沙晚报新闻网的带绝对路径的URL地址，总共有两个URL，一个是新闻索引URL，一个是新闻URL. 代码如下：

    def get_absolute_url(type, when, filename = None):
        if not isinstance(when, date):
            return None
        if type == 'news' and filename is None:
           return None
        year = when.strftime("%Y")
        month = when.strftime("%m")
        day = when.strftime("%d")
        prefix = 'http://cswb.changsha.cn/html/%s-%s/%s/' %  (year, month, day)
        if type == 'index':
            filename = 'index_%s-%s-%s.htm' % (year, month, day)
        return "%s/%s" % (prefix, filename)

然后我们定义获取web页面的函数如下:

    def fetch_url(url):
        http_headers = {'User-Agen':"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:15.0) Gecko/20100101 Firefox/15.0.1"}
        req = urllib2.Request(url, None, http_headers)
        try:
            response = urllib2.urlopen(req)
        except IOError, e:
            print "We failed to open %s." % index_URL
            if hasattr(e, 'code'):
                print "We failed with code - %s" % e.code
            elif hasattr(e, 'reason'):
                print "We failed to reach a server."
                print "This usually means the server doesn't exist/down,or we don't have an internet connection."
                print "The reason is $s" % e.reason
                return False
            else:
                print "Here are the headers of the page:"
                print response.info()
        print "These are the cookies we have received so far:"
        for i, cookie in enumerate(cj):
            print i, ':', cookie
        cj.save(COOKIEFILE)
        return response.read()

在上一篇中我们已经实现了获取新闻版块、新闻标题和新闻URL这三类信息的函数，这一篇中我们将添加获取新闻内容的函数:

    def get_news_content(htmlstring):
        content = None
        # remove 'n' or 'r', otherwise the xpath will intrepret it
        str = clean_html(htmlstring)
        parsed_html = html.fromstring(str.decode('utf-8'))
        # get inner text under comment node npm:article-content
        inner_text_list = parsed_html.xpath("//founder-content/descendant::*/child::text()")
        if inner_text_list:
            inner_text = 'n'.join(inner_text_list)
        else:
            inner_text = ""
        # get outer text under founder-content node
        outer_text_list = parsed_html.xpath("//founder-content/child::text()")
        # combine the outer text and inner text list
        # it only have following combination:
        # - outer_text_list[0] + inner_text + outer_text_list[1]
        # - outer_text_list[0] + inner_text
        # - inner_text
        if not outer_text_list:
            content = inner_text
        if len(outer_text_list) == 1:
            content = outer_text_list[0] + 'n' + inner_text
        elif len(outer_text_list) == 2:
            content = outer_text_list[0] + 'n' + inner_text + 'n' + outer_text_list[1]
        else:
            content = inner_text
        return content

这段代码中同样通过xpath来获取页面中的新闻信息，通过我们手动进行firebug的分析，有效的新闻信息包含在如下格式的代码中:

    <founder-content style="font-size: 14px; line-height: 25px;">
        <!--<npm:article-content>-->
        ...
        <!--</npm:article-content>-->
        </founder-content>

这里的xpath语法有点意思，首先npm:article-content这个元素节点是comment node，不是普通的html element node,所以你在找到founder-content节点后，用getchildren()方法并不能定位到npm:article-content节点。怎么办？

我们分析到可能出现这么几种情况:

• 在<founder-content>和<!--<npm:article-content>-->之间存在text node, 并且在<!--</npm:article-content>-->和</founder>间也存在text node

        <founder-content> 
        <text node> 
        <!--<npm:article-content>--> 
        <text node> 
        <!--</npm:article-content>--> 
        <text node> 
        </founder-content>

• 只在<founder-content>和<!--<npm:article-content>-->之间存在text node

      <founder-content> 
      <text node> 
      <!--<npm:article-content>--> 
      <text node> 
      <!--</npm:article-content>--> 
      </found-content>

• 只在<!--</npm:article-content>-->和</founder-content>间存在text node

  <founder-content>
  <!--<npm:article-content>-->
  <text node>
  <!--</npm:article-content>-->
  <text node>
  </founder-content>

我们做出如下定义：

• 在<founder-content>和<!--<npm:article-content>-->节点间的text节点, 定义为outer_text_front
• 在<!--</npm:article-content>-->和</founder-content>节点间的text节点, 定义为outer_text_end
• 在<!--<npm:article-content>-->和<!--</npm:article-content>-->节点间的text节点，定义为inner_text

不论在哪种情况，inner_text中是存在的，如果我们解析出的outer_text_list的数目只有一个，那就说明这个outer_text只可能是outer_text_front, 如果我们解析出的outer_text_list的数目有两个，那么第一个就是outer_text_front, 第二个就是outer_text_end, 我们将outer_text与inner_text按特定顺序拼接起来就是完整的新闻内容。

outer_text_list我们可以通过获取<founder-content>的直接子节点的text内容获取，inner_text_list我们可以通过获取<founder-content>的最内层子节点的text内容获取，这里我们假设在<!--<npm:article-content>-->和<!--</npm:article-content>-->之间只有一层text node，没有更深层次的text node, inner_text_list总是获取最深层次的text node,如果只有一层的话，它直接获取的是<!--<npm:article-content>-->和<!--</npm:article-content>-->间的内容。

好了，加上前篇所列的两个函数，主程序可以写成如下:

if __name__ == '__main__':
    init_robot()
    index_page = fetch_url(get_absolute_url('index', date.today()))
    sections = get_news_sections(index_page)
    for section_title in sections:
        print '新闻版块: %s' % section_title.encode('utf-8')
        news = sections[section_title]
        for news_title in news:
            print 't新闻标题: %s' % news_title.encode('utf-8')
            news_url = get_absolute_url('news', date.today(), news[news_title])
            if news_url:
                htmlstring = fetch_url(news_url)
                if htmlstring:
                    print 'tt%s' % get_news_content(htmlstring).encode('utf-8')

这里注意每次我们抓取的HTML内容要decode成python内部处理的unicode格式，然后输出时又要encode成utf-8来显示。 这里之所以用utf-8是因为我的terminal和当前locale都配置成了utf-8的格式的，如果你的terminal是gbk的，请编码成相应的gbk的。 好了，到此为止，所有的代码都提供并且分析了，下面是输出的部分内容，大家有兴趣在自己机器上也可以跑一跑！