分类： 散文

说是爬虫，其实就是个网页下载的脚本。当然，作为第一次，我是献给了wordpress！

开始学习python，渐渐地想要做点什么。

有时候，我们去看别人的博客，无法看到全部的文章，有些或许已经遗失了，有些藏得太深，这是一份遗憾吧！

如果有个脚本能够帮我下载所有的存在文章就好了,我这样想到。
所以我写了这个爬虫，以下是源码。

[php]
#coding = utf-8
print u”’
#—————————————————————-
#程序：wordpress爬虫
#功能：直接下载整个wordpress站点所有文章
#只能用于wordpress搭建的站点，不排除有更改参数导致错误的的可能
#—————————————————————-
”’

import urllib2
import re

print u’请输入wordpress博客域名，例如：“gaobo.name”，’
url = raw_input(‘>’)
print u’请输入要下载的最大文章数’
p = int(raw_input(‘>’)) + 1

ps = range(1,p)
def getHtml():
print u’开始下载中’
for post in ps:
urls = bytes(‘http://’ + url + ‘/’ + ‘?p=’ + bytes(post))
try:

html = urllib2.urlopen(urls).read()

with open(bytes(post) + ".html","w+") as wp:
wp.write(html)
print bytes(post) + u’号文章ok’

except urllib2.HTTPError,e:
print bytes(post) +u’号文章发生错误，代码’+ bytes(e.code)

getHtml()
[/php]

现在看起来还有点别捏，不过这是前几天边看书边写的，现在虽然可以做得更好，但是还是想作为留念。

大致功能就是，把存在（已发布）的文章，或者元素（图片什么的），也就是wordpress不返回404的页面全部下载。
用的是”?p=”,这个get。应该是wordpress的pid吧。

目前还是功能太弱，只能下载网页，而且无法辨别文章标题；不过，作为第一次的脚本，我觉得很有成就感，O(∩_∩)O~

---

爬虫更新版，以下是代码。主要更新：以title保存文章，这样就能够找到感兴趣的文章了，好吧，已经可以了，此爬虫不在更新。
其实很简单，主要是中文编码不好办，搞了我一下午，结果是默认编码书写错误，应该用“：”的，我用错，用成“=”了。

[php]
# -*- coding: utf-8 -*-
print u”’
#—————————————————————-
#程序：wordpress爬虫
#功能：直接下载整个wordpress站点所有文章
#只能用于wordpress搭建的站点，不排除有更改参数导致错误的的可能
#—————————————————————-
”’

import urllib2
import re

print u’请输入wordpress博客域名，例如：“gaobo.name”，’
url = raw_input(‘>’)
print u’请输入要下载的最大文章数’
p = int(raw_input(‘>’)) + 1

patt = ‘<title>(.*?)|(.*?)</title>’

ps = range(1,p)
def getHtml():
print u’开始下载中’
for post in ps:
urls = bytes(‘http://’ + url + ‘/’ + ‘?p=’ + bytes(post))
try:

html = urllib2.urlopen(urls).read()
tt = re.search(patt,html).group(1).decode(‘utf-8′)

with open(tt + ".html","w+") as wp:
wp.write(html)
print bytes(post) + u’号文章ok’
print tt

except urllib2.HTTPError,e:
print bytes(post) +u’号文章发生错误，代码’+ bytes(e.code)

getHtml()
[/php]