Python爬虫
(1)Python版简单网络爬虫
|
URLLister类，负责从HTML文本中根据<href>标签提取URL，但也会提取一些垃圾URL，有待改进 from sgmllib import SGMLParser class URLLister(SGMLParser): def start_a(self, attrs): getURL(url)用来将HTML中的url放入urls列表中 import urllib, urllister def getURL(url): spider(startURL,depth)递归调用getURL(url)，startURL为起始URL，depth为递归次数，及遍历的深度 def spider(startURL, depth): 调用spider num = 0 运行结果： 得到962个url，不过其中有一些不符合URL格式的“假货”，比如“nav.php?type=2 944” “http://gs.xjtu.edu.cn/zhaos/upload/files/462498fcd3d35.doc 285”等 而且每次到.doc这里都会很费时间，可见这个“假货”处理速度很慢。 用正则表达式可以判断URL的合法性，待续……
(2)小小的爬虫程序
Python有一个urllib的库，可以很方便的从给定的url抓取网页，以下这段程序实现了抓取一个url并存到指定文件的功能： 爬虫工作的基本原理就是，给定一个初始的url，下载这个url的网页，然后找出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下 来，然后再找下载下来的这些网页的url，我们可以用广度优先搜索实现这个算法，不过，首先得有一个函数找出网页上所有的满足要求的url，下面这个例子 用正则表达式找出url. 最后就是广度优先搜索了，这个实现起来也很简单： 作者用上面的算法，感觉速度还行，1小时可以抓10000多网页，可以满足小型系统的要求。
(3)小爬虫1.0 ----Spider.py--------
|
(4)用python编写网络爬虫
这是我这些天的成果。希望有人能提出好的建议，先谢谢了！一共两个文件，一个是toolbox_insight.py，是一个工具文件另一个是test.py，是一个用到toolbox_insight.py中工具的测试文件
from sgmllib import SGMLParser
import threading
import time
import urllib2
import StringIO
import gzip
import string
import os
#rewrite SGMLParser for start_a
class Basegeturls(SGMLParser): #这个Basegeturls类作用是分析下载的网页，把网页中的所有链接放在self.url中。
def reset(self):
self.url = []
SGMLParser.reset(self)
href = [v for k, v in attrs if k == 'href']
if href:
self.url.extend(href)
class Newlist(list):#这个类其实是一个添加了find方法的LIST。当num变量在LIST中，返回True,当不在LIST中，返回False并把num按二分法插入LIST中
def find(self, num):
l = len(self)
first = 0
end = l - 1
mid = 0
if l == 0:
self.insert(0,num)
return False
while first < end:
mid = (first + end)/2
if num > self[mid]:
first = mid + 1
elif num < self[mid]:
end = mid - 1
else:
break
if first == end:
if self[first] > num:
self.insert(first, num)
return False
elif self[first] < num:
self.insert(first + 1, num)
return False
else:
return True
elif first > end:
self.insert(first, num)
return False
else:
return True
class reptile(threading.Thread):
#Name: 是爬虫是名字，queue是任务队列，所有的爬虫共用同一个任务队列
#从中取出一个任务项进行运行，每个任务项是一个要下载网页的URL
#result: 也是一个队列，将下载的网页中包含的URL放入该队列中
#inittime: 在本程序中没有用，只是一个为了以后扩展用的
#downloadway:是下载的网页存放的路径
#configfile: 是配置文件，存放网页的URL和下载下后的路径
#maxnum: 每个爬虫有个最大下载量，当下载了这么多网页后，爬虫dead
def __init__(self, Name, queue, result, Flcok, inittime = 0.00001, downloadway = 'D://bbs//',configfile = 'D://bbs//conf.txt', maxnum = 10000):
threading.Thread.__init__(self, name = Name)
self.queue = queue
self.result = result
self.Flcok = Flcok
self.inittime = inittime
self.mainway = downloadway
self.configfile = configfile
self.num = 0 #已下载的网页个数
self.maxnum = maxnum
os.makedirs(downloadway + self.getName()) #系统调用：在存放网页的文件夹中创建一个以该爬虫name为名字的文件夹
self.way = downloadway + self.getName() + '//'
def run(self):
opener = urllib2.build_opener() #创建一个开启器
while True:
url = self.queue.get() #从队列中取一个URL
if url == None: #当取得一个None后表示爬虫结束工作，用于外部方便控制爬虫的生命期
break
parser = Basegeturls() #创建一个网页分析器
request = urllib2.Request(url) #网页请求
request.add_header('Accept-encoding', 'gzip')#下载的方式是gzip压缩后的网页，gzip是大多数服务器支持的一种格式
try: #这样可以减轻网络压力
page = opener.open(request)#发送请求报文
if page.code == 200: #当请求成功
predata = page.read() #下载gzip格式的网页
pdata = StringIO.StringIO(predata)#下面6行是实现解压缩
gzipper = gzip.GzipFile(fileobj = pdata)
try:
data = gzipper.read()
except(IOError):
print 'unused gzip'
data = predata#当有的服务器不支持gzip格式，那么下载的就是网页本身
try:
parser.feed(data)#分析网页
except:
print 'I am here'#有的网页分析不了，如整个网页就是一个图片
for item in parser.url:
self.result.put(item)#分析后的URL放入队列中
way = self.way + str(self.num) + '.html'#下面的是网页的保存，不多说了
self.num += 1
file = open(way, 'w')
file.write(data)
file.close()
self.Flcok.acquire()
confile = open(self.configfile, 'a')
confile.write( way + ' ' + url + '/n')
confile.close()
self.Flcok.release()
page.close()
if self.num >= self.maxnum:#达到最大量后退出
break
except:
print 'end error'
class proinsight(threading.Thread):
def __init__(self, queue, list, homepage, inqueue):
threading.Thread.__init__(self)
self.queue = queue#和爬虫中的result队列是同一个
self.list = list#是上面Newlist的对象
self.homepage = homepage#主页
self.inqueue = inqueue#处理完后的URL的去处
def run(self):
length = len(self.homepage)
while True:
item = self.queue.get()
if item == None:
break
if item[0:4] == '/r/n':
item = item[4:]
if item[-1] == '/':
item = item[:-1]
if len(item) >= len('http://') and item[0:7] == 'http://':
if len(item) >= length and item[0:length] == self.homepage:
if self.list.find(item) == False:
self.inqueue.put(item)
elif item[0:5] == '/java' or item[0:4] == 'java':
pass
else:
if item[0] != '/':
item = '/' + item
item = self.homepage + item
if self.list.find(item) == False:
self.inqueue.put(item)
下面的是一个主函数过程
我下载的网站是 http://bbs.hit.edu.cn
开始网页是 http://bbs.hit.edu.cn/mainpage.php
#FileName:test
from toolbox_insight import *
from Queue import Queue
import threading
import sys
num = int(raw_input('Enter the number of thread:'))
pnum = int(raw_input('Enter the number of download pages:'))
mainpage = str(raw_input('The mainpage:'))
startpage = str(raw_input('Start page:'))
queue = Queue()
key = Queue()
inqueue = Queue()
list = Newlist()
thlist = []
Flock = threading.RLock()
for i in range(num):
th = reptile('th' + str(i), queue, key, Flock)
thlist.append(th)
pro = proinsight(key, list, mainpage, inqueue)
pro.start()
for i in thlist:
i.start()
queue.put(startpage)
for i in range(pnum):
queue.put(inqueue.get())
for i in range(num):
queue.put(None)
2、 多线程:机器任务的分配及站点任务的分配。
机器任务的分配：对于机器负担的情况调整在一个机器开的线程的个数。（在关闭线程时注意要先让线程完成当前运行任务）
站点任务的分配：就是某个机器对一个站点开的线程的个数的分配。（同样是要注意关闭线程时先让其完成当前任务）
3、 对web文件树遍历过程更好的控制，对web文件树在广度优先遍历时层次的判断。（整个网络是一个图，而某个站点的模型更接近于一棵树）
5、 单个机器spider的作用：
6、 中央控制器的作用：
b) 观察对外整体网络流量和连接状况，可以根据网络状况来调节timeout。
ii. 老方案：（面向页面，信息颗粒小）所有连接一视同仁。缺点：浪费资源，对单一站点的获取不一定全面。优点：可以得到全面的链接图，可以使用Page Rank对列表进行排序，页面更重要就在最前面。
7、 解析html（超级链接的提取）搞定（用python的sgmllib）缺点：速度太慢（可能会造成瓶颈，要好好包装好，以后有机会换掉它）
加入社区！打开量化的大门，首批课程上线啦！
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)