超链接代码怎么写,html网页超链接代码怎么做!

2016-04-15    分类:网站维护

爬虫在实际生活中还是十分常见的,比如说国内最大的爬虫——百度。所以说爬虫做的好就可以赚钱了。今天讲的这个也很简单,爬取网页超链接,但是有前提那就是这是一张静态的网页,动态的网页有点难搞,小编还不是很会,等学会了在分享给大家。



首先我们需要引入我们要用的包,这里我们使用了python里面自带的包urllib.request是python操作url的包,re是python正则表达式的包首先我们写一个获取网页源代码的函数



然后我们就要写一个提取出网页源代码的超链接的函数



接下来我们就可以测试一下了




我们就可以去看看url.txt里面的东西了



我们发现里面有很多不是url,那个是因为在编写网页的时候使用的是相对路径,所以会出现这种情况。但是这并不影响我们分析头条首页的超链接,基本上都不是本站的连接,说明头条的广告业务有点繁忙,当然这只是小编的猜测,万一头条有很多的域名呢?