采集 - 她和她的猫

PHP 采集逐浪小说章节列表

Wed, 02 Aug 2017 21:59:25 +0800

距离上一次写采集教程已经是一年前了，而我已经实习快一个月了，不得不感叹时间过得真快，岁月催人老啊….

先品尝一下《PHP使用file_get_contents()函数实现采集网页》，食用更佳哦。

第一步，获取页面的html

首先，要获取该页面的html内容，随便打开一个小说章节目录的地址，例如 http://book.zhulang.com/427458/。可以使用 curl，也可以使用 file_get_contents() 函数，因为不用模拟请求头等操作，我就直接用第二种方式。

获取到 HTML 后要进行过滤，将一些换行符、空格进行过滤，使得 HTML 比较干净。

$content = file_get_contents('http://book.zhulang.com/427458/');
$content=str_replace("\n",'',$content);
$content=str_replace("\r",'',$content);
$content=str_replace("\r\n",'',$content);
$content=str_replace(" ",'',$content);

第二步，分析页面

拿到 HTML 内容后，使用 preg_match_all() 函数将章节目录的html块提取出来，缩小了匹配范围，也减少了出现错误数据的可能性。

preg_match_all('/(.*)<\/div>/', $content, $chapterHtml);
$chapterHtml = $chapterHtml[1][0];

preg_match_all() 函数第一个参数是正则表达式，第二个参数是需要匹配的内容，第三个参数是储存匹配结果的数组，$chapterHtml[0] 包含整个模式匹配的文本，$chapterHtml[1] 是包含第一个括号（正则表达式(http://book.zhulang.com/\d+/\d+.html)）中所匹配的文本，$chapterHtml[2] 就是第二个括号，以此类推。

第三步，提取数据

这一步就是观察章节地址的格式，举个例子：

http://book.zhulang.com/427458/152725.html

格式：

http://book.zhulang.com/数字/数字.html

然后编写正则表达式：

/(http:\/\/book\.zhulang\.com\/\d+\/\d+\.html)/

这样章节地址就出来了，然后编写匹配标题的表达式：

/\"title=\"[\W|\d]+\">(.*?)<\/a>

最后合在一起，并打印：

preg_match_all('/(http:\/\/book\.zhulang\.com\/\d+\/\d+\.html)\"title=\"[\W|\d]+\">(.*?)<\/a>/', $chapterHtml, $result);
var_dump($result);

得到如下结果：

array (size=3)
  0 => 
    array (size=72)
      0 => string 'http://book.zhulang.com/427458/46802.html"title="第一章捕鱼2017-06-3014:47">第一章捕鱼' (length=100)
      1 => string 'http://book.zhulang.com/427458/46803.html"title="第二章神女梦2017-06-3014:48">第二章神女梦' (length=106)
      2 => string 'http://book.zhulang.com/427458/46805.html"title="第三章绿液2017-06-3014:48">第三章绿液' (length=100)
      3 => string 'http://book.zhulang.com/427458/46807.html"title="第四章卖参2017-06-3014:49">第四章卖参' (length=100)
      ......
  1 => 
    array (size=72)
      0 => string '46802' (length=5)
      1 => string '46803' (length=5)
      2 => string '46805' (length=5)
      3 => string '46807' (length=5)
       ......
  2 => 
    array (size=72)
      0 => string '第一章捕鱼' (length=15)
      1 => string '第二章神女梦' (length=18)
      2 => string '第三章绿液' (length=15)
      3 => string '第四章卖参' (length=15)
      ......

还是跟上面一样，$result[0] 是包含整个模式匹配的文本，$result[1] 就是第一个括号（(http://book.zhulang.com/\d+/\d+.html)）匹配出来的章节地址的数组，$result[1] 就是第二个括号（(.*?)）匹配出来的章节标题的数组。完整代码：

$content = file_get_contents('http://book.zhulang.com/427458/');
$content=str_replace("\n",'',$content);
$content=str_replace("\r",'',$content);
$content=str_replace("\r\n",'',$content);
$content=str_replace(" ",'',$content);
preg_match_all('/(.*)<\/div>/', $content, $chapterHtml);
$chapterHtml = $chapterHtml[1][0];
preg_match_all('/(http:\/\/book\.zhulang\.com\/\d+\/\d+\.html)\"title=\"[\W|\d]+\">(.*?)<\/a>/', $chapterHtml, $result);
for ($i = 0; $i < count($result[0]); $i++)
{
    echo '标题：' . $result[2][$i] . ' ---- URL地址：' . $result[1][$i] . '
';
}

写在最后

这里只讲了如何获取章节地址及标题，小说列表、小说正文的采集的方法其实都差不多，主要还是观察 div 结构，然后再编写正则表达式。

这是一篇过去很久的文章，其中的信息可能已经有所发展或是发生改变。

Python 使用 BeautifulSoup 抓取网页

Sun, 15 Jan 2017 14:58:20 +0800

刚刚手贱不小心把前两篇 Python 的文章给删了，关键是我还没有备份！心里一万只草泥马奔腾而过。。。这件事情告诉我们，记得备份！记得备份！记得备份！重要的事情说三遍！

关于 BeautifulSoup

Beautiful Soup 提供一些简单的、Python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

安装 BeautifulSoup

下载完成后将安装包解压到某个目录中（示例为D:\tools）。解压后安装程序的目录为 D:\tools\beautifulsoup4-4.5.3。

在cmd命令行中使用 cd D:\tools\beautifulsoup4-4.5.3 命令进入程序目录。输入 python setup.py install 开始安装 BeautifulSoup。

使用 BeautifulSoup 抓取网页

安装完成以后就可以开始编码了，首先导入 urllib2 和 bs4。

import urllib2 # urllib 库提供了一个从指定的 URL 地址获取网页数据
from bs4 import BeautifulSoup

创建一个Resquest请求，其中 https://her-cat.com 是请求的站点地址，这里使用的是我的博客网址。

request = urllib2.Request('https://her-cat.com')

一些网站做了 User-Agent 判断，防止非正常用户访问页面，所以我们可以给这个 Request 请求添加一个请求头部数据，用于伪造 User-Agent。

request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36')

获取 HTML 内容并创建 BeautifulSoup 对象

html = urllib2.urlopen(request)
soup = BeautifulSoup(html, 'html.parser')

然后我们这个 BeautifulSoup 对象使用一些方法来获取想要的内容。

print(soup.prettify()) # 格式化输入html文本
soup.select('span.comment_text')  # 找到所有类名为comment_text的span标签

查找该网页中所有的 a 标签：

for link in soup.find_all('a'):
    print(link.get('href'))  # 输出a标签中的href属性值
    print(link.get_text())  # 查询a标签的文本内容

关于 BeautifulSoup 的安装和使用就到此结束了~

这是一篇过去很久的文章，其中的信息可能已经有所发展或是发生改变。

PHP 使用 file_get_contents() 函数实现采集网页

Sun, 28 Feb 2016 22:47:08 +0800

采集网页关键在于两个地方：

如何获取目标网页HTML源代码。
如何使用正则匹配出需要的内容。

我们使用《终于到了。》这篇文章作为目标网页，获取网页源代码比较简单的方法就是使用file_get_contents()函数，使用方法：

$content = file_get_contents("https://her-cat.com");

变量 $content 就是用来储存我们使用 file_get_contents() 获取的网页源代码。

接下来就是如何使用正则匹配出正文内容，我们先用浏览器打开这个页面，然后右键查看源代码，找到正文处代码。

~~图没了~~

找到包裹着正文的 HTML 标签，就可以使用 preg_match_all() 函数匹配出正文。

preg_match_all('/(.*)<\/div>/', $content, $result);

使用 var_dump() 函数打印 $result 变量。

~~图没了~~

从图中可以看出，打印出了一个二维数组，虽然匹配出了正文，但是里面还有一些 HTML 标签，接下来要做的就是使用 str_replace() 函数去掉这些标签。

$arr = array('', '
', '
');
$result = str_replace($arr, '', $result[1][0]);

最后输出变量 $result 就可以了。

完整代码：

$content = file_get_contents("https://her-cat.com");
preg_match_all('/(.*)<\/div>/', $content, $result);
$arr = array('', '
', '
');
$result = str_replace($arr, '', $result[1][0]);
echo $result;

最后总结，使用PHP采集网页需要注意的地方是，file_get_contents() 获取网页源代码的效率比较低，推荐使用 curl。还有就是正则表达式，正则表达式需要根据网页源代码来编写，并不是一成不变的。关于 curl 和正则表达式的知识可以使用百度了解！

这是一篇过去很久的文章，其中的信息可能已经有所发展或是发生改变。