PHP实现百度,php使用curl和正则表达式抓取网页数

2019-07-21 作者:yzc216.com官网   |   浏览(53)

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器,支持输入小说ID下载小说。
依赖项:curl
可以简单的看下,里面用到了curl ,正则表达式,ajax等技术,适合新手看看。在本地测试,必须保证联网并且确保php开启curl的mode

1 谷歌、百度、网易、新浪短网址服务的API比较

SpiderTools.class.php

百度短网址API接口完全对外开放,用户不需申请其开放平台的APPKEY,也不用采用OAuth的协议,因此相对简单方便;谷歌的短网址API接口有两种形式,一种类似于百度无需进行繁复的OAuth认证,不过限制比多;另一种是采用GAE平台OAuth2.0的认证方式,限制较少。新浪微博的短网址API接口服务也类似于谷歌,第一种只需要取得新浪微博开放平台的APPKEY即可使用,第二种是采用OAuth2.0认证的方式。网易只提供类似于新浪微博提供的第二种API接口调用方式,即需要申请APPKEY,不过申请非常容易通过,这点不同于新浪微博。值得一提的是,经博主测试,网易的短网址API接口貌似有bug。最终三个接口的测试效果如下图所示:

复制代码 代码如下:

百度网易新浪微博短网址API接口
2 PHP实现百度短网址API接口调用

<?php
  session_start();
 //封装成类 开启这些自动抓取文章
  #header("Refresh:30;");
 class SpiderTools{ 
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 /*传入文章ID 解析出文章标题*/
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 public function getBookNameById($aid){
  //初始化curl
  $ch= curl_init();
  //url
  $url=';
  if(is_numeric($aid)){
  //正则表达式匹配
  $ru="/<h1sclass="p-title">s*<ashref="/book/d ">(.*)s*</a>s*</h1>/";
  }
  else{
  //<title>丧尸爆发之全家求生路_第一章  丧尸爆发  为吾友爱乐儿更新~_磨铁</title>
  $ru="/<title>(.*)</title>/";
  }
  //设置选项,包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //执行curl
  $output = curl_exec($ch);
  //错误提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 检查是否有错误发生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //释放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr);
  return $arr[1][0];
   }
 //////////////////////////////////////////////////////////////////////////////////////////////////////////     
 /*传入文章ID  解析文章内容*/
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
 public  function getBookContextById($aid){
  //开始解析文章
  $ids=array();
  $ids=explode("_",$aid);
  $titleId=trim($ids[0]);
  $aticleId=trim($ids[1]);
  $ch= curl_init();
  $ru="/<div class="page-content">[sS]*<pre ondragstart="return false" oncopy="return false;" oncut="return false;" oncontextmenu="return false" class="note" id="html_content_d*">[sS]*(.*)<img src="/ajax/chapter/$titleId/$aticleId" class="hidden" /></pre>/ui"; 
  $url=';
  //正则表达式匹配

百度短网址的API接口封装不是很好,需要针对长网址转短网址和短网址转长网址请求不同的页面(create.php和query.php),另外官方的示例程序也有错误。

  //设置选项,包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //执行curl
  $output = curl_exec($ch);
  //错误提示
  if(curl_exec($ch) === false){
   die(curl_error($ch));
  }
  // 检查是否有错误发生
  if(curl_errno($ch)){
   echo 'Curl error: ' . curl_error($ch);
  }
  $arr=array();
  $arr2=array();
  preg_match_all($ru,$output,$arr);
  curl_close($ch);
  #var_dump($arr);
  $s=$arr[0][0];
  $s=substr($s,180);
  $arr2=explode("<img",$s);
  return trim($arr2[0]);
 }

   

 ////////////////////////////////////////////////////////////////////////////////////////////////////////// 
 /*静态方法 @生成小说文件 可以直接调用 */
 //////////////////////////////////////////////////////////////////////////////////////////////////////////
     public static function createBookById($id){
  
  if(!is_numeric($id)){

 代码如下

  echo "<br/>INIT BEGIN START WRITE!";
  $st=new self();
  $cons=$st->getBookContextById($id);
  $title=$st->getBookNameById($id);
  $cons=trim($cons);
  $t=explode(" ",$title);
  //构造目录
  $dir=array();
  $dir=explode("_",$t[0]);
  $wzdir=$dir[0];  //书名称 作为目录名称
  $wzchapter=$dir[1]; //第几章
  //创建目录
  $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码 注意这里保留对$wzdir字符串的引用,用来构造文件名,不能用此处,防止二次编码
  if(!file_exists($wzdir2)){
   mkdir($wzdir2); //创建目录
  }
  //构造文件名
  $wztitle="./".$wzdir."/"."$t[0]".".txt";
  //保证保存的文件名称不是乱码
  $wztitle=iconv("UTF-8", "GBK", $wztitle);
  $f=fopen($wztitle,"w ");
  fwrite($f,$cons);
  echo "<font color='green'>$wzdir </font>".$wzchapter."<font color='red'>写入成功</font>";
  fclose($f); 
  
  } 
  else{
  $ids=self::getBookIdsById($id); 
 
  //这里服务器可能会掉线,所以最好用session记录循环
  #for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"] ,$i ){
 
   #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"] ]);//构造id
  #}
  
  for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"] ,$i ){
 
   self::createBookById($id."_".$ids[$i]);//构造id
  }
  
  #echo "<hr/><hr/><br/><h1>写入工作全部完成</h1>";
  #echo $id."_".$ids[0]."<br/>"; 
  #var_dump($ids);
  
  }

<?php
    /**
    * @author: vfhky 20130304 20:10
    * @description: PHP调用百度短网址API接口
    *     * @param string $type: 非零整数代表长网址转短网址,0表示短网址转长网址
    */
    function bdUrlAPI($type, $url){
    if($type)
    $baseurl = '';
    else
    $baseurl = '';
    $ch=curl_init();
    curl_setopt($ch,CURLOPT_URL,$baseurl);
    curl_setopt($ch,CURLOPT_POST,true);
    curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
    if($type)
    $data=array('url'=>$url);
    else
    $data=array('tinyurl'=>$url);
    curl_setopt($ch,CURLOPT_POSTFIELDS,$data);
    $strRes=curl_exec($ch);
    curl_close($ch);
    $arrResponse=json_decode($strRes,true);
    if($arrResponse['status']!=0)
    {
    echo 'ErrorCode: ['.$arrResponse['status'].'] ErrorMsg: ['.iconv('UTF-8','GBK',$arrResponse['err_msg'])."]<br/>";
    return 0;
    }
    if($type)
    return $arrResponse['tinyurl'];
    else
    return $arrResponse['longurl'];
    }
    echo '<br/><br/>----------百度短网址API----------<br/><br/>';
    echo 'Long to Short: '.bdUrlAPI(1, ';';
    echo 'Short to Long: '.bdUrlAPI(0, ';';
    ?>

 }
  /*
  获取小说的所有ID
  @param $id 文章ID
  @return array;
  */
  public static function getBookIdsById($aid){ 
  $ch= curl_init();
  $url='";
  //注意这里的?可以获取最少匹配项
  $ru='/[sS]*?<li class="" createdate="d{4}-d{2}-d{2} d{2}:d{2}:d{2}">[sS]*?<a href="/book/'.$aid.'_(d*?)"s{1}>.*?</a>.*?/u';//正则表达式匹配
  //设置选项,包括URL
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容
  curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
  //执行curl
  $output = curl_exec($ch);
  // 检查是否有错误发生
  if(curl_errno($ch)){
  echo 'Curl error: ' . curl_error($ch);
  }
  //释放curl句柄
  curl_close($ch);
  $arr=array();
  preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);
  return $arr[1];
  }
}
?>

3 PHP实现网易短网址API接口调用

getinfo.php

网易短网址API接口

复制代码 代码如下:

用户首先需要申请一个appkey,申请地址是

<?php
 session_start();
require_once("SpiderTools.class.php");
if($_REQUEST["bid"]){
if(is_numeric($_REQUEST["bid"])){
 SpiderTools::createBookById(trim($_REQUEST["bid"]));
 }
 else{
  echo "<br/>请输入正确的文章ID<br/>";
 }
}
?>

   

index.html

 代码如下

复制代码 代码如下:

<?php
    /**
    * @author: vfhky 20130304 20:10
    * @description: PHP调用网易短网址API接口
    *    * @param string $type: 非零整数代表长网址转短网址,0表示短网址转长网址
    */
    function wyUrlAPI($type,$url){
    if($type)
    $baseurl = '';
    else
    $baseurl = '';
    /* 这是我申请的APPKEY,大家可以测试使用 */
    $key = '4f0c04771d4e40b4945afcfdc0337e3d';
    $ch=curl_init();
    curl_setopt($ch,CURLOPT_URL,$baseurl);
    curl_setopt($ch,CURLOPT_POST,true);
    curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
    if($type)
    $data=array('longUrl'=>$url,'key'=>$key);
    else
    $data=array('shortUrl'=>$url,'key'=>$key);
    curl_setopt($ch,CURLOPT_POSTFIELDS,$data);
    $strRes=curl_exec($ch);
    curl_close($ch);
    $arrResponse=json_decode($strRes,true);
    if($arrResponse['status_code']!=200)
    {
    echo 'ErrorCode: ['.$arrResponse['status_code'].'] ErrorMsg: ['.iconv('UTF-8','GBK',$arrResponse['status_txt'])."]<br/>";
    return 0;
    }
    return $arrResponse['url'];
    }
    echo '<br/><br/>----------网易短网址API----------<br/><br/>';
    echo 'Long to Short: '.wyUrlAPI(1,';';
    echo 'Short to Long: '.wyUrlAPI(0,'').'
    ';
    echo 'Short to Long: '.wyUrlAPI(0,'126.am/XRYsJ2').'<br/><br/>';
    ?>

<html>
<head><meta charset="utf-8"/></head>
<title>下载小说啦</title>
<body>
<h1>输入磨铁中文网你想看到的小说ID号就可以下载小说啦</h1>
<form method="get" action="getinfo.php">
<input type="text" id="myid" name="myid" value=""/>
<input type="button" value="生成小说" onclick="createbook();"/>
</form>
<div id="info" style="background:black;height:500px;width:1067px;overflow:scroll;color:white">
</div>

4 PHP实现新浪微博短网址API接口调用

<!-----AJAX------>
<script language="javascript">
var xmlHttp;
function createbook()
{
xmlHttp=GetXmlHttpObject()
if (xmlHttp==null)
 {
 alert ("浏览器不支持ajax")
 return
 }
var bookid=document.getElementById("myid").value
var url="getinfo.php"
url=url "?bid=" bookid;
url=url "&sid=" Math.random()
xmlHttp.onreadystatechange=stateChanged
xmlHttp.open("GET",url,true)
xmlHttp.send(null)
}

同样,用户首先需要申请一个新浪微博开放平台的appkey,申请地址是

function stateChanged()
{
if(xmlHttp.readyState==1){

 代码如下

 document.getElementById("info").innerHTML="正在准备工作,请耐心点哦~^_^~<img src="img/1.gif"  /><br/>";
}
if(xmlHttp.readyState==2){

 

 document.getElementById("info").innerHTML="正在联系服务器,这可能需要一点时间啦^><img src="img/2.gif"  /><^<br/>";
}

    <?php
    /**
    * @author: vfhky 20130304 20:10
    * @description: PHP调用新浪短网址API接口
    *    * @param string $type: 非零整数代表长网址转短网址,0表示短网址转长网址
    */
    function xlUrlAPI($type,$url){
    /* 这是我申请的APPKEY,大家可以测试使用 */
    $key = '1562966081';
    if($type)
    $baseurl = ';
    else
    $baseurl = ';
    $ch=curl_init();
    curl_setopt($ch, CURLOPT_URL,$baseurl);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_TIMEOUT, 15);
    curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
    $strRes=curl_exec($ch);
    curl_close($ch);
    $arrResponse=json_decode($strRes,true);
    if (isset($arrResponse->error) || !isset($arrResponse[0]['url_long']) || $arrResponse[0]['url_long'] == '')
    return 0;
    if($type)
    return $arrResponse[0]['url_short'];
    else
    return $arrResponse[0]['url_long'];
    }
    echo '<br/><br/>----------新浪短网址API----------<br/><br/>';
    echo 'Long to Short: '.xlUrlAPI(1,';';
    echo 'Short to Long: '.xlUrlAPI(0,';';
    ?>

if(xmlHttp.readyState==3){

5 后记

 document.getElementById("info").innerHTML="正在解析数据<img src="img/3.gif"  /><br/>";
}

综上,百度的短网址API相对方便,而且限制较少;新浪和网易的API接口相对麻烦;网易的短网址API是唯一具备API请求统计功能的,但很容易受到“请求过于频繁而遭到REQUEST_LIMIT”。另外,对于任何API接口的调试工作,一定要使用其接口提供的错误信息,例如上面百度接口的$arrResponse['status']字段、网易的$arrResponse['status_code']字段。

if (xmlHttp.readyState==4 || xmlHttp.readyState=="complete")
 {
 
 document.getElementById("info").innerHTML=xmlHttp.responseText;
 //xmlHttp.abort();

原文转自:

 

 

 }

}

function GetXmlHttpObject()
{
var xmlHttp=null;
try
 {
 // Firefox, Opera 8.0 , Safari
 xmlHttp=new XMLHttpRequest();
 }
catch (e)
 {
 //Internet Explorer
 try
  {
  xmlHttp=new ActiveXObject("Msxml2.XMLHTTP");
  }
 catch (e)
  {
  xmlHttp=new ActiveXObject("Microsoft.XMLHTTP");
  }
 }
return xmlHttp;
}
</script>
</body>
</html>

PS:关于正则,这里再为大家推荐2款本站的正则表达式在线工具供大家参考使用(包括正则生成、匹配、验证等功能):

JavaScript正则表达式在线测试工具:

正则表达式在线生成工具:

您可能感兴趣的文章:

  • 一个PHP实现的轻量级简单爬虫
  • PHP代码实现爬虫记录——超管用
  • php 向访客和爬虫显示不同的内容
  • php IIS日志分析搜索引擎爬虫记录程序
  • PHP爬虫之百万级别知乎用户数据爬取与分析
  • php与python实现的线程池多线程爬虫功能示例
  • 利用php抓取蜘蛛爬虫痕迹的示例代码
  • PHP实现采集抓取淘宝网单个商品信息
  • PHP curl实现抓取302跳转后页面的示例
  • PHP CURL模拟登录新浪微博抓取页面内容 基于EaglePHP框架开发
  • PHP多线程抓取网页实现代码
  • PHPCrawl爬虫库实现抓取酷狗歌单的方法示例

本文由yzc216亚洲城发布于yzc216.com官网,转载请注明出处:PHP实现百度,php使用curl和正则表达式抓取网页数

关键词: yzc216亚洲城 yzc216.com官网