热评php抓取页面的几种体式格式

    添加时间:2013-6-19 点击量:


     



     

    我们在开辟收集法度时，往往须要抓取非本地文件，一般景象下都是哄骗php模仿浏览器的接见，经由过程http恳求接见url地址， 然后获得html源代码或者xml数据，获得数据我们不克不及直接输出，往往须要对内容进行提取，然后再进行格局化，以加倍友爱的体式格式浮现出来。


    下面简单说一下php抓取页面的几种办法及道理:


    一、 PHP抓取页面的首要办法：


    1. file（）函数   


    2. file_get_contents（）函数 


    3. fopen（）->fread（）->fclose（）模式 


    4.curl体式格式 


    5. fsockopen（）函数 socket模式 


    6. 应用插件（如：http://sourceforge.net/projects/snoopy/）


    二、PHP解析html或xml代码首要体式格式：


    1. file（）函数



    <？php

    //定义url

    ￥url=http://t.qq.com;　

    //fiel函数读取内容数组

    ￥lines_array=file（￥url）;　

    //拆分数组为字符串　

    ￥lines_string=implode（，￥lines_array）;　

    //输出内容，嘿嘿，大师也可以保存在本身的办事器上

    echo ￥lines_string;　




    2. file_get_contents（）函数

    应用file_get_contents和fopen必须空间开启allow_url_fopen。办法：编辑php.ini，设置
    allow_url_fopen = On，allow_url_fopen封闭时fopen和file_get_contents都不克不及打开长途文件。



    <？php 

    //定义url 

    ￥url=http://t.qq.com;

     //file_get_contents函数长途读取数据

    ￥lines_string=file_get_contents（￥url）;

     //输出内容，嘿嘿，大师也可以保存在本身的办事器上 

    echo htmlspecialchars（￥lines_string）;



    3. fopen（）->fread（）->fclose（）模式




    <？php 

    //定义url

    ￥url=http://t.qq.com;

     //fopen以二进制体式格式打开   

    ￥handle=fopen（￥url，rb）;

    //变量初始化

    ￥lines_string=;

    //轮回读取数据

    do{     

        ￥data=fread（￥handle，1024）;     

        if（strlen（￥data）==0） { 

            break;    

        }     

    ￥lines_string.=￥data; 

    }while（true）;

    //封闭fopen句柄，开释资料

    fclose（￥handle）;

     //输出内容，嘿嘿，大师也可以保存在本身的办事器上

    echo ￥lines_string;



    4. curl体式格式


    应用curl必须空间开启curl。办法：windows下批改php.ini，将extension=php_curl.dll前面的分号去掉，并且需
    要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安装curl扩大。




    <？php 

    // 创建一个新cURL资料

    ￥url=http://t.qq.com; 

    ￥ch=curl_init（）; 

    ￥timeout=5; 

    // 设置URL和响应的选项

    curl_setopt（￥ch， CURLOPT_URL， ￥url）;

    curl_setopt（￥ch， CURLOPT_RETURNTRANSFER， 1）;

    curl_setopt（￥ch， CURLOPT_CONNECTTIMEOUT， ￥timeout）;

    // 抓取URL

    ￥lines_string=curl_exec（￥ch）; 

    // 封闭cURL资料，并且开释体系资料

    curl_close（￥ch）;

    //输出内容，嘿嘿，大师也可以保存在本身的办事器上

    echo ￥lines_string;



    5. fsockopen（）函数 socket模式
    socket模式可否正确履行，也跟办事器的设置有关系，具体可以经由过程phpinfo查看办事器开启了哪些通信和谈。




    <？php

    ￥fp = fsockopen（t.qq.com， 80， ￥errno， ￥errstr， 30）;

    if （!￥fp） {

        echo ￥errstr （￥errno）<br />\n;

    } else {

        ￥out = GET / HTTP/1.1\r\n;

        ￥out .= Host: t.qq.com\r\n;

        ￥out .= Connection: Close\r\n\r\n;

        fwrite（￥fp， ￥out）;

        while （!feof（￥fp）） {

            echo fgets（￥fp， 128）;

        }

        fclose（￥fp）;

    }



    6. snoopy插件，新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30，推荐大师应用


    应用网上很是风行的snoopy来进行采集，这是一个很是强大的采集插件，并且它的应用很是便利，你也可以在里面设置agent来模仿浏览器信息。



    <？php

    //引入snoopy的类文件

    require（Snoopy.class.php）;

    //初始化snoopy类

    ￥snoopy = new Snoopy;

    ￥url = http://t.qq.com;

    //开端采集内容

    ￥snoopy->fetch（￥url）;

     //保存采集内容到￥lines_string

    ￥lines_string = ￥snoopy->results;

    //输出内容，嘿嘿，大师也可以保存在本身的办事器上 

    echo ￥lines_string;




    申明：设置agent是在 Snoopy.class.php 文件的第45行，请在该文件中搜刮 “var ￥agent” （引号中的内容）。浏览器内容你可以应用PHP来获得，
    应用 echo ￥_SERVER[HTTP_USER_AGENT]; 可以获得浏览器信息，将echo出来的内容复制到agent里面就可以了。



    彼此相爱，却不要让爱成了束缚：不如让它成为涌动的大海，两岸乃是你们的灵魂。互斟满杯，却不要同饮一杯。相赠面包，却不要共食一个。一起歌舞欢喜，却依然各自独立，相互交心，却不是让对方收藏。因为唯有生命之手，方能收容你们的心。站在一起却不要过于靠近。—— 纪伯伦《先知》
    分享到：