PHP实现抓取百度搜索结果，并分析数据结构

推荐：《PHP视频教程》

PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构

百度的搜索引擎有反爬虫机制，我先直接用guzzle试试水。代码如下：

?php/** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:58 */require ('./vendor/autoload.php');
    use QL\QueryList;
    //进入网页$jar = new \GuzzleHttp\Cookie\cookiejar;
    $client = new GuzzleHttp\Client(['cookies' =>
     true]);
    $ql = $client->
    request('GET', 'https://www.baidu.COM', [    'cookies' =>
     $jar]);
    if($ql->
getstatusCode()!=200){
        echo '网站状态不正常';
    die;
}
    echo  $ql->
    getBody();
    

百度直接拦截了，进了跳转页面，我试试加个浏览器头文件，再试试。

修改后的header如下：

$ql = $client->
    request('GET', 'https://www.baidu.com', [    'cookies' =>
     $jar,    'headers' =>
     [    'Accept-Encoding' =>
     'gzip, deflate, br',    'Accept'     =>
     'text/htML,application/xhtml+XMl,application/xml;
    q=0.9,image/webp,image/apng,*/*;
    q=0.8',    'Accept-Language'      =>
     'zh-CN,zh;
    q=0.9,en;
    q=0.8',    'Cache-Control'      =>
     'no-cache',    'Connection'      =>
     'keep-alive',    'User-Agent'      =>
     'mozilla/5.0 (Windows NT 10.0;
     WOW64) Applewebkit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',]]);
    

我测试了下，网站打开了。

我们继续，输入关键词，并搜索,结果发现被安全拦截了，所以我感觉直接用GuzzleHttp搞不动，于是我继续我的神器：jaeger/querylist和jaeger/querylist-Puppeteer。

安装步骤：

1.安装依赖

在这之前，要先启用php的PRoc_oPEn函数，否则无法安装完整

composer install jaeger/querylistcomposer install jaeger/querylist-puppeteer

2.安装nodejs

yum install nodejs

3.安装npm

4.安装@nesk/puphpeteer

npm install @nesk/puphpeteer

5.PHP启用proc_open

代码如下：

?php/** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:58 */require ('./vendor/autoload.php');
    use QL\QueryList;
    use QL\Ext\Chrome;
    $ql = QueryList::getInstance();
    // 注册插件，默认注册的方法名为: chrome$ql->
    use(Chrome::class);
     $ql->
chrome(function ($page,$browser) {
        $page->
    goto('https://www.baidu.com');
        // 这里故意设置一个很长的延长时间，让你可以看到chrome浏览器的启动    sleep(3);
        //输入关键词    $wd = '简庆旺博客';
        $page->
    type("input[id='kw']",$wd);
        sleep(1);
        //点击搜索    $page->
    click("input[type='submIT']");
        //等待搜索结果    sleep(3);
        //获取结果    $html = $page->
    content();
        //用jquery选择器抽取结果    $rules = array(        'title'=>
    ['#content_left h3 a','text'],//标题        'url'=>
    ['#content_left h3 a','href'],//跳转网址        'description'=>
    ['div .c-abstract','text'],//描述    );
        $ql = QueryList::html($html);
        $rt = $ql->
    rules($rules)->
    query()->
    getData();
        //如果有需要，可以把$rt入库，以及做其他操作    sleep(10);
        $browser->
    close();
        // 返回值一定要是页面的HTML内容    return $html;
}
    ,[    'headless' =>
     false, // 启动可视化Chrome浏览器,方便调试    'devtools' =>
     false, // 打开浏览器的开发者工具])->
    find('title')->
    text();
    

$rt是我的结果集合，打印下，如下

以上就是PHP实现抓取百度搜索结果，并分析数据结构的详细内容，更多请关注其它相关文章！

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！