thinkphp5使用workerman定时器定时爬取站点内容的代码

内容导读

收集整理的这篇技术教程文章主要介绍了thinkphp5使用workerman定时器定时爬取站点内容的代码，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2358字，纯文字阅读大概需要4分钟。

内容图文

本篇文章给大家分享的内容是关于thinkphp5使用workerman定时器定时爬取某站点新闻资讯等的内容,内容很详细,有需要的朋友可以参考一下,希望可以帮助到你们.

1、首先通过 composer 安装workerman，在thinkphp5完全开发手册的扩展-》coposer包-》workerman有详细说明：

#在项目根目录执行以下指令composer require topthink/think-worker

2.在项目根目录创建服务启动文件 server.php:

<?phpdefine('APP_PATH', __DIR__ . '/application/');define("BIND_MODULE", "server/Worker");// 加载框架引导文件require __DIR__ . '/thinkphp/start.php';

3、在application里创建server模块，并在server里创建控制器 Worker.php：

<?phpnamespace appservercontroller;use thinkworkerServer;class Worker extends Server{    public function onWorkerStart($work)    {        $handle=new Collection();        $handle->add_timer();    }}

4.创建Collection.php类

<?phpnamespace appservercontroller;use appcommonmodelArticleModel;use thinkController;use WorkermanLibTimer;class Collection extends Controller{	public function __construct(){		  parent::__construct();	}	public function add_timer(){        Timer::add(10, array($this, 'index'), array(), true);//时间间隔过小，运行会崩溃    }    /**     * 采集数据     */    public function index(){               $total=$this->get_jinse();        return json(['msg'=>"此次采集数据共 $total 条。",'total'=>$total]);    }      /**     * 获取金色财经资讯     */    public function get_jinse(){        $url="https://api.jinse.com/v4/live/list?limit=20";        $data=$this->get_curl($url);        $data=json_decode($data);        $data=$data->list[0]->lives;        $validate=validate('Article');        $items=[];        foreach ($data as $k=>$v){            preg_match('/【(.+?)】(.+)/u',$v->content,$content);            if(!@$content[2]){                continue;            }            $list=array(                'source_id'=>$v->id,                'source'=>'金色财经',                'title'=>trim(preg_replace('/.*|/','',$content[1])),                'content'=>$content[2],            );            if($validate->check($list)){                $items[]=$list;            }        }        if($items){            krsort($items);            $model=new ArticleModel();            $model->saveAll($items);        }        return count($items);    }    public function get_curl($url){        $ch=curl_init();        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);        curl_setopt($ch,CURLOPT_URL,$url);        curl_setopt($ch,CURLOPT_HEADER,0);        curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);        $output = curl_exec($ch);        if($output === FALSE ){            echo "CURL Error:".curl_error($ch);        }        curl_close($ch);        // 4. 释放curl句柄        return $output;    }  }

5、启动服务 php server.php start

相关推荐:

Thinkphp中模板继承是什么？模板继承的实例

如何利用PHP进行用户名和密码的验证(代码)

以上就是thinkphp5使用workerman定时器定时爬取站点内容的代码的详细内容，更多请关注Gxl网其它相关文章！

内容总结

以上是为您收集整理的thinkphp5使用workerman定时器定时爬取站点内容的代码全部内容，希望文章能够帮你解决thinkphp5使用workerman定时器定时爬取站点内容的代码所遇到的程序开发问题。 如果觉得技术教程内容还不错，欢迎将网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。