php中导出大量数据的实现方法

php中导出大量数据的实现方法

内容导读

收集整理的这篇技术教程文章主要介绍了php中导出大量数据的实现方法,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2013字,纯文字阅读大概需要3分钟

内容图文

在PHP开发的过程中有时候会有数据需要导出,可以利用各种框架中的一些包来直接获取数据然后丢入对应的处理方法就行了,但是当遇到大量的数据需要导出的时候,我们就需要用其他的方法来实现了。

一般处理大数据有如下几种解决办法: 通过添加或者修改事件触发脚本,生成数据;定时任务执行脚本生成数据;直接使用phpexcel导出大量数据;采用fputcsv实时数据流方式写入。用一张图表示如下:

这里主要记录下使用fputcsv方式导出数据。

public function exportData()

{




 set_time_limit(0);



ini_set('memory_limit', '1024M');







$columns = [





'列名1', '列名2', '列名3'


//需要几列,定义好列名



];



//设置好告诉浏览器要下载excel文件的headers



header('Content-Description: File Transfer');



header('Content-Type: application/vnd.ms-excel');



header('Content-Disposition: attachment; filename="导出数据-'.date('Y-m-d', time()).'.csv"');



header('Expires: 0');



header('Cache-Control: must-revalidate');



header('Pragma: public');



$fp = fopen('php://output', 'a');//打开output流



mb_convert_variables('GBK', 'UTF-8', $columns);



fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中



//添加查询条件,获取需要的数据



$query = Model::class()->where();



//获取总数,分页循环处理



$accessNum = $query->count();



$perSize = 1000;



$pages
 = ceil($accessNum / $perSize);







for($i = 1; $i <= $pages; $i++) {





$db_data = $query->limit($perSize)->offset(($i-1)*$perSize)->get();











foreach($db_data as $key => $value) {













$rowData = [];







//获取每列数据,转换处理成需要导出的数据







//需要格式转换,否则会乱码







mb_convert_variables('GBK', 'UTF-8', $rowData);







fputcsv($fp, $rowData);





}





//释放变量的内存





unset($db_data);





//刷新
输出缓冲到浏览器 ob_flush(); //必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。 flush(); } fclose($fp); exit(); }

这样会一边生成,一边写入下载文件,提高处理速度。
之前使用的包处理,生成一个25M的数据,要20分钟。这种方式处理需要1分多钟(也和实际处理的环境有关)。

相关推荐:

PHP csv大量数据导出分割处理

php导入大量数据到mysql(示例)

以上就是php中导出大量数据的实现方法的详细内容,更多请关注Gxl网其它相关文章!

内容总结

以上是为您收集整理的php中导出大量数据的实现方法全部内容,希望文章能够帮你解决php中导出大量数据的实现方法所遇到的程序开发问题。 如果觉得技术教程内容还不错,欢迎将网站推荐给程序员好友。

内容备注

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。


本文关键词:

联系我们

在线咨询:点击这里给我发消息

邮件:w420220301@qq.com