如何对PHP导出的海量数据进行优化
如何对PHP导出的海量数据进行优化
内容导读
收集整理的这篇技术教程文章主要介绍了如何对PHP导出的海量数据进行优化，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3382字，纯文字阅读大概需要5分钟。
内容图文
本篇文章的主要主要讲述的是对PHP导出的海量数据进行优化，具有一定的参考价值，有需要的朋友可以看看。导出数据量很大的情况下，生成excel的内存需求非常庞大，服务器吃不消，这个时候考虑生成csv来解决问题，cvs读写性能比excel高。
测试表student 数据(大家可以脚本插入300多万测数据。这里只给个简单的示例了)
SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for student-- ----------------------------DROP TABLE IF EXISTS `student`;CREATE TABLE `student` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `StuNo` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, `StuName` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, `StuAge` int(11) NULL DEFAULT NULL, PRIMARY KEY (`ID`) USING BTREE) ENGINE = InnoDB AUTO_INCREMENT = 12 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;-- ------------------------------ Records of student-- ----------------------------INSERT INTO `student` VALUES (1, 'A001', '小明', 22);INSERT INTO `student` VALUES (2, 'A005', '小李', 23);INSERT INTO `student` VALUES (3, 'A007', '小红', 24);INSERT INTO `student` VALUES (4, 'A003', '小明', 22);INSERT INTO `student` VALUES (5, 'A002', '小李', 23);INSERT INTO `student` VALUES (6, 'A004', '小红', 24);INSERT INTO `student` VALUES (7, 'A006', '小王', 25);INSERT INTO `student` VALUES (8, 'A008', '乔峰', 27);INSERT INTO `student` VALUES (9, 'A009', '欧阳克', 22);INSERT INTO `student` VALUES (10, 'A010', '老顽童', 34);INSERT INTO `student` VALUES (11, 'A011', '黄老邪', 33);SET FOREIGN_KEY_CHECKS = 1;
导出脚本export.php
<?phpset_time_limit(0);ini_set('memory_limit', '128M');$fileName = date('YmdHis', time());header('Content-Encoding: UTF-8');header("Content-type:application/vnd.ms-excel;charset=UTF-8");header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');//注意，数据量在大的情况下。比如导出几十万到几百万，会出现504 Gateway Time-out,请修改php.ini的max_execution_time参数//打开php标准输出流以写入追加的方式打开$fp = fopen('php://output', 'a');//连接数据库$dbhost = '127.0.0.1';$dbuser = 'root';$dbpwd = 'root';$con = mysqli_connect($dbhost, $dbuser, $dbpwd);if (mysqli_connect_errno())
die('connect error');$database = 'test';//选择数据库mysqli_select_db($con, $database);mysqli_query($con, "set names UTF8");//如果需要请设置编码//用fputcsv从数据库中导出1百万的数据,比如我们每次取1万条数据，分100步来执行//一次性读取1万条数据，也可以把$nums调小，$step相应增大。$step = 100;$nums = 10000;$where = "where 1=1"; //筛选条件,可自行添加//设置标题$title = array('id', '编号', '姓名', '年龄'); //注意这里是小写id,否则ID命名打开会提示Excel 已经检测到"xxx.xsl"是SYLK文件,但是不能将其加载: CSV 文或者XLS文件的前两个字符是大写字母"I"，"D"时，会发生此问题。foreach ($title as $key => $item)
$title[$key] = iconv("UTF-8", "GB2312//IGNORE", $item);fputcsv($fp, $title);for ($s = 1; $s <= $step; $s++) {
$start = ($s - 1) * $nums;
$result = mysqli_query($con, "SELECT ID,StuNo,StuName,StuAge FROM `student` " . $where . " ORDER BY `ID` LIMIT {$start},{$nums}");
if ($result) {
while ($row = mysqli_fetch_assoc($result)) {
foreach ($row as $key => $item)
$row[$key] = iconv("UTF-8", "GBK", $item); //这里必须转码，不然会乱码
fputcsv($fp, $row);
}
mysqli_free_result($result); //释放结果集资源
ob_flush();
//每1万条数据就刷新缓冲区
flush();
}}mysqli_close($con);//断开连接导出效果：
相关教程：PHP视频教程
以上就是如何对PHP导出的海量数据进行优化的详细内容，更多请关注Gxl网其它相关文章！
内容总结
以上是为您收集整理的如何对PHP导出的海量数据进行优化全部内容，希望文章能够帮你解决如何对PHP导出的海量数据进行优化所遇到的程序开发问题。 如果觉得技术教程内容还不错，欢迎将网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
