导出百万级数据

记录一下（初步实现）

<?php
//让程序一直运行  
set_time_limit(0);
//设置程序运行内存  
ini_set('memory_limit', '128M');
$fileName = '商品导出数据';
header('Content-Encoding: UTF-8');
header("Content-type:application/vnd.ms-excel;charset=UTF-8");
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
//打开php标准输出流 
$fp = fopen('php:output', 'a');
//添加BOM头，以UTF8编码导出CSV文件，如果文件头未添加BOM头，打开会出现乱码。  
fwrite($fp, chr(0xEF) . chr(0xBB) . chr(0xBF));
//添加导出标题
  fputcsv($fp, ['商品', '价格', '库存']);  
//链接数据库
$dsn = "mysql:host=127.0.0.1;port=3306;dbname=db_www;charset=utf8";
$pdo = new PDO($dsn, 'root', '');
$step = 100;
//循环次数 
$nums = 10000;
//每次导出数量 
for ($i = 0; $i < $step; $i++) {
    $start = $i * 10000;
    $sql = "SELECT product_code,price,qty FROM `products` ORDER BY `id` LIMIT {$start},{$nums}";
    $productMysql = $pdo->query($sql);
    $result = $productMysql->fetchAll(PDO::FETCH_ASSOC);
    foreach ($result as $item) {
        fputcsv($fp, $item);
    }
    //每1万条数据就刷新缓冲区  
 ob_flush();
    flush();
}

根据大佬们的建议修整后为

<?php
//让程序一直运行
set_time_limit(0);
//设置程序运行内存
ini_set('memory_limit', '128M');
$fileName = '商品导出数据';
header('Content-Encoding: UTF-8');
header("Content-type:application/vnd.ms-excel;charset=UTF-8");
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
//打开php标准输出流
$fp = fopen('php:output', 'a');
//添加BOM头，以UTF8编码导出CSV文件，如果文件头未添加BOM头，打开会出现乱码。
fwrite($fp, chr(0xEF) . chr(0xBB) . chr(0xBF));
// 添加导出标题
fputcsv($fp, ['商品', '价格', '库存']);

// 链接数据库
$dsn  = "mysql:host=127.0.0.1;port=3306;dbname=db_www;charset=utf8";
$pdo  = new PDO($dsn, 'root', '');

$nums   = 10000; // 每次查询的数量
$lastId = 0; // 上一批数据的最后一个ID
do {
    $sql = "SELECT product_code, price, qty FROM `products` WHERE id > :lastId ORDER BY `id` LIMIT :nums";
    $stmt = $pdo->prepare($sql);
    $stmt->bindParam(':lastId', $lastId, PDO::PARAM_INT);
    $stmt->bindParam(':nums', $nums, PDO::PARAM_INT);
    $stmt->execute();
    $result = $stmt->fetchAll(PDO::FETCH_ASSOC);
    foreach ($result as $item) {
        fputcsv($fp, $item);
    }
    $lastId = $result[count($result) - 1]['id'];
    ob_flush();
    flush();
} while (count($result) > 0);

fclose($fp);

本作品采用《CC 协议》，转载必须注明作者和本文链接