ThinkPHP高效导入上万条数据_性能优化与实践

在使用 ThinkPHP 框架时，如果需要导入上万条数据，可以采用以下策略来确保效率和稳定性：

1. 使用批量插入

大多数数据库都支持批量插入操作，这可以显著提高插入效率。ThinkPHP 的模型或数据库操作类通常提供批量插入的方法。例如：

$data = [
    ['field1' => 'value1_1', 'field2' => 'value1_2'],
    ['field1' => 'value2_1', 'field2' => 'value2_2'],
    // ... 更多数据
];

// 假设 $model 是你的数据模型实例
$model = M('YourTableName'); // 或者使用 Db 类，如 Db::name('your_table_name')
$model->addAll($data);

2. 分批处理

如果数据量非常大，一次性插入可能会导致内存不足或超时。可以将数据分成多个小批次进行插入：

$batchSize = 1000; // 每批处理1000条
$chunks = array_chunk($data, $batchSize);

foreach ($chunks as $chunk) {
    $model->addAll($chunk);
}

3. 关闭查询日志（如果适用）

在大量数据插入时，关闭数据库的查询日志可以减少开销：

// 在批量插入前关闭日志（具体方法可能根据 ThinkPHP 版本不同）
\think\facade\Db::listen(function(){}); // ThinkPHP 5+ 示例，实际使用需确认是否可行

4. 使用事务

使用事务可以确保数据的一致性，并可能提高插入性能：

Db::startTrans();
try {
    foreach ($chunks as $chunk) {
        $model->addAll($chunk);
    }
    Db::commit();
} catch (\Exception $e) {
    Db::rollback();
    // 处理异常
}

5. 优化数据库配置

索引：在批量插入前，考虑暂时禁用不必要的索引，插入完成后再重建索引。
自增锁：如果表中有自增主键，大量插入可能会导致自增锁争用，可以考虑调整自增步长或使用 UUID。
调整数据库参数：如 MySQL 的 innodb_buffer_pool_size、innodb_log_buffer_size 等参数，以优化插入性能。

6. 异步或队列处理

如果插入操作可以异步进行，考虑使用队列系统（如 RabbitMQ、Redis Queue 等）来异步处理数据插入，以减轻服务器压力。

7. 监控和调试

日志记录：记录插入操作的日志，以便后续分析和调试。
性能监控：监控服务器的 CPU、内存和磁盘 I/O 使用情况，确保系统资源充足。

8. 考虑数据格式和来源

数据清洗：在插入前对数据进行清洗和验证，确保数据格式正确。
数据来源优化：如果数据来自文件（如 CSV、Excel），考虑使用更高效的解析库（如 League\Csv）来读取数据。

示例代码（综合应用）

use think\facade\Db;

$data = []; // 假设这是你的上万条数据
$batchSize = 1000;
$chunks = array_chunk($data, $batchSize);

Db::startTrans();
try {
    foreach ($chunks as $chunk) {
        Db::name('your_table_name')->insertAll($chunk);
    }
    Db::commit();
} catch (\Exception $e) {
    Db::rollback();
    // 记录错误日志或抛出异常
    throw $e;
}