现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最6本文来源gao@dai!ma.com搞$代^码!网7
搞gaodaima代码
多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
回复内容：
现在有个需求，要把excel数据导入到数据表中，但数据量比较大，最多的时候一次要导入几十W条数据，导入的数据不是直接写db的，是走接口的，接口一次性最多处理1000条，耗时比较长，现在有个想法，想把这个做成任务式的导入，每次导入就是创建一个导入任务，把所有任务做成队列，依次完成导入任务，有什么好的方法和建议
你的想法很好，可惜PHP不适合做这种事情，建议用Java之类的语言来实现你的想法。
PHP有了任务，直接把任务参数提交到数据库。
Java在后台每100ms访问一次数据库，看看有没有任务，有就处理。
php默认30秒 ；你可以加个set_time_limit(99999999);
几十万数据 应该是不要1分钟就倒完了
Crontab + task list 做后台异步任务，很适合这种场景
-
mysql load data infile 将数据快速导入到临时表
-
php守护进程分批将数据往接口同步（或者crontab写定时任务）
php拼接成sql，直接mysql后台source导入
最好是分段导入，不要一次性导入
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：异步 – PHP大量数据数据导入
转载请注明原文链接：异步 – PHP大量数据数据导入
