1.拼SQL语句,insert后面带1000个value一次性提交; 2.使用连接池,保持长连接插入; 3.更换Mysql的存储引擎为Inforbright,然后把数据做成文本,批量导入 4.使用队列,保持最高插入速度 有没人有其他更好的方法,最近有130G每天都文件要入库分析,期待指引密
1.拼SQL语句,insert后面带1000个value一次性提交;
2.使用连接池,保持长连接插入;
3.更换Mysql的存储引擎为Inforbright,然后把数据做成文本,批量导入
4.使用队列,保持最高插入速度
有没人有其他更好的方法,最近有130G每天都文件要入库分析,期待指引密经。
源码与演示:源码出处 演示出处
<style> .CodeEntity .code_pieces ul.piece_anchor{width:25px;position:absolute;top:25px;left:-30px;z-index:1000;} .CodeEntity .code_pieces ul.piece_anchor li{width:25px;background: #efe;margin-bottom:2px;} .CodeEntity .code_pieces ul.piece_anchor li{border-left:3px #40AA63 solid;border-right:3px #efe solid;} .CodeEntity .code_pieces ul.piece_anchor li:hover{border-right:3px #40AA63 solid;border-left:3px #efe solid;} .CodeEntity .code_pieces ul.piece_anchor li a{color: #333;padding: 3px 10px;} .CodeEntity .code_pieces .jump_to_code{visibility:hidden;position:relative;} .CodeEntity .code_pieces .code_piece:hover .jump_to_code{visibility:visible;} .CodeEntity .code_pieces .code_piece:hover .jump_to_code a{text-decoration:none;} .CodeEntity .code_pieces h2 i{float:right;font-style:
normal;font-weight:normal;} .CodeEntity .code_pieces h2 i a{font-size:9pt;background: #FFFFFF;color:#00A;padding: 2px 5px;text-decoration:none;} </style> <!—ecms
- –> <!—ecms
- $velocityCount
–> <!—ecms
–>
LOAD DATA INFILE 'F:\am_mp3\\data.txt' IGNORE INTO TABLE music.album CHARACTER SET utf8 FIELDS TERMINATED BY ',' lines terminated by '\r\n' (album_id,album_name,singer_name,publish_time,song_count);