• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

海量数据插入数据库效率对比测试—ADO.NET下SqlBulkCopy()对比L

mysql 搞代码 4年前 (2022-01-09) 27次浏览 已收录 0个评论

摘要:使用.NET相关技术向数据库中插入海量数据是常用操作。本文对比ADO.NET和LINQ两种技术,分别使用SqlBulkCopy()和InsertAllOnSubmit()方法进行操作。得出结论:相同插入工作量(1w条数据)插入效率相差200倍之巨本文来源[email protected]搞@^&代*@码)网9! 测试场景: 准备两个数据库TestDb和Tes

摘要:使用.NET相关技术向数据库中插入海量数据是常用操作。本文对比ADO.NET和LINQ两种技术,分别使用SqlBulkCopy()和InsertAllOnSubmit()方法进行操作。得出结论:相同插入工作量(1w条数据)插入效率相差200倍之巨!

测试场景:

准备两个数据库TestDb和TestDb2,有表:T_Users。表结构如下图所示:

SqlBulkCopy()插入方法如下:

private static Stopwatch InsertUsingSqlBulkCopy(List list)        {            Stopwatch stopWatch = new Stopwatch();            stopWatch.Start();            DataTable dt = new DataTable();            dt.Columns.Add("ID");            dt.Columns.Add("UserName");            for (int i = 0; i < list.Count; i++)            {                DataRow row = dt.NewRow();                row["ID"] = list[i].ID;                row["UserName"] = list[i].UserName;                dt.Rows.Add(row);            }            using (SqlConnection con = new SqlConnection(connStr2))            {                con.Open();                using (SqlBulkCopy bulkCopy = new SqlBulkCopy(con))                {                    try                    {                        bulkCopy.DestinationTableName = "dbo.T_UserName";                        bulkCopy.ColumnMappings.Add("ID", "ID");                        bulkCopy.ColumnMappings.Add("UserName", "UserName");                        bulkCopy.WriteToServer(dt);                    }                    catch (Exception ex)                    {                        Console.WriteLine(ex.ToString());                    }                    finally { con.Close(); }                }            }            stopWatch.Stop();            return stopWatch;        }

LINQ插入方法如下所示:

private static Stopwatch InsertUsingLINQ(List _list)        {            Stopwatch stopWatch = new Stopwatch();            stopWatch.Start();            DataClasses1DataContext dataContext = new DataClasses1DataContext();            dataContext.T_Users.InsertAllOnSubmit(_list);            dataContext.SubmitChanges();            stopWatch.Stop();            return stopWatch;        }

使用上述代码分别导入1万条User数据进入数据库。

得到结果如下图所示:

相同插入工作量(1w条数据)前提下,结论:

1 ADO.NET下SqlBulkCopy()方法是LINQ TO SQL下InsertAllOnSubmit()方法插入效率相差266倍之巨!

2 LINQ使用便捷、代码简短、学习成本低,语言表达优雅;但是,如果对效率要求较高的海量数据相关操作优先推荐使用ADO.NET方法。

相关源码下载地址:http://download.gaodaima.com/detail/fanrong1985/8130953


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:海量数据插入数据库效率对比测试—ADO.NET下SqlBulkCopy()对比L

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址