C# 两个DataTable数据差异化

时间:2022-06-02 涛神-DevExpress资深开发者人气:0

假如有两个DataTable表格分别是dt1,dt2,dt2中有些数据跟dt1一样，现在想找出dt2的数据在dt1中不存在的数据集（换句话也可以说dt2删除已经存在于dt1中的数据），传统思想可能直接用循环找差异，这种是非常低效的做法，数据量少无所谓，数据量大，简直要了程序猿老命，既然直接循环查找不可取，那么有没有高效一点的做法呢（废话，凑数字用，当然是有了），C# linq 中IEnumerable 提供了Expect（差集）的方法，众所周知，DataTable提供了AsEnumerable()的转换方法，能把DataTable转成IEnumerable<DataRow>，这样我们就能linq 来处理DataTable了，如果dt1和dt2的结构相同，则可以直接dt2.AsEnumerable().Expect(dt1.AsEnumerable())来获得两个表格的差异，当然这个结果的返回是一个IEnumerable<DataRow>，如果想要一个DataTable结果，可以直接调用方法CopyToDataTable()(该方法调用之前需要判断结果集是否没有数据，没有数据会报错）

var list=dt2.AsEnumerable().Except(dt1.AsEnumerable());
DataTable resultDt;
if(list.Count()>0)
    resultDt=list.CopyToDataTable();
else
    resultDt=dt2.Clone();//克隆个结构；

如果dt1,dt2的结构不一样，那么就不能直接用Except方法来处理了，这里我的建议是用linq中的join方法，先把dt1,dt2两个表做一个内连接的关联处理，找出dt2跟dt1相同的部分，然后再利用dt2跟dt2于dt1相同的部分做一次差集处理，就能得出dt2和dt1的差集，直接上代码，代码演示用的是linqpad工具，其中的Dump方法是用来输出打印的，vs调试的话，请自行修改成Console，测试数据用了50w,60w如果单靠差集处理，是秒级别

void Main()
{
	Stopwatch sw = new Stopwatch();
	sw.Start();
	var dt1 = CreateDt(500000, 3);
	var dt2 = CreateDt(600000, 5);
	sw.Stop();
	sw.Elapsed.Dump("生成两个表的时间");
	
	sw.Restart();
	//dt2.AsEnumerable().Except(dt1.AsEnumerable());//如果表格表的结构相同，则直接差集处理得出结果
	var dt = dt2.AsEnumerable().Join(dt1.AsEnumerable(), p => p[0], p => p[0], (p, q) => p);//内连接，查询两个表格相同部分，再利用相同部分做差集处理得出结果就是dt2在dt1中的差集
	var result = dt2.AsEnumerable().Except(dt).ToList();
	sw.Stop();
	result.Count.Dump("差集结果条数");
	sw.Elapsed.Dump("查询差异的时间");
	sw.Restart();
	DataTable resultDt;
	if (result.Count() > 0)
	resultDt = result.CopyToDataTable();
	else
		resultDt = dt2.Clone();
	
	sw.Stop();
	sw.Elapsed.Dump("转成DataTable耗时：");
 
}
DataTable CreateDt(int row, int count)
{
	var dt = new DataTable();
	for (int i = 0; i < count; i++)
		dt.Columns.Add("col" + i);
	var rnd = new Random();
	for (int i = 0; i < row; i++)
	{
		var num = rnd.Next(0, row);
		dt.Rows.Add(dt.Columns.Cast<DataColumn>().Select(p => p.ColumnName + num).ToArray());
	}
	return dt;
}

结果图：

从结果上看，关联和差异处理共耗时1秒左右，这个速度还是能接受的

加载全部内容