asp.net 大容量 存储过程 asp.net安全、实用、简单的大容量存储过程分页
人气:0想了解asp.net安全、实用、简单的大容量存储过程分页的相关内容吗,在本文为您仔细讲解asp.net 大容量 存储过程的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:asp.net,大容量,存储过程,下面大家一起来学习吧。
基本上我下面要讲述的侧重点是如何使用,因为其实分页存储过程网上很多,如果你懒得找,那么可以直接使用下面这个我经过测试,并通过修改,网上评价都比较高的分页存储过程。 这个分页主要优点如下:
1、大容量下的数据分页,我的测试数据是520W。
2、我结合aspnetpager控件,使得使用起来更加方便。
3、为了结构清晰,实用3层。
4、安全,你就放心的用吧。SQL注入的问题在这里你可以放心了。网上有文章说只要存储过程是用sql拼接的就存在sql注入的问题,并且直接在sql查询分析器中测试了注入的情况。其实是不对的,采用存储过程和参数化的提交语句并没有sql注入的问题。因为它进数据库的时候会有替换的过程。
准备工作:
1、直接使用一个DB库,数据访问层基类,用它返回一个dataset对象,使用的时候我们只需要类似下面的语句就可以返回一个dataset对象。
复制代码 代码如下:
sosuo8.DBUtility.DbHelperSQL.RunProcedure("pagination",parameter,"userinfo");
pagination是我在网上找的存储过程,我进行了修改的,主要是添加输出总记录数。这里总记录数也特意说一下,一般我们都是使用类似下面的语句:
复制代码 代码如下:
select count(*) from sosuo8data
这里我又要说两句,网上有网友说使用count(某列),例如count(userName)会比count(*)快也是不对,如果找的列不对,那么并不会比count(*)快。而count(*)会自动帮我们查找可以实现最快统计的那列,而其实在使用中,一般就是我们的那个主键id,count(id)是最快的。
2、建立数据库data_test,建立两个表:
(1)、userinfo这个表用来放数据。
复制代码 代码如下:
CREATE TABLE [dbo].[userinfo](
[id] [int] IDENTITY(1,1) NOT NULL,
[userName] [nchar](50) COLLATE Chinese_PRC_CI_AS NULL,
[userWebName] [nchar](50) COLLATE Chinese_PRC_CI_AS NULL,
[createDate] [datetime] NULL CONSTRAINT [DF_userinfo_createDate] DEFAULT (getdate()),
CONSTRAINT [PK_userinfo] PRIMARY KEY CLUSTERED
(
[id] ASC
)WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY]
id是自递增,且是聚合索引。OK?开始往数据库中添加520W条记录:
复制代码 代码如下:
--by 阿会楠 2009-4-5
set identity_insert userinfo on -- 标识可以插入自递增列
declare @count int
declare @date datetime
set @count=1
set @date = '2009-4-5 00:00:00'
while @count<=5200000
begin
insert into userinfo(id,userName,userWebName,createDate) values(@count,'阿会楠','sosuo8.com',@date)
set @count=@count+1
set @date=@date+'00:00:01'--加一秒,避免重复,否则会造成分页不准确的情况,排序的字段切忌不要出现过多重复值
end
set identity_insert userinfo off
如果你的电脑配置比较一般,千万不要尝试,否则可能会当机;如果没当机,那耐心等下,插入这么多条记录需要一点时间。
(2)tmp表用来存放无搜索条件时的总记录数。这里我要说下,为什么需要一个表用来专门存放总记录数,总记录数你可以在后台每隔一段时间就去更新一次,把最新的总记录数写进去。否则的话,520W的记录你每次都要用count(id)那么耗费的时间也不少。
![](http://files.jb51.net/upload/20090627213958808.gif)
建表的语句如下:
复制代码 代码如下:
CREATE TABLE [dbo].[tmp](
[id] [int] IDENTITY(1,1) NOT NULL,
[rowCount_tmp] [int] NULL,
[table_tmp] [varchar](255) COLLATE Chinese_PRC_CI_AS NULL,
CONSTRAINT [PK_tmp] PRIMARY KEY CLUSTERED
(
[id] ASC
)WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY]
这里不得不提一下,为什么只要取得表的行总记录数,而不在存储过程里面把分页都算好。因为我们就将采用aspnetpager这个控件,这个控件我们只需要传入3个值,函数定义如下:
复制代码 代码如下:
public DataSet GetList(int PageIndex, string strWhere,ref int rowCount)
复制代码 代码如下:
PageIndex:当前页,对应aspnetpager中的CurrentPageIndex
strWhere:搜索的条件,这篇文章将不重点讲搜索部分。所以代码中用string.Empty,大容量下的数据搜索那需要另写一篇文章来说明。
rowCount:总记录数,由存储过程重新返回。
开始测试:
在BLL层(业务逻辑层),DAL层(数据访问层),DB(访问层基类),WEB(网站),关于3层结构这里就不介绍了,大家可以看看我前面写过的文章《.net三层结构初探》 。
先添加存储过程:
复制代码 代码如下:
--阿会楠根据网络上的代码进行了修改,版权归原作者所有2009-4-5
--修改输出总记录数
create PROCEDURE [dbo].[pagination]
@tblName varchar(255), -- 表名
@strGetFields varchar(1000), -- 需要返回的列
@fldName varchar(255), -- 排序的字段名
@PageSize int, -- 页尺寸
@PageIndex int, -- 页码
@OrderType bit, -- 设置排序类型, 非 0 值则降序
@strWhere varchar(1500), -- 查询条件 (注意: 不要加 where)
@rowCount int output --查询到的记录数
AS
declare @strSQL varchar(5000) -- 主语句
declare @strTmp varchar(110) -- 临时变量
declare @strOrder varchar(400) -- 排序类型
declare @strCountTmp nvarchar(100) --记录数
declare @timediff datetime --耗时
begin
select @timediff = Getdate()
if @strWhere !=''
set @strCountTmp = 'select @rowCount = count(*) from [' + @tblName + '] where '+@strWhere
else
set @strCountTmp = 'select @rowCount = rowCount_tmp from tmp where (table_tmp = ''' + @tblName +''')'
exec sp_executesql @strCountTmp,N'@rowCount int out',@rowCount out --输出总记录数
if @OrderType != 0
begin
set @strTmp = '<(select min'
set @strOrder = ' order by ' + @fldName +' desc'
--如果@OrderType不是0,就执行降序,这句很重要!
end
else
begin
set @strTmp = '>(select max'
set @strOrder = ' order by ' + @fldName +' asc'
end
if @PageIndex = 1
begin
if @strWhere != ''
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from [' + @tblName + '] where ' + @strWhere + ' ' + @strOrder
else
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['+ @tblName + '] '+ @strOrder
--如果是第一页就执行以上代码,这样会加快执行速度
end
else
begin
--以下代码赋予了@strSQL以真正执行的SQL代码
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['
+ @tblName + '] where [' + @fldName + ']' + @strTmp + '(['+ @fldName + ']) from (select top ' + str((@PageIndex-1)*@PageSize) + ' ['+ @fldName + '] from [' + @tblName + ']' + @strOrder + ') as tblTmp)'+ @strOrder
if @strWhere != ''
set @strSQL = 'select top ' + str(@PageSize) +' '+@strGetFields+ ' from ['
+ @tblName + '] where [' + @fldName + ']' + @strTmp + '(['
+ @fldName + ']) from (select top ' + str((@PageIndex-1)*@PageSize) + ' ['
+ @fldName + '] from [' + @tblName + '] where ' + @strWhere + ' '
+ @strOrder + ') as tblTmp) and ' + @strWhere + ' ' + @strOrder
end
end
exec (@strSQL)
select datediff(ms,@timediff,GetDate()) as runtime
这个SQL存储过程语句非常的好,但是不足的地方就是如果你的条件语句中含有'(单引号)那就很郁闷了,十分的麻烦。你可以试下改动上面的相关代码如下:
复制代码 代码如下:
replace(@strWhere,'''','''''')
不放心自己测试下吧。
复制代码 代码如下:
USE [data_Test]
GO
DECLARE @return_value int,
@rowCount int
EXEC @return_value = [dbo].[pagination]
@tblName = 'userinfo',
@strGetFields = N'id',
@fldName = N'id',
@PageSize = 10,
@PageIndex = 300,
@OrderType = 0,
@strWhere = null,
@rowCount = @rowCount OUTPUT
SELECT @rowCount as N'@rowCount'
SELECT 'Return Value' = @return_value
GO
最主要的DAL层代码:
复制代码 代码如下:
public DataSet GetList(int PageIndex, string strWhere,ref int rowCount)
{
SqlParameter[] parameter = sosuo8.DBUtility.DbHelperSQL.pagePara();
parameter[0].Value = "userinfo";
parameter[1].Value = "id,userName,userWebName,createDate";
parameter[2].Value = "id";
parameter[3].Value = 10;
parameter[4].Value = PageIndex;
parameter[5].Value = 0;
parameter[6].Value = strWhere;
parameter[7].Direction = ParameterDirection.Output;//声明为输出类型
DataSet ds = sosuo8.DBUtility.DbHelperSQL.RunProcedure("pagination",parameter,"userinfo");
rowCount = Convert.ToInt32(parameter[7].Value);
return ds;
}
全部代码:
复制代码 代码如下:
public DataSet GetList(int iPageSize, int iPageIndex, string strWhere, ref int iCount)
{
SqlParameter[] parameters ={
new SqlParameter("@tblName",SqlDbType.VarChar,255),
new SqlParameter("@strGetFields",SqlDbType.VarChar,1000),
new SqlParameter("@fldName",SqlDbType.VarChar,255),
new SqlParameter("@PageSize",SqlDbType.Int),
new SqlParameter("@PageIndex",SqlDbType.Int),
new SqlParameter("@OrderType",SqlDbType.Int),
new SqlParameter("@strWhere",SqlDbType.NVarChar,2000),
new SqlParameter("@rowCount",SqlDbType.Int),
};
parameters[0].Value = "News";
parameters[1].Value = "newsID,classID,title,picUrl,videoUrl,writer,source,province,addTime,istop,state,keywords,recommend,hits,htmlPath,pic1,pic2,pic3";
parameters[2].Value = "addTime";
parameters[3].Value = iPageSize;
parameters[4].Value = iPageIndex;
parameters[5].Value = 1;
parameters[6].Value = strWhere;
parameters[7].Direction = ParameterDirection.Output;//声明为输出类型
DataSet ds = sosuo8.DBUtility.DbHelperSQL.RunProcedure("GetRecordByPage", parameters, "News");
iCount = Convert.ToInt32(parameters[7].Value);
return ds;
}
default.aspx.cs代码
复制代码 代码如下:
public partial class _Default : System.Web.UI.Page
{
protected void Page_Load(object sender, EventArgs e)
{
if (!Page.IsPostBack)
{
bind();
}
}
private void bind()//绑定数据
{
this.anPager.PageSize = 10;//每页记录数
this.anPager.AlwaysShow = true;//是否一直显示分页
int rowCount = 0;//初始化记录数为0
string wherestr = string.Empty;//搜索关键字,这部分后面我在讲讲优化
sosuo8.BLL.bll_test bll = new sosuo8.BLL.bll_test();
this.rpt.DataSource = bll.GetList(this.anPager.CurrentPageIndex,wherestr,ref rowCount);//rowCount在经过这个函数后,返回的是重新赋值的记录总数
this.anPager.RecordCount = rowCount;
this.rpt.DataBind();
}
protected void anPager_PageChanging(object src, Wuqi.Webdiyer.PageChangingEventArgs e)
{
this.anPager.CurrentPageIndex = e.NewPageIndex;
bind();
}
}
里面涉及到aspnetpager的使用,如果你还不会使用这个控件,可以自己看看有关教程。最终的界面如下:
![](http://files.jb51.net/upload/20090627214535815.gif)
令我十分高兴的是,在处理520W的记录时,它速度还在可以接受的范围内,不会出现超时的现象。而作为优化,可以在界面层中尽量少读数据。可以加上以page为参数页面输出缓存:
复制代码 代码如下:
<%@ OutputCache Duration="360" VaryByParam="page" %>
你也许并没有用过里面的一些控件,但是知道原理和方法我相信你也可以自由搭配你需要的东西,下面我仅上传部分比较重要的代码,对于需要的控件我也放在里面,至于建表测试那些大家慢慢研究吧!当前的存储过程只能针对一个字段排序,后面有时间我会修改成多字段排序
打包下载地址
加载全部内容