-
SQLServer海量数据导入的最快方法
最近做某项目的数据库分析，要实现对海量数据的导入问题，就是最多把200万条数据一次导入sqlserver中，如果使用普通的insert语句进行写出的话，恐怕没个把小时完不成任务，先是考虑使用bcp，但这是基于命令行的，对用户来说友好性太差，实际不大可能使用；最后决定使用BULKINSERT语句实现，BULKINSERT也可以实现大数据量的导入，而且可以通过编程实现，界面可以做的非常友好，它的速度也很高：导入100万条数据不到20秒中，在速度上恐怕无出其右者。但是使用这种方式也有它的几个缺点：1.需要独占接受数据的表2.会产生大量的日志3.从中取数据的文件有格式限制但相对于它的速度来说，这些缺点都是可以克服的，而且你如果愿意牺牲一点速度的话，还可以做更精确的控制，甚至可以控制每一行的插入...
数据库操作教程 2022-09-23 20:13:11 -
SQLServer中使用扩展事件获取Session级别的等待信息及SQLServer2016中Session级别等待信息的增强
什么是等待简单说明一下什么是等待：当应用程序对SQLServer发起一个Session请求的时候，这个Session请求在数据库中执行的过程中会申请其所需要的资源，比如可能会申请内存资源，表上的锁资源，物理IO资源，网络资源等等，如果当前Session运行过程中需要申请的某些资源无法立即得到满足，就会产生等待。SQLServer会以不用的方式来展现这个等待信息，比活动Session的等待信息，实例级的等待信息等等...
数据库操作教程 2022-09-23 18:23:47 -
sqlserver中几种典型的等待
为了准备今年的双11很久没有更新blog，在最近的几次sqlserver问题的排查中，总结了sqlserver几种典型的等待类型，类似于oracle中的等待事件，如果看到这样的等待类型时候能够迅速定位问题的根源,下面通过一则案例来把这些典型的等待处理方法整理出来：第一种等待.memory等待早上接到一用户反馈其RDS实例非常的慢，通过观察sqlserver活动会话监视器（activemonitor）的waitingtasks（类似于mysql的threadrunning）可以看到有10多w的等待任务,可以明确数据库现在已经出现了较大的瓶颈，紧接着通过resourcewaits看到数据库中有大量的memory内存等待：看到是memory资源等待后，为了立刻恢复用户应用，想到立刻去调大内存，发现该实例已经是24G了，看来一下os的空余内存，还有较多的内存剩余，所以将内存调大到36G，发现resourcewaits还是在memory上等待，同时这个时候的cpu使用率飙升，达到了90%左右（之前在10%左右的等待）.这样解决不了根本问题，于是通过recentexpensivequeries,发...
数据库操作教程 2022-09-23 18:07:38 -
系统隐形杀手——阻塞与等待(SQL)
前言应用系统承载着大量的业务，随之而来的是复杂的业务逻辑，在数据库上的表现就是有着大量的不同种类的SQL语句。SQL语句执行的快慢又与阻塞等待有着密不可分的原因...
数据库操作教程 2022-09-23 18:05:48 -
-
SQL语句实现查询当前数据库IO等待状况
sys.dm_io_pending_io_requests可以返回当前IOPending的状态，对于SQLServer中每个挂起的I/O请求，返回与其对应的一行，跟sys.dm_io_virtual_file_stats配合可以看到具体是哪个数据库IO出现问题。selectDB_NAME(database_id)asDBNAME,database_id,file_id,io_stall,io_pending_ms_ticks,scheduler_addressfromsys.dm_io_virtual_file_stats(null,null)i,sys.dm_io_pending_io_requestsswheres.io_handle=i.file_handle...
数据库操作教程 2022-09-23 17:40:11 -
SQLServer误区30日谈第19天Truncate表的操作不会被记录到日志
误区#19:Truncate表的操作不会被记录到日志错误在用户表中的操作都会被记录到日志。在SQLServer中唯一不会被记录到日志的操作是TempDB中的行版本控制...
数据库操作教程 2022-09-23 17:06:32 -
向数据库中插入数据并返回当前插入的行数及全局变量@@IDENTITY应用
数据库中有张表User，字段是ID和Name，ID自增。利用存储过程实现插入时返回当前的行数复制代码代码如下:CREATEPROCProc_InsertUser@namenvarchar(100)ASINSERTINTOdbo.User(Name)VALUES(@name)SELECT@@IDENTITYASID利用全局变量@@IDENTITY实现...
数据库操作教程 2022-09-23 17:00:59 -
数据库高并发情况下重复值写入的避免字段组合约束
10线程同时操作，频繁出现插入同样数据的问题。虽然在插入数据的时候使用了：insertintitablename(fields....)select@t1,@t2,@t3fromtablenamewherenotexists(selectidfromtablenamewheret1=@t1,t2=@t2,t3=@t3)当时还是在高并发的情况下无效...
数据库操作教程 2022-09-23 16:57:38 -
SQLServer高性能写入的一些经验总结
1.1.1摘要在开发过程中，我们不时会遇到系统性能瓶颈问题，而引起这一问题原因可以很多，有可能是代码不够高效、有可能是硬件或网络问题，也有可能是数据库设计的问题。本篇博文将针对一些常用的数据库性能调休方法进行介绍，而且，为了编写高效的SQL代码，我们需要掌握一些基本代码优化的技巧，所以，我们将从一些基本优化技巧进行介绍...
数据库操作教程 2022-09-23 16:56:25 -
SQL数据库的高级sql注入的一些知识
[概要]这篇文章讨论常用的"sql注入"技术的细节，应用于流行的MsIIS/ASP/SQL-Server平台。这里探讨有关这种攻击各种可以注入程序访问数据和数据库防范的方法...
数据库操作教程 2022-09-23 16:53:28 -
得到自增列的下一个会插入的id
复制代码代码如下:declare@Table_namevarchar(60)set@Table_name='Pay_inputpay';Selectso.nameTable_name,--表名字sc...
数据库操作教程 2022-09-23 16:52:15
