-
SparkSQL数据加载和保存实例讲解
一、前置知识详解SparkSQL重要是操作DataFrame，DataFrame本身提供了save和load的操作，Load：可以创建DataFrame，Save：把DataFrame中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具体的格式来指出我们要输出的文件是什么类型。二、SparkSQL读写数据代码实战importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.api.java.function.Function;importorg.apache.spark.sql.*;importorg.apache.spark.sql.types.DataTypes;importorg.apache.spark.sql.types.StructField;importorg.apache.spark.sql.types.StructType;...
数据库操作教程 2022-09-23 18:09:06 -
Oracle、MySQL和SqlServe三种数据库分页查询语句的区别介绍
先来定义分页语句将要用到的几个参数：intcurrentPage;//当前页intpageRecord;//每页显示记录数以之前的ADDRESSBOOK数据表为例(每页显示10条记录)：一、SqlServe下载分页语句Stringsql="selecttop"+pageRecord+"*fromaddressbookwhereidnotin(selecttop"+(currentPage-)*pageRecord+"idfromt_user)";//(currentPage-)*pageRecord:是指从第几个记录开始第二页SQL演示：selecttop20*fromaddressbookwhereidnotin(selecttop10idfromaddressbook)二、MySQL数据库分页语句Stringsql="select*fromaddressbookwherelimit"+(currentPage-)*pageRecord+","+pageRecord+"";//select*from表名【条件】limitM,N;//M为从第几个记录开始，比如每页显示条记录，第二页就必...
数据库操作教程 2022-09-23 18:04:51 -
SQLServer出现System.OutOfMemoryException异常的解决方法
今天在用SQLServer2008执行一个SQL脚本文件时，老是出现引发类型为“System.OutOfMemoryException”的异常错误，脚本明明是从SQLServer2008导出的，应该不会出错，研究了好久问题才得以解决。出现这个错误的主要原因是由于SQL脚本文件太大，估计超过了100M了，解决方法就是把脚本文件分成几个脚本文件，分别去执行即可...
数据库操作教程 2022-09-23 17:56:39 -
sqlserver性能优化之nolock
伴随着时间的增长，公司的数据库会越来越多，查询速度也会越来越慢。打开数据库看到几十万条的数据，查询起来难免不废时间...
数据库操作教程 2022-09-23 17:50:41 -
SqlServer应用之sys.dm_os_waiting_tasks引发的疑问(下)
sys.dm_os_waiting_tasks引发的疑问(下)前面写了两篇了，其实不光是说sys.dm_os_waiting_tasks的应用，研究了挺长时间的并行，自己有了一些理解，所以分享出来希望有什么理解错误的地方大神们及时纠正！！ 给出前两篇的连接：SqlServer应用之sys.dm_os_waiting_tasks引发的疑问(上)SqlServer应用之sys.dm_os_waiting_tasks引发的疑问(中)前面两篇的编写有一个疑惑...最初认为的并行比如这个语句： select*fromt1innerjoint2ont1.a=t2.aOPTION(querytraceon8649) 在我的理解并行是开几个线程去获取T1数据，另外几个线程获取T2数据，然后关联结果形成最后结果集。可是试验了才发现自己原来想的和看到的结果不太一样呀！！！！ 下面我们用前两篇的例子继续做试验... 这次我们2张表同时给锁住，看看等待里是什么情况...
数据库操作教程 2022-09-23 17:49:13 -
详解SQLServer和Oracle的分页查询
不管是DRP中的分页查询代码的实现还是面试题中看到的关于分页查询的考察，都给我一个提示：分页查询是重要的。当数据量大的时候是必须考虑的...
数据库操作教程 2022-09-23 17:48:59 -
SQL获取第一条记录的方法(sqlserver、oracle、mysql数据库)
Sqlserver获取每组中的第一条记录在日常生活方面，我们经常需要记录一些操作，类似于日志的操作，最后的记录才是有效数据，而且可能它们属于不同的方面、功能下面，从数据库的术语来说，就是查找出每组中的一条数据。下面我们要实现的就是在sqlserver中实现从每组中取出第一条数据...
数据库操作教程 2022-09-23 17:46:16 -
SqlServer应用之sys.dm_os_waiting_tasks引发的疑问(上)
很多人在查看SQL语句等待的时候都是通过sys.dm_exec_requests查看,等待类型也是通过wait_type得出,sys.dm_os_waiting_tasks也可以看到session的等待那么有什么区别呢.... 废话不多说直接开整. 测试版本2012 sys.dm_os_waiting_tasks的字段说明:waiting_task_addressvarbinary(8)等待任务的地址。session_idsmallint与任务关联的会话的ID...
数据库操作教程 2022-09-23 17:44:21 -
MyBatisMapperProviderMessageFormat拼接批量SQL语句执行报错的原因分析及解决办法
最近在项目中有这么一段代码：下载服务器基础业务数据进行本地批量插入操作，因项目中使用mybatis进行持久化操作，故直接考虑使用mybatis的批量插入功能。1.以下是Mapper接口的部分代码publicinterfacePrintMapper{@InsertProvider(type=PrintMapperProvider.class,method="insertAllLotWithVehicleCode4H2")voidinsertAllLotWithVehicleCode(List<LotWithVehicleCodeBO>lotWithVehicleCodes);}2.对应MapperProvider中函数片段publicStringinsertAllLotWithVehicleCode4H2(Map<String,List<LotWithVehicleCodeBO>>map){List<LotWithVehicleCodeBO>lotWithVehicleCodeBOs=map.get("list");StringBuilde...
数据库操作教程 2022-09-23 17:44:13 -
SqlServer应用之sys.dm_os_waiting_tasks引发的疑问(中)
通过上篇文章给大家介绍了SqlServer应用之sys.dm_os_waiting_tasks引发的疑问(上)，说了一下sys.dm_exec_requests和sys.dm_os_waiting_tasks在获取并行等待的时候得不同结果，这一篇我们谈论下我的第二个疑问：为什么一个并行计划（4线程）却一下出现了那么多等待，SQL的并行到底是怎么执行的！！！！ 先贴以下上篇sys.dm_os_waiting_tasks的结果图： 我们分析一下这个结果的task_address可以看出去掉重复其实只有9个，也就是说一个并行（4线程，配置不同，情况也不同）会有9个task。又是线程，又是task,还有worker,schedulers这些都是什么？这个有必要先说一下，因为这篇博客前我也是乱乱的...
数据库操作教程 2022-09-23 17:44:07 -
SQLServer中Check约束的学习教程
0.什么是Check约束？CHECK约束指在表的列中增加额外的限制条件。注：CHECK约束不能在VIEW中定义...
数据库操作教程 2022-09-23 17:43:05 -
SqlServer如何通过SQL语句获取处理器(CPU)、内存（Memory）、磁盘（Disk）以及操作系统相关信息
在SQLSERVER中如何通过SQL语句获取服务器硬件和系统信息呢？下面介绍一下如何通过SQL语句获取处理器(CPU)、内存（Memory）、磁盘（Disk）以及操作系统相关信息。如有不足和遗漏，敬请补充...
数据库操作教程 2022-09-23 17:37:39
