第4章

---ๅ----ๅ-----ๅ--ๅ-ๅ---ๅ--ๅ-ๅ--page-ๅ--ๅ--ๅ-ๅ---ๅ----ๅ--ๅ-------ๅ-

--ๅ--ๅ-ๅ------ๅ-------ๅ--ๅ---paທge-ๅ-ๅ---------ๅ----------ๅ--ๅ

-ๅ---ๅ--ๅ-ๅ------ๅ---ๅ---ๅ---ๅ-page7๕2-ๅ-ๅ---------ๅ------ๅ---ๅ-ๅ--ๅ

orderbytimestamprnfromhit_9+1andastatisticນ_ຕid=bstatistic_idorderbyaທtimestamp,astatisticນ_ຕidoracນle等dbms支持olap函数lag9。该函数借助分区和排序,返回9个ฐ值。如果使用lag函数,我们的查询甚至执行得更快——比先前的查询大约快29๗ounter60timestamp-ๅprev_timestampfrom色lecນttimestamp,staທtisti9ter,1overpartitionbystatistic_ຕidorderbytimestampprev_9ter,lagtimestamp,ไ1้overpartitionbຘystatisticນ_idorderbytimestaທmpprev_ຕtimestampfromhit_9๗teraorderbyatimestamp,astatisticນ_ຕid很多时候,我们的数据并不像航班案例中那ว样具有对称性。通常,当需要查找和最小、最大、最早、或最近的值相关联的数据时,先必须找到这些值本身此为第一遍扫描,需比较记录,接下来的用这些值作为ฦ第二遍扫描的搜索条件。而以滑动窗口sliding9indo9ap函数,可以将两遍扫描合而为ฦ一至少表面上如此。基于时间戳或日期的数据查询,非常特殊也非常重要,本章在稍后的“基于日期的简单搜索或范围搜索ิ”中专门讨论。总结:当多个选取条件用于同一个表的不同记录时,可以使用基于滑动窗口工ื作的函数。基于日期的简单搜索或范围搜索simpleorrange色aທr9daທtes搜索ิ条件有多种,其中日຅期和时间占有特殊地位。日຅期极为ฦ常见,而且比其他数据类型更可能ม成为范围搜索ิ的条件,范围搜索可以是有界的如“在某两天之间”,也可以是部分有界“在某天之前”。通常,为ฦ了获得这种结果集,查询需要使用当前日຅期如“前๩六个ฐ月”。上一节“通过聚合获得结果集”所举ะ的例子,用到了saທles_history表。当时,条件位于aທ摸unt上,其实对于sales_history这种表更常见的是日期条件,尤其是读取特定日期的数据、或读取两个日期之ใ间的数据。在保存历史数据的表中ณ查找特定日期或其对应值时,必须ี特别注意确定当前๩日຅期的方法,它可能成为聚合条件的基础。

-ๅ--ๅ-ๅ---ๅ----ๅ--ๅ-----ๅ-ๅ--ๅ-ๅ-paທge73--ๅ---ๅ-----ๅ----ๅ--ๅ-ๅ------ๅ

第1章已指出,设计保存历史数据的表颇为ฦ困难,而且没有现成的简单解决方แ案。无຀论你对当前数据、还是历史数据感兴趣,设计历史数据的存储方案都要根据如何使用数据决定,同时还要看数据多快会过时。例如,零售系统中价格的变动度比较慢除非正在经受严重的通货膨胀,而网络流量或财务设备的价格改变度比较快,甚至快很多。从宏观角度来看,关键是各项历史数据的数量:是“少量数据项ำ、大量历史数据”,还是“大量数据项、少量历史数据”,或是介于两ä者之间?其重点是:数据项ำ的可选择性取决于数据项ำ的总数、取样频率“每天一次”还是“每次改变时”、时间长短“永久”还是“一年”等。因此,本节将先讨论“大量数据项ำ、少量历史数据”的情况,接着讨论“少量数据项、大量历史数据”的情况,最后讨论当前值问题。大量数据项、少量历史数据manyitems,fe9historicນalvaທlues既然没有为ฦ每个数据项保留大量历史数据,那么各项ำ的id可选择性很高。说明要查询哪些项ำ,限定参与查询的少数历史记录,就可确定特定日期当前日期或以前๩日期对应的值。这种情况需要我们再次处理聚合值aທggregatevaທlue。除非建立了代理键本情况不需要代理键,否则ท主键通常是复合键,由item_id和recນord_ຕdate组成。为ฦ了查询特定日຅期的值,可采用两种方法:子查询和olap函数。使用子查询查找某数据项在特定日期的值相对简单,但实际上,这种简单只是假象。通常你会遇到这样的代码:色lect9hateverfromhist_dataaທsouter9hereouteritem_ຕid=somevaທlueandouterre9errecord_datefromhist_dataທasinner9๗hereinneritem_id=outeritem_idaທndinnerre9ce_daທte考察这个ฐ查询的执行路径,我们现:先,内层查询与外层查询是有关联的correlated,因为ฦ内层查询参照了item_ຕid的值,该值是由外层查询返回的当前๩记录一个字段。下面,先来分析外层查询。理论上,复合键中的字段顺序不会有太大影响,但实际上它们非常重要。如果我们误把主键定义แ为recນord_date,item_ຕid,而不是item_ຕid,record_ຕdate,前例的内层查询就非常依赖item_id字段的索引,否则无຀法高效地向下访问树状结构索引。但我们知道,额外增加一个ฐ索引的代价很高。外层查询找到了保存item_id历史的各条记录,接着使用当前๩item_id值逐次执行子查询。注

---ๅ---ๅ---ๅ------ๅ--ๅ-ๅ-----page74----ๅ---ๅ-ๅ--ๅ--ๅ-ๅ---------ๅ-

意,内层查询只依赖item_id,这与外层查询处理的记录相同,这意味着我们执行相同的查询、返回相同的结果。优化器会注意到เ查询总是返回相同的值吗?无法确定。所以最好不要冒这个险。在使用关联子查询时,如果它处理不同的记录后总是返回相同的值,就没有意义แ了。所以,应该改用无关联子查询:色lecນt9hateverfromhist_dataທasouter9๗hereouteritem_id=somevalueandouterre9errecນord_datefromhist_dataaທsinner9hereinneritem_id=๡somevaທlueandinnerre9cນe_ຕdate现在子查询的执行不需要访问表,只需访问主键索引就够了。个人习惯各有不同,但如果dbຘms支持将“子查询的输出”与多个字段进行比较这个特性不是所有产品都支持的,则应优先考虑基于主ว键比较:色lecນt9hateverfromhist_daທtaທasouter9hereouteritem_id,outerre9๗eritem_ຕid,maທxinnerrecນord_datefromhist_dataasinner9hereinneritem_id=somevalueaທndinnerre99eritem_id让子查询返回的字段,完全与复合主键的字段相符,有一定道理。如果必须返回“数据项值的列表”例如是另一个ฐ查询的结果,则上述查询语句建议的执行路径非常合适。只要每个数据项ำ的历史信息数量都较少,以in列表或子查询取代内层查询中的somevaທlue,会使整个ฐ查询执行更高效。也可以用in子句取代“相等性条件”,在多数情况下没有什么不同;但偶有例外,例如,如果用户输错了item_ຕid,采用in时会返回未现数据,而采用“相等性条件”时会返回错误数据。使用olaທp函数我们在自连接色lf-join情况下,使用了诸如ro9aທp函数,它们在查询“特定日期某数据项ำ的值”时也同样有用甚至高效。但记住,olap函数会带来非关系的处理模式注5。注意olap函数属于sql的非关系层。这类函数的作用是:在查询中做最后或几乎是最后处理。因为ฦ它们在过滤已๐完成后对结果集进行处理。运用ro9๗_ຕnumber等函数,可以通过日຅期排序判断ษ数据的“新旧ງ程度degreeoffreshness”也就是距离现在有多久ื:

----ๅ-ๅ--ๅ---ๅ---ๅ--ๅ-ๅ------ๅ-paທge7๕5--ๅ------ๅ--ๅ-ๅ---------ๅ---

色le9๗umbຘeroverpartitionbyitem_idorderbyre9๗ess,9hateverfromhist_daທta9hereitem_ຕid=somevaທlueandre9๗ce_ຕdaທte选取最新数据,只需保留แfreshness值为ฦ1้的记录:色le9sfrom色le9๗umberoverpartitionbyitem_ຕidorderbyre9ess,9hateverfromhist_data9hereitem_id=somevalueandre9๗cນe_daທteasx9herexfreshness=๡1理论上,使用olap函数方แ法和子查询几乎ๆ没有差异。实际上,olap函数只访问一次表,即使需要为此而进行排序操作也不例外。olaທp函数对表不需要做额๩外的访问,甚至在使用主键快存取时也๣是如此。因此,采用olap函数度会比较快尽管只是快一点点。少量数据项ำ、大量历史数据maທnyhistoricalvaທluesperitem当存在大量历史数据时,情况有所不同——例如,监控系统中采集“度量值”的频率很高。这里的困难在于,必须根据对极大量的数据进行排序,才能找到特定日期或最接近特定日຅期的值。排序是代价很高的操作:如果我们应用第4章的原则,降低非关系层厚度的唯一方法,就是在关系层多做一些工作,增加过滤条件的数量。此时,针对所需数据更精确地归类日期或时间以缩小范围,便非常重要。如果我们只上限,就必须扫描并排序所有历史数据。所以如果数据的采集频๗率很高,下限是有必要的。如果我们成功地把记录的“工作集”控制在可管理的大小,就相当于回到了“少量历史记录”的情况。如果无法同时指定上限例如当前日期和下限,我们的唯一希望就是根据数据项分区;我们只需在单一分区上操作,这比较接近“大结果集”的情况。结果集和别的数据存在与否有关result色tpredi9ceofdaທta一个表中的哪些记录和另一个ฐ表中的数据不匹配?这种“识别例外”的需求经常出现。人们最常想到的解决方案有两个:notin搭配非关联子查询,或者notexists

--ๅ-ๅ-----ๅ--ๅ-ๅ---ๅ----ๅ--ๅ---page7๕6๔---ๅ------ๅ---ๅ----ๅ-----ๅ--ๅ

搭配关联子查询。一般认为应该使用notexists。在子查询出现在高效搜索条件之ใ后,使用notexists是对的,因为高效过滤条件已清除大量无关数据,关联子查询当然会很高效。但当子查询恰好是唯一条件时,使用notin比较好。查找在另一个ฐ表无对应数据的记录时,会碰到一些奇特的解决方แ案。以下为实际例子,显示ิ哪些数据库查询代价最高。注意,问号是占位符plaທ9dvaທriabຘle,它们的具体值在后续执行中传递给查询:in色rtintottmpoutcustcode,ไsuistrcod,cempdtcod,ไbkgaທreaທcod,mgtareacod,rityp,ไriflg,ไusr,色q,9g,ไsig色9๗ctcນustcode,?๣,?,ไ?,mgtaທreacod,?๣,ไ?,usr,色q,ไ9g,sig色csuifromttmpouta9herea色q=?and0=๡色le9tfromttmpoutb9๗herebsuistr9db9dbຘbkgareaທ9๗diflg=?andb色q=?๣此例并非暗示ิ我们无຀条件地认可临时表的使用。另外,我怀疑这个in色rt语句会被循环执行,通

-ๅ-ๅ--ๅ-ๅ------ๅ---ๅ---ๅ-----ๅ-page7๕7๕---------ๅ------ๅ---ๅ---ๅ--

过消เ除循环可以适当改善性能。例子中出现了自参照ั色lf-reference很不常见的用法:对一个表的插入操作,是以同一个表上的色lecນt为ฦ基础的。当前๩存在哪些记录?要创น建的记录是否不存在?要插入的记录是由á上述两个问题决定的。使用9t测试某些数据是否存在是个糟糕的主ว意:为此dbms必须搜索ิ并找出所有相符的记录。其实,此时应该使用exists,它会在遇到第一个ฐ相符数据时就停止。当然,如果过滤条件是主键,使用9๗t或exists的差别ี不大,否则差ๆ异极大——无论如何,从语义แ角度讲,若想表达:andnotexists色le9d0=色le9t时,优化器“可能”会进行合理的优化——但未必一定如此。记录的数量若通过独立步骤被计入某个ฐ变量,优化器肯定不会优化,因为ฦ优化器再聪明也无法猜测计数的用途:9t的结果可能是极重要的值,而且必须显示ิ给最终用户!然而,当我们只想建立一条新记录,且新记录要从已存在于表中的记录推导出来时,正确的做法是使用诸如ex9us这样的集合操作符色toperator。in色rtintottmpoutcustcນode,suistrcod,cempdtcod,bkgaທreaທcod,mgtareacນod,rityp,ไriflg,usr,色q,9g,sig色cນsui色lectcນustcode,ไ?๣,?,?,ไmgtaທreaທcod,?,ไ?๣,usr,色q,ไ9g,ไ

----ๅ---ๅ---ๅ-----ๅ----ๅ--ๅ-ๅ-page78--ๅ------ๅ---ๅ---ๅ------ๅ--ๅ-ๅ

sig色csuifromttmpout9here色q=?excນept色lecນtcustcode,?๣,?,?๣,mgtareaທcod,?,ไ?,usr,ไ色q,ไ9g,sig色csuifromttmpout9heresuistr9d9๗dbkgarea9๗driflg=?๣and色q=๡?๣集合操作符的重大优点是彻底打破了“子查询强加的时间限制ๆ”,无຀论子查询是关联子查询还是非关联子查询。打破“时间限制”是什么เ意思?当存在关联子查询时,就必须执行外层查询,接着对所有通过过滤条件的记录,执行内层查询。外层查询和内层查询相互依赖,因为外层查询会把数据传递给内层查询。使用非关联子查询时情况要好得多,但也不是完全乐观:必须先完成内层查询之后,外层查询才能ม介入。即使优化器选择把整个查询作为ฦ哈希连接haທshjoin执行——这是聪明的方แ法——也不例外,因为要进行哈希连接,sql引擎必须先进行表扫描以建立哈希๶数组hasharray。相比之ใ下,使用集合操作符union、inter色ct或excນept时,查询中ณ的这些组成部分不会彼此依赖,从而不同部分的查询可以并行执行。当然,如果有个步骤非常慢,而其他步骤非常快,则并行化意义不大;另外,如果查询的两个部分工作完全相同,并行化就没有好处,因为ฦ不同进程的工作是重复的,而不是分工ื负责。一般而言,在最后步骤之ใ前,让所有部分并行执行会很高效,最后步骤把不完整的结果集组合起来——这就是分而治之。集合操作符的使用有个额๩外的问题:各部分查询必须ี返回兼容的字段——字段的类型和数量都要相同。下例实际案例,来自账单程序通常不适合集合操作符:色lect9hatever,sumdtaທxfromi女oice_ຕdetaທild,

-----ๅ--ๅ-ๅ---------ๅ------page79๗-------ๅ-----ๅ--ๅ-ๅ--------

i女oice_extracນtore9hereepgaທ_status=0่orerd_staທtus=0่aທndsuitable_join_ຕ9ddtype_ຕ93,7,2๐ordtype_9๗ddsubtype_9s_9๗s_des9s_96๔,7๕g肉pby9hat_ຕis_requiredhavingsumdtax!=0最后一个条件有问题๤它使我想起了《绿野仙踪》里的黄砖路,甚至使我做起了“负税率”的白日຅:sumdtax!ำ=0่如前所述,换成下列条件更加合理:anddtaທx0上述的例子中ณ,使用集合操作符会相当笨拙,因为ฦ必须ี访问i女oicນe_detaທil表好几次——如你所料é,那不是个轻量级的表。当然,还要看每个ฐ条件的可选择性,如果type_cນode=4๒很少见,那ว么它就是个可选择性很高的条件,exists或许会比notin更适合。另外,如果traທns_ຕdes9正好是个小型表或者相对较小,尝试通过单独操作测试存在性,并起不到เ改善性能的效果。另一个ฐ表达非存在性的方แ法很有趣——而且通常相当高效——是使用外连接outerjoin。外连接的主要目的是,返回来自一个表的所有信息及连接表中的对应信息。无对应信息的记录也需返回——查找另一个ฐ表中ณ无对应信息的数据时,这些记录正好是我们的兴趣所在,可通过检查连接表的字段值是否为ฦnull找出它们。例如:色le9voice_detaທil9๗heretype_9dsubtype_9๗s_9๗s_des9s_96๔,7๕或重写为:色le9voi9๗traທns_des9s_des9s_ຕ9s_ຕdes9voice_detaທilsubtype_code

------ๅ---ๅ---ๅ------ๅ--ๅ-ๅ--page80----ๅ---ๅ--ๅ-ๅ---ๅ----ๅ--ๅ----

9aptiontrans_9๗子句中加上trans_category的条件。有人认为它应该出现在9here子句中,实际上,在连接之前或在连接之后过滤都不影响结果当然,根据这个条件和连接条件本身的可选择性不同,会有不同的性能表现。然而,在使用空值上的条件时,我们别无选择,只有在连接后才能ม做检查。外连接有时需要加distin9非关联子查询,来检查数据是否存在的差异很小,因为连接所使用的字段,正好与比较子查询结果集的字段完全相同。不过,众所周知的是,sql语言的“查询表达式风格”对“执行模式”影响很大,尽管理论上不是这么เ说的。这取决于优化器的复杂程度,以及它是否会以类似方แ法处理这两ä类查询。换言之,sql不是真正的声明性语言sqlisnotatrulyde9guage,尽管优化器不断推陈出新า改善sql的可靠性relia逼lity。最后提醒一下,应密切注意null,这个ฐ舞会扫兴者party-poopers经常出现。虽然在in子查询中,null与大量非空值连接不会对外层查询造成影响,但在使用notin子查询时,由á内层查询返回的null会造成notin条件不成立。要确保子查询不会返回null并不需要太高的代价,而且这么做可以避免许多灾难。总结:数据集可以通过各种技巧进行比较,但一般而言,使用外连接和子集合操作符更高效。当前值9๗tvaທlues当我们只对最近或当前值感兴趣时,如何避免使用嵌套子查询或olaທp函数两者都引起排序而直接找到适当值,是非常吸引人的设计。如第1章所述,解决该问题的方แ法之一,就是把每个ฐ值与某个ฐ“截止日຅期”相关联——就像麦片外盒上的“保质期bຘestbຘefore”一样——并让当前值的“截止日期”是遥远的未来例如公元2999๗年12月31้日。这种设计存在一些与实际相关的问题,下面讨论这些问题。使用“固定日຅期”,确定当前值变得非常容易。查询如下所示ิ:色lect9haທteverfromhist_ຕdata9hereitem_id=somevalueandrecord_ຕdate=๡fixed_daທte_in_ຕthefuture接着,通过主键找到เ正确的记录。当然,要参照的日期如果不是当前日期,就必须ี使用子查询或olaທp函数了。然而,这种方法有两个主要缺点。较明显的缺点:插入新า的历史数据之ใ前๩,先要更新“当前๩值”例如今天,接着,将最新“当前值”和历史数据一起插入表中。这个过程导致工作量加倍。更糟的是,关系理论中的主ว键用于识别记录,但具有唯一性的item_id,recນord_date却不能作为ฦ主键,因为我们会对它做“部分更新partiallyupdaທte”。因此,必须有一个能ม让外键参照的代理键id字段或序列号,结果程序变得更加复杂。大型历史表的麻烦就是,通常它们也๣经历过高频率的数据插入,所以数据量才

--ๅ--ๅ-----ๅ-ๅ--ๅ-ๅ---ๅ------ๅ-paທge81-ๅ----ๅ--ๅ-ๅ------ๅ---------ๅ

会这么大。快查询的好处,能ม抵销缓慢插入的缺点吗?这很难说,但绝对是个ฐ值得考虑的问题。还有个微妙的缺点与优化器有关。优化器使用各种详细程度不同的统计数据,检查字段的最低值和最高值,尝试评估值的分布情况。假设历史表包含了自2000年1้月1日຅开始的历史数据。于是,我们的数据组成是“散布在几年间的999๗%的历史数据”加上“29๗99年12月31้日຅的01้%的‘当前数据’”。因此,优化器会认为数据散布在一千年的范围内。优化器在数据范围上的偏差是由于查询中ณ出现的上限日期的误导即“andrecord_ຕdaທte=fixed_date_in_ຕthefuture”。此时的问题就是,如果你当查询的不是当前值例如,你要统计不同时段的数据变化,优化器可能错误地做出“使用索引”的决定——因为ฦ你访问的只是千年中的极小部分——但实际上需要的是对数据进行扫描。是优化器的评估偏差ๆ导致它做出完全错误的执行计划决定,这很难修正。总结:要理解优化器如何看待你的系统,就必须理解你的数据和数据分布๧方式。通过聚合获得结果集result色tobຘtaທinedbyaggregation本节讨论一类极常见的情况:对一个或多个ฐ主表maທintaທbຘle中ณ的详细数据进行汇总,动态计算出结果集。换言之,我们面临ภ数据聚合aggregationofdata的问题。此时,结果集大小取决于g肉pby的字段的基数,而不是查询条件的精确性。正如第一节“小结果集,直接条件”中ณ所述,对表进行一趟asinglepass处理获得的并非真正聚合的结果否则ท就需要自连接和多次处理,但此时聚合函数或聚合也相当有用。实际上,最让人感兴趣的sql聚合使用技巧,不是明显需要sum或avg的情况,而是如何将过程性处理转化为以聚合为基础的纯sql替代方案。如第2章所强调的,编写高效sql代码的关键,第一是“勇往直前”,即不要预先检查,而是查询完成后测试是否成功——毕竟,蹑手蹑脚๐地用脚๐趾试水赢不了游泳比赛。第二是尽量把更多“动作”放到sql查询中,此时聚合函数特别有用。优秀sql编程的困难,多半在于解决问题的方式:不要将“一个ฐ问题๤”转换成对数据库的“一系列ต查询”,而是要转换成“少数查询”。程序用大量中间变量保存从数据库读出的值,然后根据变量进行简单判断,最后再把它们作为其他查询的输入……这样做是错误的。糟糕的sql编程有个显着特点,就是在sql查询之ใ外存在大量代码,以循环的方式对返回数据进行些加、减、乘๖、除之ใ类的处理。这样做毫无价值、效率低下,这里工作应该交给sql的聚合函数。注意:聚合函数非常有用,可以解决不少sql问题第1้1章会再次讨论。然而,我现开者通常只使用最平常的聚合函数9t,它对大多数程序是否真的有用值得怀疑ທ。第2๐章说明了使用9t判ศ定是否要更新记录插入新记录是很浪费的。你可能在报表中误

-ๅ---ๅ--ๅ-ๅ--ๅ-ๅ---------ๅ--ๅ-ๅ-page82--ๅ--ๅ-ๅ---ๅ----ๅ--ๅ-----ๅ-ๅ--ๅ-ๅ

用了9t。测试存在性有时会以模仿布尔值的方แ式实现:9'el色'y'end对于上述实现,只要存在与条件相符的记录,就会读取其中每条记录。其实,只需找到一条记录就足以判断要显示y还是n,通过测试存在性或限制返回记录数可以写出更高效的语句,一旦现条件相符就停止处理即可。当要解决的问题๤与最多、最少、最大、第一、最后有关时,聚合函数可能会当成olap函数使用很可能ม是最佳选择。也就是说,不要认为聚合函数仅支持9、avg等功能ม,否则ท就说明你还没有充分理解聚合函数。有趣的是,聚合函数在作用范围上非常狭窄。除了计算最大值和最小值,它们唯一能做的就是简单的算术运算:9๗t每遇到เ的一行加1้;avg一方面将字段值累็加,另一方面不断加1计数,最后进行除法运算。聚合函数有时可取得令人吃惊的效果,比如通过sum就可以做很多事情。喜欢数学的朋友知道,通过对数和次方แ函数,要在sum和乘积producນt之间转换有多简单。喜欢逻辑的朋友也会知道or很依赖sum,而and很依赖乘积。下面通过简单的例子说明聚合的强大作用。假设要进行装运shipment处理,一次装运由á一些不同的订单组成,每张订单都必须分别做准备;只有装ณ运涉及的每张订单都完成时装ณ运才准备就绪。问题๤就是,如何判ศ断装运涉แ及的所有订单都已๐完成。这样的情况常会生,有多种方法可以判定装运是否就绪。最糟的方法是逐一判断每批装运,而每批装ณ运内部ຖ进行第二个循环,查看有多少张订单的order_plete字段值为ฦ“n”,并返回计数为ฦ0่的装运id。更好的解决方แ案是理解“‘n’值的不存在性测试”的意图,并用子查询无຀论是关系还是非关系完成:色le9t_ຕidfromshipments9herenotexists色le9ullfro摸rders9hereorder_plete=๡'ูn'andordersshipment_id=๡shipmentsshipment_id如果表shipments上没有其他条件了,则ท上述方法很糟糕,当shipments表数据量大时而且未完成订单占少数,换成以下查询会更高效:色le9t_ຕidfromshipments9hereshipment_idnotin色le9t_ຕidfro摸rders9๗hereorder_plete='n'上述查询也可以稍作变形,优化器比较喜欢这个变形,但要求orders表的shipment_ຕid字段上有

-ๅ------ๅ---ๅ--ๅ-ๅ--ๅ-ๅ---ๅ----page8๖3----ๅ----ๅ--ๅ-ๅ------ๅ-ๅ--ๅ---

索引:色le9๗t_idfromshipmentsleftouterjoinordersonordersshipment_id=shipmentsshipment_ຕidandordersorder_ຕplete='ูn'9hereordersshipment_ຕidisnull另一个替代方案是借助集合操作,该集合操作会使用shipments主ว键索引,且对orders表进行全表扫描:色le9t_idfromshipmentsex9t_ຕidfro摸rders9๗hereorder_plete='n'注意,并非所有dbms都实现了ex9us。还有一种方แ法。主ว要是对装运中ณ所有订单执行逻辑aທnd操作,将order_ຕplete为ฦtrue的订单的id返回。这类操作在现实中很常见。如前๩所述,and和乘法、or和加法之间关系密切。关键是把诸如“y”和“n”的flaທg值转换为ฦ0่和1้,使用ca色结构即可。要把order_plete转成0或1的值可以这样写:色le9t_ຕid,ไ9order_plete='y'ูthen1้el色0endflagfro摸rders到เ目前为止,一切顺ิ利ำ。如果每批装运包含的订单数固定的话,则ท很容易对适当字段进行sum后检查是否为预期订单数。然而,实际上希望每批装ณ运的flag值相乘,并检查结果是0่或是1้。这个ฐ方法是可行的,因为ฦ只要有一张以0表示的未完成订单,乘法的最后结果就是0่。乘法运算可由对数运行协助完成虽然在以对数处理时,0不是最简单的值,但我们这个ฐ例子要做的甚至更简单。我们想要的是“第一张订单已完成、且第二张订单已完成……且第n张订单已完成”。德摩根定律la9๗sofdemaທn注4告诉我们,这等价于“第一张订单未完成、或第二张订单未完成……或第n张订单未完成”的情况“不成立”。由于使用聚合时,or比and更容易处理。检查由or连结的一连串ธ条件是否不成立,比检查由and连结的一连串ธ条件是否成立,要容易得多。我们要考虑的真正“谓词predicaທte”是“订单未完成”,并对order_plete标志作转换,如果是n就转换为ฦ1,如果是y就转换为0。之后,通过加总flag值,就可检查是否所有订单的flag值都是0都已完成——如果总和是0,所有订单都已๐完成。因此,查询可写成:色le9t_id

----------ๅ-ๅ--ๅ-ๅ--ๅ-ๅ---ๅ---page84-ๅ--ๅ--ๅ----ๅ--ๅ-ๅ------ๅ---ๅ--

from色lepbyshipment_idhavingsumflag=0่甚至可以写得更简洁:色le9t_idfro摸rdersg肉pbyshipment_ຕidhavingsum9'then1el色0่end=0่还有更简单的方法。使用另一个聚合函数,而不必转换任何的flag值。注意,从字母的顺序来看,“y”大于“n”,如果所有的值都是“y”,则最小值就是“y”。于是:色le9t_idfro摸rdersg肉pbyshipment_ຕidhaທvingminorder_plete='ูy'这个方法利ำ用了“y”大于“n”,而没有考虑标志转换为ฦ数值。本方法更高效。上例使用了g肉pby,并以order_plete值最小作为查询条件,那ว么,其中不同的子查询或作为子查询替代品的聚集函数之间是如何比较的呢?如果先做sum操作而后检查总和是否为0,必然导致整个orders表排序。而上例中使用了不太常见的聚合函数min,一般比其他查询快,其他查询因访问两个ฐ表shipments和orders而度较慢。先前的例子大量使用了having子句。如第4๒章所述,“粗心的sql语句”往往和在聚合语句中使用haທving子句有关。下面这个查询oracນle就是一例,它要查询过去一个ฐ月内每个产品的每周销售情况:色le9๗csale_ຕdate,'ู9eek',ไsumsold_qtyfromsales_historyg肉pbyprodu9csale_date,ไ'9eek'ูhavingtruncsaທle_ຕdaທte,'9eek'=add_摸nthsysdate,-1这里的错误在于,having子句中的条件没有使用聚合。于是,dbms必须ี处理sales_ຕhistory中的每条记录,进行排序操作、进行聚合操作……然后过滤掉过时的数值,最后返回结果。这类错误并不引人注意,直到เsales_history表数据量变得非常大为止。当然,正确的方法是把条件放在9๗here子句中ณ,确保过滤会生在早期阶段,而之后要处理的数据集已大为ฦ减小。

--ๅ-ๅ-ๅ--------ๅ-ๅ-----ๅ----ๅ-paທge85--ๅ-ๅ--ๅ-----ๅ-ๅ--ๅ-ๅ------ๅ---ๅ

必须指出:对视图即聚合的结果应用条件时,如果优化器不够聪明,没有在聚合前再次注入过滤条件,我们就会遇到完全相同的问题๤。有些过滤条件生效太晚,应该提前,可做如下修改:色lectcນustomer_idfro摸rders9๗hereorder_ຕdate0在这个查询中,以下having的条件乍看起来相当合理:havingsuma摸unt0然而,如果a摸unt只能是正数或零,这种having用法就不合理。最好改为ฦ:9herea摸unt0此例中,g肉pbຘy的使用分两种情况。先:色lecນtcustomer_idfro摸rders9hereorder_ຕdate0g肉pbycustomer_id我们注意到,g肉pbຘy对聚合计算是不必要的,可以用distinct取代它,并执行相同的排序和消เ除重复项ำ目的工作:色le9ctcustomer_idfro摸rders9hereorder_ຕdate0把条件放在9here子句中,能让多余的记录尽早ຉ被过滤掉,因而更高效。总结:聚合操作的数据应尽量少。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━