一、問題的提出
在應用系統開發初期,由于開發數據庫數據比較少,對于查詢sql語句,復雜視圖的的編寫等體會不出sql語句各種寫法的性能優劣,但是假如將應用系統提交實際應用后,隨著數據庫中數據的增加,系統的響應速度就成為目前系統需要解決的最主要的問題之一。系統優化中一個很重要的方面就是sql語句的優化。對于海量數據,劣質sql語句和優質sql語句之間的速度差別可以達到上百倍,可見對于一個系統不是簡單地能實現其功能就可,而是要寫出高質量的sql語句,提高系統的可用性。
在多數情況下,oracle使用索引來更快地遍歷表,優化器主要根據定義的索引來提高性能。但是,假如在sql語句的where子句中寫的sql代碼不合理,就會造成優化器刪去索引而使用全表掃描,一般就這種sql語句就是所謂的劣質sql語句。在編寫sql語句時我們應清楚優化器根據何種原則來刪除索引,這有助于寫出高性能的sql語句。
二、sql語句編寫注重問題
下面就某些sql語句的where子句編寫中需要注重的問題作具體介紹。在這些where子句中,即使某些列存在索引,但是由于編寫了劣質的sql,系統在運行該sql語句時也不能使用該索引,而同樣使用全表掃描,這就造成了響應速度的極大降低。
1. is null 與 is not null
不能用null作索引,任何包含null值的列都將不會被包含在索引中。即使索引有多列這樣的情況下,只要這些列中有一列含有null,該列就會從索引中排除。也就是說假如某列存在空值,即使對該列建索引也不會提高性能。
任何在where子句中使用is null或is not null的語句優化器是不答應使用索引的。
2. 聯接列
對于有聯接的列,即使最后的聯接值為一個靜態值,優化器是不會使用索引的。我們一起來看一個例子,假定有一個職工表(employee),對于一個職工的姓和名分成兩列存放(first_name和last_name),現在要查詢一個叫比爾.克林頓(bill cliton)的職工。
下面是一個采用聯接查詢的sql語句,
select * from employss where first_name||''||last_name ='beill cliton';
上面這條語句完全可以查詢出是否有bill cliton這個員工,但是這里需要注重,系統優化器對基于last_name創建的索引沒有使用。
當采用下面這種sql語句的編寫,oracle系統就可以采用基于last_name創建的索引。
*** where first_name ='beill' and last_name ='cliton';
. 帶通配符(%)的like語句
同樣以上面的例子來看這種情況。目前的需求是這樣的,要求在職工表中查詢名字中包含cliton的人。可以采用如下的查詢sql語句:
select * from employee where last_name like '%cliton%';
這里由于通配符(%)在搜尋詞首出現,所以oracle系統不使用last_name的索引。在很多情況下可能無法避免這種情況,但是一定要心中有底,通配符如此使用會降低查詢速度。然而當通配符出現在字符串其他位置時,優化器就能利用索引。在下面的查詢中索引得到了使用:
select * from employee where last_name like 'c%';
4. order by語句
order by語句決定了oracle如何將返回的查詢結果排序。order by語句對要排序的列沒有什么非凡的限制,也可以將函數加入列中(象聯接或者附加等)。任何在order by語句的非索引項或者有計算表達式都將降低查詢速度。
仔細檢查order by語句以找出非索引項或者表達式,它們會降低性能。解決這個問題的辦法就是重寫order by語句以使用索引,也可以為所使用的列建立另外一個索引,同時應絕對避免在order by子句中使用表達式。
5. not
我們在查詢時經常在where子句使用一些邏輯表達式,如大于、小于、等于以及不等于等等,也可以使用and(與)、or(或)以及not(非)。not可用來對任何邏輯運算符號取反。下面是一個not子句的例子:
... where not (status ='valid')
假如要使用not,則應在取反的短語前面加上括號,并在短語前面加上not運算符。not運算符包含在另外一個邏輯運算符中,這就是不等于(<>)運算符。換句話說,即使不在查詢where子句中顯式地加入not詞,not仍在運算符中,見下例:
... where status <>'invalid';
對這個查詢,可以改寫為不使用not:
select * from employee where salary<3000 or salary>3000;
雖然這兩種查詢的結果一樣,但是第二種查詢方案會比第一種查詢方案更快些。第二種查詢答應oracle對salary列使用索引,而第一種查詢則不能使用索引。
雖然這兩種查詢的結果一樣,但是第二種查詢方案會比第一種查詢方案更快些。第二種查詢答應oracle對salary列使用索引,而第一種查詢則不能使用索引。
===============================================================================================
我們要做到不但會寫sql,還要做到寫出性能優良的sql,以下為筆者學習、摘錄、并匯總部分資料與大家分享!
(1) 選擇最有效率的表名順序(只在基于規則的優化器中有效):
oracle 的解析器按照從右到左的順序處理from子句中的表名,from子句中寫在最后的表(基礎表 driving table)將被最先處理,在from子句中包含多個表的情況下,你必須選擇記錄條數最少的表作為基礎表。假如有3個以上的表連接查詢, 那就需要選擇交叉表(intersection table)作為基礎表, 交叉表是指那個被其他表所引用的表.
(2) where子句中的連接順序.:
oracle采用自下而上的順序解析where子句,根據這個原理,表之間的連接必須寫在其他where條件之前, 那些可以過濾掉最大數量記錄的條件必須寫在where子句的末尾.
(3) select子句中避免使用 ‘ * ‘:
oracle在解析的過程中, 會將'*' 依次轉換成所有的列名, 這個工作是通過查詢數據字典完成的, 這意味著將耗費更多的時間
(4) 減少訪問數據庫的次數:
oracle在內部執行了許多工作: 解析sql語句, 估算索引的利用率, 綁定變量 , 讀數據塊等;
(5) 在sql*plus , sql*forms和pro*c中重新設置arraysize參數, 可以增加每次數據庫訪問的檢索數據量 ,建議值為200
(6) 使用decode函數來減少處理時間:
使用decode函數可以避免重復掃描相同記錄或重復連接相同的表.
(7) 整合簡單,無關聯的數據庫訪問:
假如你有幾個簡單的數據庫查詢語句,你可以把它們整合到一個查詢中(即使它們之間沒有關系)
(8) 刪除重復記錄:
最高效的刪除重復記錄方法 ( 因為使用了rowid)例子:
delete from emp e where e.rowid > (select min(x.rowid)
from emp x where x.emp_no = e.emp_no);
(9) 用truncate替代delete:
當刪除表中的記錄時,在通常情況下, 回滾段(rollback segments ) 用來存放可以被恢復的信息. 假如你沒有commit事務,oracle會將數據恢復到刪除之前的狀態(正確地說是恢復到執行刪除命令之前的狀況) 而當運用truncate時, 回滾段不再存放任何可被恢復的信息.當命令運行后,數據不能被恢復.因此很少的資源被調用,執行時間也會很短. (譯者按: truncate只在刪除全表適用,truncate是ddl不是dml)
(10) 盡量多使用commit:
只要有可能,在程序中盡量多使用commit, 這樣程序的性能得到提高,需求也會因為commit所釋放的資源而減少:
commit所釋放的資源:
a. 回滾段上用于恢復數據的信息.
b. 被程序語句獲得的鎖
c. redo log buffer 中的空間
d. oracle為管理上述3種資源中的內部花費
(11) 用where子句替換having子句:
避免使用having子句, having 只會在檢索出所有記錄之后才對結果集進行過濾. 這個處理需要排序,總計等操作. 假如能通過where子句限制記錄的數目,那就能減少這方面的開銷. (非oracle中)on、where、having這三個都可以加條件的子句中,on是最先執行,where次之,having最后,因為on是先把不 符合條件的記錄過濾后才進行統計,它就可以減少中間運算要處理的數據,按理說應該速度是最快的,where也應該比having快點的,因為它過濾數據后 才進行sum,在兩個表聯接時才用on的,所以在一個表的時候,就剩下where跟having比較了。在這單表查詢統計的情況下,假如要過濾的條件沒有涉及到要計算字段,那它們的結果是一樣的,只是where可以使用rushmore技術,而having就不能,在速度上后者要慢假如要涉及到計算的字 段,就表示在沒計算之前,這個字段的值是不確定的,根據上篇寫的工作流程,where的作用時間是在計算之前就完成的,而having就是在計算后才起作 用的,所以在這種情況下,兩者的結果會不同。在多表聯接查詢時,on比where更早起作用。系統首先根據各個表之間的聯接條件,把多個表合成一個臨時表 后,再由where進行過濾,然后再計算,計算完后再由having進行過濾。由此可見,要想過濾條件起到正確的作用,首先要明白這個條件應該在什么時候起作用,然后再決定放在那里
(12) 減少對表的查詢:
在含有子查詢的sql語句中,要非凡注重減少對表的查詢.例子:
select tab_name from tables where (tab_name,db_ver) = ( select
tab_name,db_ver from tab_columns where version = 604)
(13) 通過內部函數提高sql效率.:
復雜的sql往往犧牲了執行效率. 能夠把握上面的運用函數解決問題的方法在實際工作中是非常有意義的
(14) 使用表的別名(alias):
當在sql語句中連接多個表時, 請使用表的別名并把別名前綴于每個column上.這樣一來,就可以減少解析的時間并減少那些由column歧義引起的語法錯誤.
(15) 用exists替代in、用not exists替代not in:
在許多基于基礎表的查詢中,為了滿足一個條件,往往需要對另一個表進行聯接.在這種情況下, 使用exists(或not exists)通常將提高查詢的效率. 在子查詢中,not in子句將執行一個內部的排序和合并. 無論在哪種情況下,not in都是最低效的 (因為它對子查詢中的表執行了一個全表遍歷). 為了避免使用not in ,我們可以把它改寫成外連接(outer joins)或not exists.
例子:
(高效)select * from emp (基礎表) where empno > 0 and exists (select ‘x' from dept where dept.deptno = emp.deptno and loc = ‘melb')
(低效)select * from emp (基礎表) where empno > 0 and deptno in(select deptno from dept where loc = ‘melb')
(16) 識別'低效執行'的sql語句:
雖然目前各種關于sql優化的圖形化工具層出不窮,但是寫出自己的sql工具來解決問題始終是一個最好的方法:
select executions , disk_reads, buffer_gets,
round((buffer_gets-disk_reads)/buffer_gets,2) hit_radio,
round(disk_reads/executions,2) reads_per_run,
sql_text
from v$sqlarea
where executions>0
and buffer_gets > 0
and (buffer_gets-disk_reads)/buffer_gets < 0.8
order by 4 desc;
(17) 用索引提高效率:
索引是表的一個概念部分,用來提高檢索數據的效率,oracle使用了一個復雜的自平衡b-tree結構. 通常,通過索引查詢數據比全表掃描要快. 當oracle找出執行查詢和update語句的最佳路徑時, oracle優化器將使用索引. 同樣在聯結多個表時使用索引也可以提高效率. 另一個使用索引的好處是,它提供了主鍵(primary key)的唯一性驗證.。那些long或long raw數據類型, 你可以索引幾乎所有的列. 通常, 在大型表中使用索引非凡有效. 當然,你也會發現, 在掃描小表時,使用索引同樣能提高效率. 雖然使用索引能得到查詢效率的提高,但是我們也必須注重到它的代價. 索引需要空間來存儲,也需要定期維護, 每當有記錄在表中增減或索引列被修改時, 索引本身也會被修改. 這意味著每條記錄的insert , delete , update將為此多付出4 , 5 次的磁盤i/o . 因為索引需要額外的存儲空間和處理,那些不必要的索引反而會使查詢反應時間變慢.。定期的重構索引是有必要的.:
alter index <indexname> rebuild <tablespacename>
18) 用exists替換distinct:
當提交一個包含一對多表信息(比如部門表和雇員表)的查詢時,避免在select子句中使用distinct. 一般可以考慮用exist替換, exists 使查詢更為迅速,因為rdbms核心模塊將在子查詢的條件一旦滿足后,連忙返回結果. 例子:
(低效):
select distinct dept_no,dept_name from dept d , emp e
where d.dept_no = e.dept_no
(高效):
select dept_no,dept_name from dept d where exists ( select ‘x'
from emp e where e.dept_no = d.dept_no);
(19) sql語句用大寫的;因為oracle總是先解析sql語句,把小寫的字母轉換成大寫的再執行
(20) 在java代碼中盡量少用連接符“+”連接字符串!
(21) 避免在索引列上使用not 通常,
我們要避免在索引列上使用not, not會產生在和在索引列上使用函數相同的影響. 當oracle”碰到”not,他就會停止使用索引轉而執行全表掃描.
(22) 避免在索引列上使用計算.
where子句中,假如索引列是函數的一部分.優化器將不使用索引而使用全表掃描.
舉例:
低效:
select … from dept where sal * 12 > 25000;
高效:
select … from dept where sal > 25000/12;
(23) 用>=替代>
高效:
select * from emp where deptno >=4
低效:
select * from emp where deptno >3
兩者的區別在于, 前者dbms將直接跳到第一個dept等于4的記錄而后者將首先定位到deptno=3的記錄并且向前掃描到第一個dept大于3的記錄.
(24) 用union替換or (適用于索引列)
通常情況下, 用union替換where子句中的or將會起到較好的效果. 對索引列使用or將造成全表掃描. 注重, 以上規則只針對多個索引列有效. 假如有column沒有被索引, 查詢效率可能會因為你沒有選擇or而降低. 在下面的例子中, loc_id 和region上都建有索引.
高效:
select loc_id , loc_desc , region
from location
where loc_id = 10
union
select loc_id , loc_desc , region
from location
where region = “melbourne”
低效:
select loc_id , loc_desc , region
from location
where loc_id = 10 or region = “melbourne”
假如你堅持要用or, 那就需要返回記錄最少的索引列寫在最前面.
(25) 用in來替換or
這是一條簡單易記的規則,但是實際的執行效果還須檢驗,在oracle8i下,兩者的執行路徑似乎是相同的.
低效:
select…. from location where loc_id = 10 or loc_id = 20 or loc_id = 30
高效
select… from location where loc_in in (10,20,30);
(26) 避免在索引列上使用is null和is not null
避免在索引中使用任何可以為空的列,oracle將無法使用該索引.對于單列索引,假如列包含空值,索引中將不存在此記錄. 對于復合索引,假如每個列都為空,索引中同樣不存在此記錄. 假如至少有一個列不為空,則記錄存在于索引中.舉例: 假如唯一性索引建立在表的a列和b列上, 并且表中存在一條記錄的a,b值為(123,null) , oracle將不接受下一條具有相同a,b值(123,null)的記錄(插入). 然而假如所有的索引列都為空,oracle將認為整個鍵值為空而空不等于空. 因此你可以插入1000 條具有相同鍵值的記錄,當然它們都是空! 因為空值不存在于索引列中,所以where子句中對索引列進行空值比較將使oracle停用該索引.
低效: (索引失效)
select … from department where dept_code is not null;
高效: (索引有效)
select … from department where dept_code >=0;
(27) 總是使用索引的第一個列:
假如索引是建立在多個列上, 只有在它的第一個列(leading column)被where子句引用時,優化器才會選擇使用該索引. 這也是一條簡單而重要的規則,當僅引用索引的第二個列時,優化器使用了全表掃描而忽略了索引
28) 用union-all 替換union ( 假如有可能的話):
當sql 語句需要union兩個查詢結果集合時,這兩個結果集合會以union-all的方式被合并, 然后在輸出最終結果前進行排序. 假如用union all替代union, 這樣排序就不是必要了. 效率就會因此得到提高. 需要注重的是,union all 將重復輸出兩個結果集合中相同記錄. 因此各位還是要從業務需求分析使用union all的可行性. union 將對結果集合排序,這個操作會使用到sort_area_size這塊內存. 對于這塊內存的優化也是相當重要的. 下面的sql可以用來查詢排序的消耗量
低效:
select acct_num, balance_amt
from debit_transactions
where tran_date = '31-dec-95'
union
select acct_num, balance_amt
from debit_transactions
where tran_date = '31-dec-95'
高效:
select acct_num, balance_amt
from debit_transactions
where tran_date = '31-dec-95'
union all
select acct_num, balance_amt
from debit_transactions
where tran_date = '31-dec-95'
(29) 用where替代order by:
order by 子句只在兩種嚴格的條件下使用索引.
order by中所有的列必須包含在相同的索引中并保持在索引中的排列順序.
order by中所有的列必須定義為非空.
where子句使用的索引和order by子句中所使用的索引不能并列.
例如:
表dept包含以下列:
dept_code pk not null
dept_desc not null
dept_type null
低效: (索引不被使用)
select dept_code from dept order by dept_type
高效: (使用索引)
select dept_code from dept where dept_type > 0
(30) 避免改變索引列的類型.:
當比較不同數據類型的數據時, oracle自動對列進行簡單的類型轉換.
假設 empno是一個數值類型的索引列.
select … from emp where empno = ‘123'
實際上,經過oracle類型轉換, 語句轉化為:
select … from emp where empno = to_number(‘123')
幸運的是,類型轉換沒有發生在索引列上,索引的用途沒有被改變.
現在,假設emp_type是一個字符類型的索引列.
select … from emp where emp_type = 123
這個語句被oracle轉換為:
select … from emp whereto_number(emp_type)=123
因為內部發生的類型轉換, 這個索引將不會被用到! 為了避免oracle對你的sql進行隱式的類型轉換, 最好把類型轉換用顯式表現出來. 注重當字符和數值比較時, oracle會優先轉換數值類型到字符類型
(31) 需要當心的where子句:
某些select 語句中的where子句不使用索引. 這里有一些例子.
在下面的例子里, (1)‘!=' 將不使用索引. 記住, 索引只能告訴你什么存在于表中, 而不能告訴你什么不存在于表中. (2) ‘ ¦ ¦'是字符連接函數. 就象其他函數那樣, 停用了索引. (3) ‘+'是數學函數. 就象其他數學函數那樣, 停用了索引. (4)相同的索引列不能互相比較,這將會啟用全表掃描.
(32) a. 假如檢索數據量超過30%的表中記錄數.使用索引將沒有顯著的效率提高.
b. 在特定情況下, 使用索引也許會比全表掃描慢, 但這是同一個數量級上的區別. 而通常情況下,使用索引比全表掃描要塊幾倍乃至幾千倍!
(33) 避免使用耗費資源的操作:
帶有distinct,union,minus,intersect,order by的sql語句會啟動sql引擎
執行耗費資源的排序(sort)功能. distinct需要一次排序操作, 而其他的至少需要執行兩次排序. 通常, 帶有union, minus , intersect的sql語句都可以用其他方式重寫. 假如你的數據庫的sort_area_size調配得好, 使用union , minus, intersect也是可以考慮的, 究竟它們的可讀性很強
(34) 優化group by:
提高group by 語句的效率, 可以通過將不需要的記錄在group by 之前過濾掉.下面兩個查詢返回相同結果但第二個明顯就快了許多.
低效:
select job , avg(sal)
from emp
group by job
having job = ‘president'
or job = ‘manager'
高效:
select job , avg(sal)
from emp
where job = ‘president'
or job = ‘manager'
group by job
====================================
====================================
假如你正在負責一個基于sql server的項目,或者你剛剛接觸sql server,你都有可能要面臨一些數據庫性能的問題,這篇文章會為你提供一些有用的指導(其中大多數也可以用于其它的dbms)。
在這里,我不打算介紹使用sql server的竅門,也不能提供一個包治百病的方案,我所做的是總結一些經驗----關于如何形成一個好的設計。這些經驗來自我過去幾年中經受的教訓,一直來,我看到許多同樣的設計錯誤被一次又一次的重復。
一、了解你用的工具
不要輕視這一點,這是我在這篇文章中講述的最要害的一條。也許你也看到有很多的sql server程序員沒有把握全部的t-sql命令和sql server提供的那些有用的工具。
“什么?我要浪費一個月的時間來學習那些我永遠也不會用到的sql命令???”,你也許會這樣說。對的,你不需要這樣做。但是你應該用一個周末瀏覽所有的 t-sql命令。在這里,你的任務是了解,將來,當你設計一個查詢時,你會記起來:“對了,這里有一個命令可以完全實現我需要的功能”,于是,到msdn 查看這個命令的確切語法。
二、不要使用游標
讓我再重復一遍:不要使用游標。假如你想破壞整個系統的性能的話,它們倒是你最有效的首選辦法。大多數的初學者都使用游標,而沒有意識到它們對性能造成的影響。它們占用內存,還用它們那些不可思議的方式鎖定表,另外,它們簡直就像蝸牛。而最糟糕的是,它們可以使你的dba所能做的一切性能優化等于沒做。不 知你是否知道每執行一次fetch就等于執行一次select命令?這意味著假如你的游標有10000條記錄,它將執行10000次select!假如你 使用一組select、update或者delete來完成相應的工作,那將有效率的多。
初學者一般認為使用游標是一種比較熟知和舒適的編程方式,可很不幸,這會導致糟糕的性能。顯然,sql的總體目的是你要實現什么,而不是怎樣實現。
我曾經用t-sql重寫了一個基于游標的存儲過程,那個表只有100,000條記錄,原來的存儲過程用了40分鐘才執行完畢,而新的存儲過程只用了10秒鐘。在這里,我想你應該可以看到一個不稱職的程序員究竟在干了什么!!!
我們可以寫一個小程序來取得和處理數據并且更新數據庫,這樣做有時會更有效。記住:對于循環,t-sql無能為力。
我再重新提醒一下:使用游標沒有好處。除了dba的工作外,我從來沒有看到過使用游標可以有效的完成任何工作。
三、規范化你的數據表
為什么不規范化數據庫?大概有兩個借口:出于性能的考慮和純粹因為懶惰。至于第二點,你遲早得為此付出代價。而關于性能的問題,你不需要優化根本就不慢的東西。我經常看到一些程序員“反規范化”數據庫,他們的理由是“原來的設計太慢了”,可結果卻經常是他們讓系統更慢了。dbms被設計用來處理規范數據庫 的,因此,記住:按照規范化的要求設計數據庫。
四、不要使用select *
這點不太輕易做到,我太了解了,因為我自己就經常這樣干。可是,假如在select中指定你所需要的列,那將會帶來以下的好處:
1 減少內存耗費和網絡的帶寬
2 你可以得到更安全的設計
3 給查詢優化器機會從索引讀取所有需要的列
五、了解你將要對數據進行的操作
為你的數據庫創建一個健壯的索引,那可是功德一件。可要做到這一點簡直就是一門藝術。每當你為一個表添加一個索引,select會更快了,可insert 和delete卻大大的變慢了,因為創建了維護索引需要許多額外的工作。顯然,這里問題的要害是:你要對這張表進行什么樣的操作。這個問題不太好把握,非凡是涉及delete和update時,因為這些語句經常在where部分包含select命令。
六、不要給“性別”列創建索引
首先,我們必須了解索引是如何加速對表的訪問的。你可以將索引理解為基于一定的標準上對表進行劃分的一種方式。假如你給類似于“性別”這樣的列創建了一個 索引,你僅僅是將表劃分為兩部分:男和女。你在處理一個有1,000,000條記錄的表,這樣的劃分有什么意義?記住:維護索引是比較費時的。當你設計索 引時,請遵循這樣的規則:根據列可能包含不同內容的數目從多到少排列,比如:姓名+省份+性別。
七、使用事務
請使用事務,非凡是當查詢比較耗時。假如系統出現問題,這樣做會救你一命的。一般有些經驗的程序員都有體會-----你經常會碰到一些不可預料的情況會導致存儲過程崩潰。
八、小心死鎖
按照一定的次序來訪問你的表。假如你先鎖住表a,再鎖住表b,那么在所有的存儲過程中都要按照這個順序來鎖定它們。假如你(不經意的)某個存儲過程中先鎖定表b,再鎖定表a,這可能就會導致一個死鎖。假如鎖定順序沒有被預先具體的設計好,死鎖是不太輕易被發現的。
九、不要打開大的數據集
一個經常被提出的問題是:我怎樣才能迅速的將100000條記錄添加到combobox中?這是不對的,你不能也不需要這樣做。很簡單,你的用戶要瀏覽 100000條記錄才能找到需要的記錄,他一定會詛咒你的。在這里,你需要的是一個更好的ui,你需要為你的用戶顯示不超過100或200條記錄。
十、不要使用服務器端游標
與服務器端游標比起來,客戶端游標可以減少服務器和網絡的系統開銷,并且還減少鎖定時間。
十一、使用參數查詢
有時,我在csdn技術論壇看到類似這樣的問題:“select * from a where a.id='a'b,因為單引號查詢發生異常,我該怎么辦?”,而普遍的回答是:用兩個單引號代替單引號。這是錯誤的。這樣治標不治本,因為你還會在其他 一些字符上碰到這樣的問題,更何況這樣會導致嚴重的bug,除此以外,這樣做還會使sql server的緩沖系統無法發揮應有的作用。使用參數查詢,釜底抽薪,這些問題統統不存在了。
十二、在程序編碼時使用大數據量的數據庫
程序員在開發中使用的測試數據庫一般數據量都不大,可經常的是最終用戶的數據量都很大。我們通常的做法是不對的,原因很簡單:現在硬盤不是很貴,可為什么性能問題卻要等到已經無可挽回的時候才被注重呢?
十三、不要使用insert導入大批的數據
請不要這樣做,除非那是必須的。使用uts或者bcp,這樣你可以一舉而兼得靈活性和速度。
十四、注重超時問題
查詢數據庫時,一般數據庫的缺省都比較小,比如15秒或者30秒。而有些查詢運行時間要比這長,非凡是當數據庫的數據量不斷變大時。
十五、不要忽略同時修改同一記錄的問題
有時候,兩個用戶會同時修改同一記錄,這樣,后一個修改者修改了前一個修改者的操作,某些更新就會丟失。處理這種情況不是很難:創建一個timestamp字段,在寫入前檢查它,假如答應,就合并修改,假如存在沖突,提示用戶。
十六、在細節表中插入紀錄時,不要在主表執行select max(id)
這是一個普遍的錯誤,當兩個用戶在同一時間插入數據時,這會導致錯誤。你可以使用scope_identity,ident_current和identity。假如可能,不要使用identity,因為在有觸發器的情況下,它會引起一些問題(詳見這里的討論)。
十七、避免將列設為nullable
假如可能的話,你應該避免將列設為nullable。系統會為nullable列的每一行分配一個額外的字節,查詢時會帶來更多的系統開銷。另外,將列設為nullable使編碼變得復雜,因為每一次訪問這些列時都必須先進行檢查。
我并不是說nulls是麻煩的根源,盡管有些人這樣認為。我認為假如你的業務規則中答應“空數據”,那么,將列設為nullable有時會發揮很好的作用,但是,假如在類似下面的情況中使用nullable,那簡直就是自討苦吃。
customername1
customeraddress1
customeremail1
customername2
customeraddress2
customeremail3
customername1
customeraddress2
customeremail3
假如出現這種情況,你需要規范化你的表了。
十八、盡量不要使用text數據類型
除非你使用text處理一個很大的數據,否則不要使用它。因為它不易于查詢,速度慢,用的不好還會浪費大量的空間。一般的,varchar可以更好的處理你的數據。
十九、盡量不要使用臨時表
盡量不要使用臨時表,除非你必須這樣做。一般使用子查詢可以代替臨時表。使用臨時表會帶來系統開銷,假如你是用com+進行編程,它還會給你帶來很大的麻 煩,因為com+使用數據庫連接池而臨時表卻自始至終都存在。sql server提供了一些替代方案,比如table數據類型。
二十、學會分析查詢
sql server查詢分析器是你的好伙伴,通過它你可以了解查詢和索引是如何影響性能的。
二十一、使用參照完整性
定義主健、唯一性約束和外鍵,這樣做可以節約大量的時間。
================================================================================================
【it168 技術文檔】任何事情都有它的源頭,要解決問題,也得從源頭開始,影響oracle性能的源頭非常多,主要包括如下方面:數據庫的硬件配置:cpu、內存、網絡條件。
1. cpu:在任何機器中cpu的數據處理能力往往是衡量計算機性能的一個標志,并且oracle是一個提供并行能力的數據庫系統,在cpu方面的要求就更高了,假如運行隊列數目超過了cpu處理的數目,性能就會下降,我們要解決的問題就是要適當增加cpu的數量了,當然我們還可以將需要許多資源的進程kill掉;
2. 內存:衡量機器性能的另外一個指標就是內存的多少了,在oracle中內存和我們在建數據庫中的交換區進行數據的交換,讀數據時,磁盤i/o必須等待物理i/o操作完成,在出現oracle的內存瓶頸時,我們第一個要考慮的是增加內存,由于i/o的響應時間是影響oracle性能的主要參數,我將在這方面進行具體的講解
3. 網絡條件:net*sql負責數據在網絡上的來往,大量的sql會令網絡速度變慢。比如10m的網卡和100的網卡就對net*sql有非常明顯的影響,還有交換機、集線器等等網絡設備的性能對網絡的影響很明顯,建議在任何網絡中不要試圖用3個集線器來將網段互聯。
os參數的設置
下表給出了os的參數設置及說明,dba可以根據實際需要對這些參數進行設置
內核參數名
說明
bufpages
對buffer空間不按靜態分配,采用動態分配,使bufpages值隨nbuf一起對buffer空間進行動態分配。
create_fastlinks
對hfs文件系統答應快速符號鏈接
dbc_max_pct
加大最大動態buffer空間所占物理內存的百分比,以滿足應用系統的讀寫命中率的需要。
dbc_min_pct
設置最小動態buffer空間所占物理內存的百分比
desfree
提高開始交換操作的最低空閑內存下限,保障系統的穩定性,防止出現不可預見的系統崩潰(crash)。
fs_async
答應進行磁盤異步操作,提高cpu和磁盤的利用率
lotsfree
提高系統解除換頁操作的空閑內存的上限值,保證應用程序有足夠的可用內存空間。
maxdsiz
針對系統數據量大的特點,加大最大數據段的大小,保證應用的需要。(32位)
maxdsiz_64bit
maximum process data segment size for 64_bit
maxssiz
加大最大堆棧段的大小。(32_bit)
maxssiz_64bit
加大最大堆棧段的大小。(64_bit)
maxtsiz
提高最大代碼段大小,滿足應用要求
maxtsiz_64bit
原值過大,應調小
minfree
提高停止交換操作的自由內存的上限
shmem
答應進行內存共享,以提高內存的利用率
shmmax
設置最大共享內存段的大小,完全滿足目前的需要
timeslice
由于系統的瓶頸主要反映在磁盤i/o上,因此 降低時間片的大小,一方面可避免因磁盤i/o不暢造成cpu的等待,從而提高了cpu的綜合利用率。另一方面減少了進程的阻塞量。
unlockable_mem
提高了不可鎖內存的大小,使可用于換頁和交換的內存空間擴大,用以滿足系統對內存管理的要求。
用戶sql質量
以上講的都是硬件方面的東西,在條件有限的條件下,我們可以調整應用程序的sql質量:
1. 不要進行全表掃描(full table scan):全表掃描導致大量的i/o
2. 盡量建好和使用好索引:建索引也是有講究的,在建索引時,也不是索引越多越好,當一個表的索引達到4個以上時,oracle的性能可能還是改善不了,因為oltp系統每表超過5個索引即會降低性能,而且在一個sql 中, oracle 從不能使用超過 5個索引;當我們用到group by和order by時,oracle就會自動對數據進行排序,而oracle在init.ora中決定了sort_area_size區的大小,當排序不能在我們給定的排序區完成時,oracle就會在磁盤中進行排序,也就是我們講的臨時表空間中排序, 過多的磁盤排序將會令 free buffer waits 的值變高,而這個區間并不只是用于排序的,對于開發人員我提出如下忠告:
1)、select,update,delete 語句中的子查詢應當有規律地查找少于20%的表行.假如一個語句查找的行數超過總行數的20%,它將不能通過使用索引獲得性能上的提高.
2)、索引可能產生碎片,因為記錄從表中刪除時,相應也從表的索引中刪除.表釋放的空間可以再用,而索引釋放的空間卻不能再用.頻繁進行刪除操作的被索引的表,應當階段性地重建索引,以避免在索引中造成空間碎片,影響性能.在許可的條件下,也可以階段性地truncate表,truncate命令刪除表中所有記錄,也刪除索引碎片.
3)、在使用索引時一定要按索引對應字段的順序進行引用。
4)、用(+)比用not in更有效率。
降低oracle的競爭:
先講幾個oracle的幾個參數,這幾個參數關系到oracle的競爭:
1)、freelists 和 freelist 組:他們負責oracle的處理表和索引的空間管理;
2)、pctfree 及 pctused:該參數決定了freelists 和 freelist 組的行為,pctfree 和pctused 參數的唯一目的就是為了控制塊如何在 freelists 中進出
設置好pctfree 及 pctused對塊在freelists的移走和讀取很重要。
其他參數的設置
1)、包括sga區(系統全局區):系統全局區(sga)是一個分配給oracle 的包含一個 oracle 實例的數據庫的控制信息內存段。
主要包括數據庫高速緩存(the database buffer cache),
重演日志緩存(the redo log buffer),
共享池(the shared pool),
數據字典緩存(the data dictionary cache)以及其它各方面的信息
2)、db_block_buffers(數據高速緩沖區)訪問過的數據都放在這一片內存區域,該參數越大,oracle在內存中找到相同數據的可能性就越大,也即加快了查詢速度。
3)、share_pool_size (sql共享緩沖池):該參數是庫高速緩存和數據字典的高速緩存。
4)、log_buffer (重演日志緩沖區)
5)、sort_area_size(排序區)
6)、processes (同時連接的進程數)
7)、db_block_size (數據庫塊大小):oracle默認塊為2kb,太小了,因為假如我們有一個8kb的數據,則2kb塊的數據庫要讀4次盤,才能讀完,而8kb塊的數據庫只要1次就讀完了,大大減少了i/o操作。數據庫安裝完成后,就不能再改變db_block_size的值了,只能重新建立數據庫并且建庫時,要選擇手工安裝數據庫。
8)、open_links (同時打開的鏈接數)
9)、dml_locks
10)、open_cursors (打開光標數)
11)、dbwr_io_slaves (后臺寫進程數)
6. in和exists
有時候會將一列和一系列值相比較。最簡單的辦法就是在where子句中使用子查詢。在where子句中可以使用兩種格式的子查詢。
第一種格式是使用in操作符:
... where column in(select * from ... where ...);
第二種格式是使用exist操作符:
... where exists (select 'x' from ...where ...);