大龙的博客

常用链接

统计

最新评论

提高数据更新效率(UPDATE/INSERT) --- 转

有多种方法可以提高更新的效率.
简单说来:
1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.
2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.
3、创建一临时的大的表空间用来应对这些更新动作.
=========================================================================不同看法
如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度,
因为在更新是索引可以提高数据的查询速度,重建索引引起的速度降低影响不大。

ORACLE优化修改参数最多也只能把性能提高15%,大部分都是SQL语句的优化!


=========================================================================不同位置
update总体来说比insert要慢  
几点建议:  
  1、如果更新的数据量接近整个表,就不应该使用index而应该采用全表扫描  
  2、减少不必要的index,因为update表通常需要update index  
  3、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率  
   
  前年我也遇到类似的问题,300万纪录的一个表,每天要全表更新20次左右,最初通过cursor多进程(18个进程)更新,耗时30分钟,
  后来采用full+parallel   hint,耗时降低到3分钟左右。服务器是ibm   rs6000   s590,18个CPU,64GB内存。  
 
  另外,建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,
  从而降低CHAINED_ROWS。 


=========================================================================不同位置
如果有足夠CPU以及I/O 的話....
ALTER SESSION ENABLE PARALLEL DML;

INSERT /*+ PARALLEL(tableA, 2) */
INTO tableA NOLOGGING
SELECT * FROM tableB;

當中的 2 是多少個進程同時執行. 可應不同情況加減. 


=========================================================================不同位置
2比较可行的方法
方法一:使用oracle中包含在注释中的提示信息
insert /*+append*/ into ...nologing
select * from ...

方法二:使用批量拷贝方法
set arraysize 20
set copycommit 5000
copy fromusername/password@oracle_nameappend table_name1
using select * from table_name2;

实际效果,方法一要比方法二速度还要快些

/*+append */ nologging 的方法不错.
bulk insert好像需要内容足够大才可以.

=========================================================================不同位置
set autocommit 100;----------每一百条记录提交一次
set transaction use rollback segment RBS1;
      INSERT INTO table1 NOLOGGING
         SELECT * FROM table2;
     commit;

改变表的存储策略:
ALTER TABLE aaaa1
    PCTFREE 30
    PCTUSED 60;
---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点

=========================================================================不同位置
再提供一种方法,俺曾经用过的:
alter session set sort_area_size=100000000;
insert into tableb select * from tablea;
commit;


=========================================================================总结
提高更新速度总结:
1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.
    缺点:
        如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度。
        如果表比较庞大,停索引后重键需要花比较长的时间
    优点:
        如果更新的数据量接近整个表,此方法比较好。
       
2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.
3、创建一临时的大的表空间用来应对这些更新动作.
4、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率
    ALTER SESSION ENABLE PARALLEL DML;

    INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING
       SELECT * FROM tableB;
    當中的 2 是多少個進程同時執行. 可應不同情況加減. 

5、建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,从而降低CHAINED_ROWS
    ALTER TABLE aaaa1
       PCTFREE 30
       PCTUSED 60;
    ---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点

6、oracle提示及批量拷贝
    方法一:使用oracle中包含在注释中的提示信息
        insert /*+append*/ into ...nologing
           select * from ...

    方法二:使用批量拷贝方法
        set arraysize 20
        set copycommit 5000
        copy fromusername/password@oracle_nameappend table_name1
        using select * from table_name2;

    实际效果,方法一要比方法二速度还要快些

7、加大排序缓冲区
    alter session set sort_area_size=100000000;
    insert into tableb select * from tablea;
    commit;

posted on 2013-12-10 19:27 大龙 阅读(651) 评论(0)  编辑 收藏 引用


只有注册用户登录后才能发表评论。
【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理