﻿<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:trackback="http://madskills.com/public/xml/rss/module/trackback/" xmlns:wfw="http://wellformedweb.org/CommentAPI/" xmlns:slash="http://purl.org/rss/1.0/modules/slash/"><channel><title>C++博客-无法递归的五点半-随笔分类-数据库编程</title><link>http://www.cppblog.com/lambdacpp/category/1788.html</link><description>for_each(day.begin(),day.end(),bind2nd(Add(),me))</description><language>zh-cn</language><lastBuildDate>Fri, 23 May 2008 02:50:19 GMT</lastBuildDate><pubDate>Fri, 23 May 2008 02:50:19 GMT</pubDate><ttl>60</ttl><item><title>MySQL Proxy</title><link>http://www.cppblog.com/lambdacpp/archive/2007/10/18/34555.html</link><dc:creator>五点半</dc:creator><author>五点半</author><pubDate>Thu, 18 Oct 2007 08:29:00 GMT</pubDate><guid>http://www.cppblog.com/lambdacpp/archive/2007/10/18/34555.html</guid><wfw:comment>http://www.cppblog.com/lambdacpp/comments/34555.html</wfw:comment><comments>http://www.cppblog.com/lambdacpp/archive/2007/10/18/34555.html#Feedback</comments><slash:comments>3</slash:comments><wfw:commentRss>http://www.cppblog.com/lambdacpp/comments/commentRss/34555.html</wfw:commentRss><trackback:ping>http://www.cppblog.com/lambdacpp/services/trackbacks/34555.html</trackback:ping><description><![CDATA[&nbsp;&nbsp;&nbsp; 大型的数据库厂商在数据可用性上下足了功夫一会儿负责均衡，一会儿分布式数据库，不时还发明一些术语吓唬用户。而开源社区总是让人感到创意十足。夹在数据库和用户端之间的中间层产品大家一定见得多了，今年6月发布的MySQL Proxy名字看上去一般般，但其功能确很Cool。<br>&nbsp;&nbsp;&nbsp; MySQL Proxy 可以作负载均衡，可以艰苦，分析，客户端和服务器之间的通讯。最Cool的是可以使用嵌入到系统中的Lua。呵呵，现在不来点脚本语言好像就不入流呢。最近InfoQ上一篇文章《用MySQL Proxy实现读写分离》可能是时下现实的一种应用。原理很简单看看图就一目了然：<br><img alt=""  src="http://jan.kneschke.de/projects/mysql/mysql-proxy-types-trx-splitting.png"><br><img src ="http://www.cppblog.com/lambdacpp/aggbug/34555.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://www.cppblog.com/lambdacpp/" target="_blank">五点半</a> 2007-10-18 16:29 <a href="http://www.cppblog.com/lambdacpp/archive/2007/10/18/34555.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item><item><title>[转]postgres FAQ</title><link>http://www.cppblog.com/lambdacpp/archive/2006/05/31/7910.html</link><dc:creator>五点半</dc:creator><author>五点半</author><pubDate>Tue, 30 May 2006 16:28:00 GMT</pubDate><guid>http://www.cppblog.com/lambdacpp/archive/2006/05/31/7910.html</guid><wfw:comment>http://www.cppblog.com/lambdacpp/comments/7910.html</wfw:comment><comments>http://www.cppblog.com/lambdacpp/archive/2006/05/31/7910.html#Feedback</comments><slash:comments>1</slash:comments><wfw:commentRss>http://www.cppblog.com/lambdacpp/comments/commentRss/7910.html</wfw:commentRss><trackback:ping>http://www.cppblog.com/lambdacpp/services/trackbacks/7910.html</trackback:ping><description><![CDATA[以下内容来自:http://www.huihoo.com/postgresql/pgsql-faq.html<br /><br /><div><h2>操作问题</h2></div><h4><a name="4.1"></a>4.1)如何只选择一个查询结果的头几行？或是随机的一行？</h4><p>如果你只是要提取几行数据，并且你在执行查询中知道确切的行数，你可以使用LIMIT功能。 如果有一个索引与 <i>ORDER BY</i>中的条件匹配，PostgreSQL 可能就只处理要求的头几条记录， （否则将对整个查询进行处理直到生成需要的行）。如果在执行查询功能时不知道确切的记录数， 可使用游标(cursor)和FETCH功能。 </p><p>可使用以下方法提取一行随机记录的： </p><pre>		SELECT  cols<br />		FROM tab<br />		ORDER BY random()<br />		LIMIT 1 ;<br /></pre><h4><a name="4.2"></a>4.2)如何查看表、索引、数据库以及用户的定义？如何查看<i>psql</i>里用到的查询指令并显示它们？</h4><p>在<i>psql</i>中使用 \dt 命令来显示数据表的定义，要了解<i>psql</i>中的完整命令列表可使用\? ，另外，你也可以阅读 <i>psql</i> 的源代码 文件<i>pgsql/src/bin/psql/describe.c</i>，它包括为生成<i>psql</i>反斜杠命令的输出的所有 SQL 命令。你还可以带 <i>-E</i> 选项启动 <i>psql</i>， 这样它将打印出执行你在<i>psql</i>中所给出的命令的内部实际使用的SQL查询。PostgreSQL也提供了一个兼容SQL的INFORMATION SCHEMA接口， 你可以从这里获取关于数据库的信息。 </p><p>在系统中有一些以<i>pg_</i> 打头的系统表也描述了表的定义。 </p><p>使用 <i>psql -l</i> 指令可以列出所有的数据库。 </p><p>也可以浏览一下 <i>pgsql/src/tutorial/syscat.source</i>文件，它列举了很多可从数据库系统表中获取信息的SELECT语法。 </p><h4><a name="4.3"></a>4.3)如何更改一个字段的数据类型？</h4><p>在8.0版本里更改一个字段的数据类型很容易，可使用 ALTER TABLE ALTER COLUMN TYPE 。 </p><p>在以前的版本中，可以这样做： </p><pre>	BEGIN;<br />    ALTER TABLE tab ADD COLUMN new_col new_data_type;<br />    UPDATE tab SET new_col = CAST(old_col AS new_data_type);<br />    ALTER TABLE tab DROP COLUMN old_col;<br />    COMMIT;<br /></pre><p>你然后可以使用<i>VACUUM FULL tab </i>指令来使系统收回无效数据所占用的空间。 </p><h4><a name="4.4"></a>4.4)一行记录，一个表，一个库的最大尺寸是多少？</h4><p>下面是一些限制： </p><blockquote><table><tbody><tr><td>一个数据库最大尺寸？</td><td>无限制（已存在有 32TB 的数据库）</td></tr><tr><td>一个表的最大尺寸？</td><td>32 TB</td></tr><tr><td>一行记录的最大尺寸？</td><td>1.6 TB</td></tr><tr><td>一个字段的最大尺寸?</td><td>1 GB</td></tr><tr><td>一个表里最大行数？</td><td>无限制</td></tr><tr><td>一个表里最大列数？</td><td>250-1600 （与列类型有关）</td></tr><tr><td>一个表里的最大索引数量？</td><td>无限制</td></tr></tbody></table></blockquote><p>当然，实际上没有真正的无限制，还是要受可用磁盘空间、可用内存/交换区的制约。 事实上，当这些数值变得异常地大时，系统性能也会受很大影响。 </p><p>表的最大尺寸 32 TB 不需要操作系统对大文件的支持。大表用多个 1 GB 的文件存储，因此文件系统尺寸的限制是不重要的。 </p><p>如果缺省的块大小增长到 32K ，最大的表尺寸和最大列数还可以增加到四倍。 </p><h4><a name="4.5"></a>4.5)存储一个典型的文本文件里的数据需要多少磁盘空间？</h4><p>一个 Postgres 数据库（存储一个文本文件）所占用的空间最多可能需要相当于这个文本文件自身大小5倍的磁盘空间。 </p><p>例如，假设有一个 100,000 行的文件，每行有一个整数和一个文本描述。 假设文本串的平均长度为20字节。文本文件占用 2.8 MB。存放这些数据的 PostgreSQL 数据库文件大约是 6.4 MB: </p><pre>     32 字节: 每行的头（估计值）<br />     24 字节: 一个整数型字段和一个文本型字段<br />   +  4 字节: 页面内指向元组的指针<br />   ----------------------------------------<br />     60 字节每行<br /><br />   PostgreSQL 数据页的大小是 8192 字节 (8 KB)，则：<br /><br />   8192 字节每页<br />   -------------------   =  136 行/数据页（向下取整）<br />     60 字节每行<br /><br />   100000 数据行<br />   --------------------  =  735 数据页（向上取整）<br />      128 行每页<br /><br />   735 数据页 * 8192 字节/页  =  6,021,120 字节（6 MB）<br /></pre><p>索引不需要这么多的额外消耗，但也确实包括被索引的数据，因此它们也可能很大。 </p><p>空值<i>NULL</i>存放在位图中，因此占用很少的空间。 </p><h4><a name="4.6"></a>4.6)为什么我的查询很慢？为什么这些查询没有利用索引？</h4><p>并非每个查询都会自动使用索引。只有在表的大小超过一个最小值，并且查询只会选中表中较小比例的记录时才会采用索引。 这是因为索引扫描引起的随即磁盘存取可能比直接地读取表（顺序扫描）更慢。 </p><p>为了判断是否使用索引，PostgreSQL必须获得有关表的统计值。这些统计值可以使用 VACUUM ANALYZE，或 ANALYZE
获得。 使用统计值，优化器知道表中有多少行，就能够更好地判断是否利用索引。
统计值对确定优化的连接顺序和连接方法也很有用。在表的内容发生变化时，应定期进行统计值的更新收集。 </p><p>索引通常不用于 ORDER BY 或执行连接。对一个大表的一次顺序扫描，再做一个显式的排序通常比索引扫描要快。 </p><p>但是，在 LIMIT 和 ORDER BY 结合使用时经常会使用索引，因为这只会返回表的一小部分。 实际上，虽然 MAX() 和 MIN() 并不使用索引，通过对 ORDER BY 和 LLIMIT 使用索引取得最大值和最小值也是可以的： </p><pre>	SELECT col<br />	FROM tab<br />	ORDER BY col [ DESC ]<br />	LIMIT 1;<br /></pre><p>如果你确信PostgreSQL的优化器使用顺序扫描是不正确的，你可以使用<code><font face="新宋体">SET enable_seqscan TO 'off'</font></code>指令， 然后再次运行查询，你就可以看出使用一个索引扫描是否确实要快一些。 </p><p>当使用通配符操作，例如 <i>LIKE</i> 或 <i>~</i> 时，索引只能在特定的情况下使用： </p><ul><li>字符串的开始部分必须是普通字符串，也就是说： 
<ul><li><i>LIKE</i> 模式不能以 <i>%</i> 打头。 
</li><li><i>~</i> （正则表达式）模式必须以 <i>^</i> 打头。 </li></ul></li><li>字符串不能以匹配多个字符的模式类打头，例如 [a-e]。 

</li><li>大小写无关的查找，如 ILIKE 和 ~* 等不使用索引，但可以用 <a href="http://www.pgsqldb.org/faqs.FAQ_chinese.html#4.8">4.8</a> 节描述的函数索引。 
</li><li>在做 initdb 时必须采用缺省的本地设置 C locale，因为系统不可能知道在非C locale情况时下一个最大字符是什么。 在这种情况下，你可以创建一个特殊的<code><font face="新宋体">text_pattern_ops</font></code>索引来用于<small>LIKE</small>的索引。 </li></ul><p>在8.0之前的版本中，除非要查询的数据类型和索引的数据类型相匹配，否则索引经常是未被用到，特别是对int2,int8和数值型的索引。 </p><h4><a name="4.7"></a>4.7)我如何才能看到查询优化器是怎样评估处理我的查询？</h4><p>参考 <small>EXPLAIN</small> 手册页。 </p><h4><a name="4.8"></a>4.8)我怎样做正则表达式搜索和大小写无关的正则表达式查找？怎样利用索引进行大小写无关查找？</h4><p>操作符 <i>~ </i>处理正则表达式匹配，而 <i>~*</i> 处理大小写无关的正则表达式匹配。大写些无关的 LIKE 变种成为 ILIKE。 </p><p>大小写无关的等式比较通常写做： </p><pre>    SELECT *<br />    FROM tab<br />    WHERE lower(col) = 'abc';<br /></pre><p>这样将不会使用标准的索引。但是可以创建一个可被利用的函数索引: </p><pre>    CREATE INDEX tabindex ON tab (lower(col));<br /></pre><h4><a name="4.9"></a>4.9)在一个查询里，我怎样检测一个字段是否为 <i>NULL</i> ？我如何才能准确排序而不论某字段是否含 <i>NULL</i> 值？</h4><p>用 <small>IS NULL</small> 和 <small>IS NOT NULL</small> 测试这个字段，具体方法如下： </p><pre>   SELECT *<br />   FROM tab<br />   WHERE col IS NULL;<br /><br /></pre><p>为了能对含 <small>NULL</small>字段排序，可在 <small>ORDER BY</small> 条件中使用 <small>IS NULL</small>和 <small>IS NOT NULL</small> 修饰符，条件为真 <i>true</i> 将比条件为假<i>false</i> 排在前面，下面的例子就会将含 NULL 的记录排在结果的上面部分： </p><pre>   SELECT *<br />   FROM tab<br />   ORDER BY (col IS NOT NULL)<br /><br /></pre><h4><a name="4.10"></a>4.10)各种字符类型之间有什么不同？</h4><blockquote><table><tbody><tr><th>类型</th><th>内部名称</th><th>说明</th></tr><tr><td>VARCHAR(n)</td><td>varchar</td><td>指定了最大长度，变长字符串，不足定义长度的部分不补齐</td></tr><tr><td>CHAR(n)</td><td>bpchar</td><td>定长字符串，实际数据不足定义长度时，以空格补齐</td></tr><tr><td>TEXT</td><td>text</td><td>没有特别的上限限制（仅受行的最大长度限制）</td></tr><tr><td>BYTEA</td><td>bytea</td><td>变长字节序列（使用NULL也是允许的）</td></tr><tr><td>"char"</td><td>char</td><td>一个字符</td></tr></tbody></table></blockquote><p>在系统表和在一些错误信息里你将看到内部名称。 </p><p>上面所列的前四种类型是"varlena"（变长）类型（也就是说，开头的四个字节是长度，后面才是数据）。 于是实际占用的空间比声明的大小要多一些。 然而这些类型都可以被压缩存储，也可以用 TOAST 脱机存储，因此磁盘空间也可能比预想的要少。 </p><p><small>VARCHAR(n)</small> 在存储限制了最大长度的变长字符串是最好的。 <small>TEXT</small> 适用于存储最大可达 1G左右但未定义限制长度的字符串。 </p><p><small>CHAR(n)</small> 最适合于存储长度相同的字符串。 <small>CHAR(n)</small>会根据所给定的字段长度以空格补足（不足的字段内容）， 而 <small>VARCHAR(n)</small> 只存储所给定的数据内容。 <small>BYTEA</small> 用于存储二进制数据，尤其是包含 NULL 字节的值。这些类型具有相似的性能特性。 </p><h4><a name="4.11.1"></a>4.11.1)我怎样创建一个序列号/自动递增的字段？</h4><p>PostgreSQL 支持 SERIAL 数据类型。它在字段上自动创建一个序列和索引。例如： </p><pre>	CREATE TABLE person ( <br />		id   SERIAL, <br />		name TEXT <br />	);<br /></pre><p>会自动转换为： </p><pre>	CREATE SEQUENCE person_id_seq;<br />	CREATE TABLE person ( <br />		id   INT4 NOT NULL DEFAULT nextval('person_id_seq'),<br />		name TEXT<br />	);<br /></pre><p>参考 create_sequence 手册页获取关于序列的更多信息。 </p><h4><a name="4.11.2"></a>4.11.2)我如何获得一个插入的序列号的值？</h4><p>一种方法是在插入之前先用函数 nextval() 从序列对象里检索出下一个 SERIAL 值，然后再显式插入。使用 <a href="http://www.pgsqldb.org/faqs.FAQ_chinese.html#4.11.1">4.11.1</a> 里的例表，可用伪码这样描述： </p><pre>	new_id = execute("SELECT nextval('person_id_seq')");<br />	execute("INSERT INTO person (id, name) VALUES (new_id, 'Blaise Pascal')");<br /><br /></pre><p>这样还能在其他查询中使用存放在 new_id 里的新值（例如，作为 person 表的外键）。 注意自动创建的 SEQUENCE 对象的名称将会是 &lt;<i>table</i>&gt;_&lt;<i>serialcolumn</i>&gt;_<i>seq</i>， 这里 table 和 serialcolumn 分别是你的表的名称和你的 SERIAL 字段的名称。 </p><p>类似的，在 SERIAL 对象缺省插入后你可以用函数 currval() 检索刚赋值的 SERIAL 值，例如： </p><pre>	execute("INSERT INTO person (name) VALUES ('Blaise Pascal')");<br />	new_id = execute("SELECT currval('person_id_seq')");<br /></pre><h4><a name="4.11.3"></a>4.11.3)使用 <i>currval()</i> 会导致和其他用户的冲突情况（race condition）吗？</h4><p>不会。<i>currval()</i> 返回的是你本次会话进程所赋的值而不是所有用户的当前值。<br /></p><h4><a name="4.11.4"></a>4.11.4)为什么不在事务异常中止后重用序列号呢？为什么在序列号字段的取值中存在间断呢？</h4><p>为了提高并发性，序列号在需要的时候赋予正在运行的事务，并且在事务结束之前不进行锁定， 这就会导致异常中止的事务后，序列号会出现间隔。 </p><h4><br /><a name="4.12"></a>4.12)什么是 <small>OID</small> ？什么是 <small>CTID</small> ？</h4><p>PostgreSQL 里创建的每一行记录都会获得一个唯一的<small>OID</small>，除非在创建表时使用<small>WITHOUT OIDS</small>选项。 <small>OID</small>创建时会自动生成一个4字节的整数，所有 OID 在整个 PostgreSQL 中均是唯一的。 然而，它在超过40亿时将溢出， <small>OID</small>此后会出现重复。PostgreSQL 在它的内部系统表里使用 OID 在表之间建立联系。 </p><p>在用户的数据表中，最好是使用<small>SERIAl</small>来代替<small>OID</small> 因为<small>SERIAL</small>只是保证在单个表中数据是唯一的，这样它溢出的可能性就非常小了， <small>SERIAL8</small>可用来保存8字节的序列号字段。 </p><p><small>CTID</small> 用于标识带着数据块（地址）和（块内）偏移的特定的物理行。 <small>CTID</small> 在记录被更改或重载后发生改变。索引入口使用它们指向物理行。 </p><h4><a name="4.13"></a>4.13)为什么我收到错误信息“<i>ERROR: Memory exhausted in AllocSetAlloc()</i>”？</h4><p>这很可能是系统的虚拟内存用光了，或者内核对某些资源有较低的限制值。在启动 postmaster 之前试试下面的命令： </p><pre>	ulimit -d 262144<br />	limit datasize 256m<br /></pre><p>取决于你用的 shell，上面命令只有一条能成功，但是它将把你的进程数据段限制设得比较高，
因而也许能让查询完成。这条命令应用于当前进程，以及所有在这条命令运行后创建的子进程。
如果你是在运行SQL客户端时因为后台返回了太多的数据而出现问题，请在运行客户端之前执行上述命令。 </p><h4><a name="4.14"></a>4.14)我如何才能知道所运行的 PostgreSQL 的版本？</h4><p>从 psql 里，输入 <code><font face="新宋体">SELECT version();</font></code>指令。 </p><h4><a name="4.15"></a>4.15)我如何创建一个缺省值是当前时间的字段？</h4><p>使用 CURRENT_TIMESTAMP： </p><pre>	CREATE TABLE test (x int, modtime TIMESTAMP DEFAULT CURRENT_TIMESTAMP );<br /></pre><h4><a name="4.16"></a>4.16)我怎样进行 outer join （外连接）？</h4><p>PostgreSQL 采用标准的 SQL 语法支持外连接。这里是两个例子： </p><pre>	SELECT *<br />	FROM t1 LEFT OUTER JOIN t2 ON (t1.col = t2.col);<br /><br /></pre><p>或是</p><pre>	SELECT *<br />	FROM t1 LEFT OUTER JOIN t2 USING (col);<br /></pre><p>这两个等价的查询在 t1.col 和 t2.col 上做连接，并且返回 t1 中所有未连接的行（那些在 t2 中没有匹配的行）。
右[外]连接(RIGHT OUTER JOIN)将返回 t2 中未连接的行。 完全外连接（FULL OUTER JOIN）将返回 t1 和
t2 中未连接的行。 关键字 OUTER 在左[外]连接、右[外]连接和完全[外]连接中是可选的，普通连接被称为内连接（INNER
JOIN）。 </p><h4><a name="4.17"></a>4.17)如何使用涉及多个数据库的查询？</h4><p>没有办法查询当前数据库之外的数据库。 因为 PostgreSQL 要加载与数据库相关的系统目录（系统表），因此跨数据库的查询如何执行是不定的。 </p><p>附加增值模块contrib/dblink允许采用函数调用实现跨库查询。当然用户也可以同时连接到不同的数据库执行查询然后在客户端合并结果。 </p><h4><a name="4.18"></a>4.18)如何让函数返回多行或多列？</h4><p>在函数中返回数据记录集的功能是很容易使用的，详情参见： <a href="http://techdocs.postgresql.org/guides/SetReturningFunctions">http://techdocs.postgresql.org/guides/SetReturningFunctions</a></p><h4><a name="4.19"></a>4.19)为什么我在使用PL/PgSQL函数存取临时表时会收到错误信息“relation with OID ##### does not exist”？</h4><p>PL/PgSQL会缓存函数的内容，由此带来的一个不好的副作用是若一个 PL/PgSQL 函数访问了一个临时表，然后该表被删除并重建了，则再次调用该函数将失败， 因为缓存的函数内容仍然指向旧的临时表。解决的方法是在 PL/PgSQL 中用<small>EXECUTE</small> 对临时表进行访问。这样会保证查询在执行前总会被重新解析。 </p><h4><a name="4.27"></a>4.27)目前有哪些数据复制方案可用？</h4><p>“复制”只是一个术语，有好几种复制技术可使用，每种都有优点和缺点： </p><p>主/从复制方式是允许一个主服务器接受读/写的申请，而多个从服务器只能接受读/<small>SELECT</small>查询的申请， 目前最流行且是免费的主/从 PostgreSQL复制方案是 <a href="http://gborg.postgresql.org/project/slony1/projdisplay.php">Slony-I </a>。 </p><p>多个主服务器的复制方式允许将读/写的申请发送给多台的计算机，这种方式由于需要在多台服务器之间同步数据变动 可能会带来较严重的性能损失，<a href="http://pgfoundry.org/projects/pgcluster/">Pgcluster</a>是目前这种方案 中最好的，而且还可以免费下载。 </p><p>也有一些商业需付费和基于硬件的数据复制方案，支持上述各种复制模型。</p><br /><img src ="http://www.cppblog.com/lambdacpp/aggbug/7910.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://www.cppblog.com/lambdacpp/" target="_blank">五点半</a> 2006-05-31 00:28 <a href="http://www.cppblog.com/lambdacpp/archive/2006/05/31/7910.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item></channel></rss>