﻿<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:trackback="http://madskills.com/public/xml/rss/module/trackback/" xmlns:wfw="http://wellformedweb.org/CommentAPI/" xmlns:slash="http://purl.org/rss/1.0/modules/slash/"><channel><title>C++博客-xiaoguozi's Blog-随笔分类-Shell</title><link>http://www.cppblog.com/guojingjia2006/category/14642.html</link><description>Pay it forword - 我并不觉的自豪，我所尝试的事情都失败了······习惯原本生活的人不容易改变，就算现状很糟，他们也很难改变，在过程中，他们还是放弃了······他们一放弃，大家就都是输家······让爱传出去，很困难，也无法预料，人们需要更细心的观察别人，要随时注意才能保护别人，因为他们未必知道自己要什么·····</description><language>zh-cn</language><lastBuildDate>Wed, 16 Jan 2013 17:07:19 GMT</lastBuildDate><pubDate>Wed, 16 Jan 2013 17:07:19 GMT</pubDate><ttl>60</ttl><item><title>写出健壮的 Bash 脚本</title><link>http://www.cppblog.com/guojingjia2006/archive/2013/01/09/197146.html</link><dc:creator>小果子</dc:creator><author>小果子</author><pubDate>Wed, 09 Jan 2013 04:11:00 GMT</pubDate><guid>http://www.cppblog.com/guojingjia2006/archive/2013/01/09/197146.html</guid><wfw:comment>http://www.cppblog.com/guojingjia2006/comments/197146.html</wfw:comment><comments>http://www.cppblog.com/guojingjia2006/archive/2013/01/09/197146.html#Feedback</comments><slash:comments>0</slash:comments><wfw:commentRss>http://www.cppblog.com/guojingjia2006/comments/commentRss/197146.html</wfw:commentRss><trackback:ping>http://www.cppblog.com/guojingjia2006/services/trackbacks/197146.html</trackback:ping><description><![CDATA[<div><p>许多人用shell脚本完成一些简单任务，而且变成了他们生命的一部分。不幸的是，shell脚本在运行异常时会受到非常大的影响。在写脚本时将这类问题最小化是十分必要的。本文中我将介绍一些让bash脚本变得健壮的技术。</p> <h1>使用set -u</h1> <p>你因为没有对变量初始化而使脚本崩溃过多少次？对于我来说，很多次。</p><pre lang-bsh"="">chroot=$1 ... rm -rf $chroot/usr/share/doc</pre> <p>如果上面的代码你没有给参数就运行，你不会仅仅删除掉chroot中的文档，而是将系统的所有文档都删除。那你应该做些什么呢？好在bash提供了<em>set -u</em>，当你使用未初始化的变量时，让bash自动退出。你也可以使用可读性更强一点的<em>set -o nounset</em>。</p> <p><span style="color: #0000ff; font-family: courier new,courier">david% bash /tmp/shrink-chroot.sh </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">$chroot= </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">david% bash -u /tmp/shrink-chroot.sh </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">/tmp/shrink-chroot.sh: line 3: $1: unbound variable </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">david% </span></p> <h1>使用set -e</h1> <p>你写的每一个脚本的开始都应该包含<em>set -e</em>。这告诉bash一但有任何一个语句返回非真的值，则退出bash。使用-e的好处是避免错误滚雪球般的变成严重错误，能尽早的捕获错误。更加可读的版本：<em>set -o errexit</em></p> <p>使用-e把你从检查错误中解放出来。如果你忘记了检查，bash会替你做这件事。不过你也没有办法使用<em>$?</em>来获取命令执行状态了，因为bash无法获得任何非0的返回值。你可以使用另一种结构：</p> <p>command</p> <p><span style="color: #0000ff; font-family: courier new,courier">if [ "$?"-ne 0]; then echo "command failed"; exit 1; fi </span></p> <p>可以替换成：</p> <p><span style="color: #0000ff; font-family: courier new,courier">command || { echo "command failed"; exit 1; } </span></p> <p>或者使用：</p> <p><span style="color: #0000ff; font-family: courier new,courier">if ! command; then echo "command failed"; exit 1; fi </span></p> <p>如果你必须使用返回非0值的命令，或者你对返回值并不感兴趣呢？你可以使用 <em>command || true</em> ，或者你有一段很长的代码，你可以暂时关闭错误检查功能，不过我建议你谨慎使用。</p> <p><span style="color: #0000ff; font-family: courier new,courier">set +e </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">command1 </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">command2 </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">set -e </span></p> <p>相关文档指出，bash默认返回管道中最后一个命令的值，也许是你不想要的那个。比如执行 <em>false | true</em> 将会被认为命令成功执行。如果你想让这样的命令被认为是执行失败，可以使用 <em>set -o pipefail</em></p> <h1>程序防御 - 考虑意料之外的事</h1> <p>你的脚本也许会被放到&#8220;意外&#8221;的账户下运行，像缺少文件或者目录没有被创建等情况。你可以做一些预防这些错误事情。比如，当你创建一个目录后，如果父目录不存在，<strong>mkdir</strong> 命令会返回一个错误。如果你创建目录时给<strong>mkdir</strong>命令加上-p选项，它会在创建需要的目录前，把需要的父目录创建出来。另一个例子是 <strong>rm</strong> 命令。如果你要删除一个不存在的文件，它会&#8220;吐槽&#8221;并且你的脚本会停止工作。（因为你使用了-e选项，对吧？）你可以使用-f选项来解决这个问题，在文件不存在的时候让脚本继续工作。&nbsp;</p> <h1>准备好处理文件名中的空格</h1> <p>有些人从在文件名或者命令行参数中使用空格，你需要在编写脚本时时刻记得这件事。你需要时刻记得用引号包围变量。</p> <p><span style="color: #0000ff; font-family: courier new,courier">if [ $filename = "foo" ]; </span></p> <p>当<em>$filename</em>变量包含空格时就会挂掉。可以这样解决：</p> <p><span style="color: #0000ff; font-family: courier new,courier">if [ "$filename" = "foo" ]; </span></p> <p>使用<em>$@</em>变量时，你也需要使用引号，因为空格隔开的两个参数会被解释成两个独立的部分。</p> <p><span style="color: #0000ff; font-family: courier new,courier">david% foo() { for i in $@; do echo $i; done }; foo bar "baz quux" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">bar </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">baz </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">quux </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">david% foo() { for i in "$@"; do echo $i; done }; foo bar "baz quux" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">bar </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">baz quux </span></p> <p>我没有想到任何不能使用<em>"$@"</em>的时候，所以当你有疑问的时候，使用引号就没有错误。</p> <p>如果你同时使用find和xargs，你应该使用 -print0 来让字符分割文件名，而不是换行符分割。</p> <p>&nbsp;<span style="color: #0000ff; font-family: courier new,courier">david% touch "foo bar" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">david% find | xargs ls </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">ls: ./foo: No such file or directory </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">ls: bar: No such file or directory </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">david% find -print0 | xargs -0 ls </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">./foo bar </span></p> <h1>设置的陷阱</h1> <p>当你编写的脚本挂掉后，文件系统处于未知状态。比如锁文件状态、临时文件状态或者更新了一个文件后在更新下一个文件前挂掉。如果你能解决这些问题， 无论是  删除锁文件，又或者在脚本遇到问题时回滚到已知状态，你都是非常棒的。幸运的是，bash提供了一种方法，当bash接收到一个UNIX信号时，运行一个  命令或者一个函数。可以使用<strong>trap</strong>命令。</p> <p><span style="color: #0000ff; font-family: courier new,courier">trap command signal [signal ...] </span></p> <p>你可以链接多个信号（列表可以使用kill -l获得），但是为了清理残局，我们只使用其中的三个：<em>INT</em>，<em>TERM</em>和<em>EXIT</em>。你可以使用-as来让traps恢复到初始状态。</p> <h4>信号描述</h4> <p>&nbsp;</p> <table style="width: 100%" align="left" border="0" cellpadding="2" cellspacing="0"> <tbody> <tr> <td>INT</td> <td> <p>Interrupt - 当有人使用Ctrl-C终止脚本时被触发</p></td></tr> <tr> <td>TERM</td> <td> <p>Terminate - 当有人使用kill杀死脚本进程时被触发</p></td></tr> <tr> <td>EXIT</td> <td> <p>Exit - 这是一个伪信号，当脚本正常退出或者set -e后因为出错而退出时被触发</p></td></tr></tbody></table> <p>&nbsp;</p> <p>&nbsp;</p> <p>&nbsp;</p> <p>&nbsp;</p> <p>当你使用锁文件时，可以这样写：</p> <p><span style="color: #0000ff; font-family: courier new,courier">if [ ! -e $lockfile ]; then </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">touch $lockfile </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">critical-section </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">rm $lockfile </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">else </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">echo "critical-section is already running" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">fi </span></p> <p>当最重要的部分(critical-section)正在运行时，如果杀死了脚本进程，会发生什么呢？锁文件会被扔在那，而且你的脚本在它被删除以前再也不会运行了。解决方法：</p> <p><span style="color: #0000ff; font-family: courier new,courier">if [ ! -e $lockfile ]; then </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">trap " rm -f $lockfile; exit" INT TERM EXIT </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">touch $lockfile </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">critical-section </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">rm $lockfile </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">trap - INT TERM EXIT </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">else </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">echo "critical-section is already running" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">fi </span></p> <p>现在当你杀死进程时，锁文件一同被删除。注意在trap命令中明确地退出了脚本，否则脚本会继续执行trap后面的命令。</p> <h1>竟态条件 (<a href="http://zh.wikipedia.org/wiki/%E7%AB%B6%E7%88%AD%E5%8D%B1%E5%AE%B3" target="_blank">wikipedia</a>)</h1> <p>在上面锁文件的例子中，有一个竟态条件是不得不指出的，它存在于判断锁文件和创建锁文件之间。一个可行的解决方法是使用IO重定向和bash的noclobber(<a href="http://en.wikipedia.org/wiki/Clobbering" target="_blank">wikipedia</a>)模式，重定向到不存在的文件。我们可以这么做：</p> <p><span style="color: #0000ff; font-family: courier new,courier">if ( set -o noclobber; echo "$$" &gt; "$lockfile") 2&gt; /dev/null; </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">then </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">trap 'rm -f "$lockfile"; exit $?' INT TERM EXIT </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">critical-section </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">rm -f "$lockfile" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">trap - INT TERM EXIT </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">else </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">echo "Failed to acquire lockfile: $lockfile" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">echo "held by $(cat $lockfile)" </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">fi </span></p> <p>更复杂一点儿的问题是你要更新一大堆文件，当它们更新过程中出现问题时，你是否能让脚本挂得更加优雅一些。你想确认那些正确更新了，哪些根本没有变化。比如你需要一个添加用户的脚本。</p> <p><span style="color: #0000ff; font-family: courier new,courier">add_to_passwd $user </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">cp -a /etc/skel /home/$user </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">chown $user /home/$user -R </span></p> <p>当磁盘空间不足或者进程中途被杀死，这个脚本就会出现问题。在这种情况下，你也许希望用户账户不存在，而且他的文件也应该被删除。</p> <p><span style="color: #0000ff; font-family: courier new,courier">rollback() { </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">del_from_passwd $user </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">if [ -e /home/$user ]; then </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">rm -rf /home/$user </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">fi </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">exit </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">} </span></p> <p>&nbsp;</p> <p><span style="color: #0000ff; font-family: courier new,courier">trap rollback INT TERM EXIT </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">add_to_passwd $user </span></p> <p>&nbsp;</p> <p><span style="color: #0000ff; font-family: courier new,courier">cp -a /etc/skel /home/$user </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">chown $user /home/$user -R </span></p>  <p><span style="color: #0000ff; font-family: courier new,courier">trap - INT TERM EXIT </span></p> <p>在脚本最后需要使用trap关闭rollback调用，否则当脚本正常退出的时候rollback将会被调用，那么脚本等于什么都没做。</p> <h1>保持原子化</h1> <p>又是你需要一次更新目录中的一大堆文件，比如你需要将URL重写到另一个网站的域名。你也许会写：</p> <p><span style="color: #0000ff; font-family: courier new,courier">for file in $(find /var/www -type f -name "*.html"); do </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">perl -pi -e 's/www.example.net/www.example.com/' $file </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">done </span></p> <p>如果修改到一半是脚本出现问题，一部分使用www.example.com，而另一部分使用www.example.net。你可以使用备份和trap解决，但在升级过程中你的网站URL是不一致的。</p> <p>解决方法是将这个改变做成一个原子操作。先对数据做一个副本，在副本中更新URL，再用副本替换掉现在工作的版本。你需要确认副本和工作版本目录在同一个磁盘分区上，这样你就可以利用Linux系统的优势，它移动目录仅仅是更新目录指向的inode节点。</p> <p><span style="color: #0000ff; font-family: courier new,courier">cp -a /var/www /var/www-tmp </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">for file in $(find /var/www-tmp -type -f -name "*.html"); do </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">perl -pi -e 's/www.example.net/www.example.com/' $file </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">done </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">mv /var/www /var/www-old </span></p> <p><span style="color: #0000ff; font-family: courier new,courier">mv /var/www-tmp /var/www </span></p> <p>这意味着如果更新过程出问题，线上系统不会受影响。线上系统受影响的时间降低为两次mv操作的时间，这个时间非常短，因为文件系统仅更新inode而不用真正的复制所有的数据。</p> <p>这种技术的缺点是你需要两倍的磁盘空间，而且那些长时间打开文件的进程需要比较长的时间才能升级到新文件版本，建议更新完成后重新启动这些进程。对 于  apache服务器来说这不是问题，因为它每次都重新打开文件。你可以使用lsof命令查看当前正打开的文件。优势是你有了一个先前的备份，当你需要还原  时，它就派上用场了。</p></div>转自: http://www.linuxidc.com/Linux/2012-03/56614.htm<img src ="http://www.cppblog.com/guojingjia2006/aggbug/197146.html" width = "1" height = "1" /><br><br><div align=right><a style="text-decoration:none;" href="http://www.cppblog.com/guojingjia2006/" target="_blank">小果子</a> 2013-01-09 12:11 <a href="http://www.cppblog.com/guojingjia2006/archive/2013/01/09/197146.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div>]]></description></item></channel></rss>