2、 建造者模式(Builder Pattern)
介绍
将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示。

3、 原型模式(Prototype Pattern)
介绍
用原型实例指定创建对象的种类，并且通过拷贝这个原型来创建新的对象。

4、 工厂方法模式(Factory Method Pattern)
介绍
定义一个用于创建对象的接口，让子类决定将哪一个类实例化。Factory Method使一个类的实例化延迟到其

子类。

5、 单例模式(Singleton Pattern)
介绍
保证一个类仅有一个实例，并提供一个访问它的全局访问点。

结构型模式(Structural Pattern)
6、 适配器模式(Adapter Pattern)
介绍
将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那

些类可以一起工作。

7、 桥接模式(Bridge Pattern)
介绍
将抽象部分与它的实现部分分离，使它们都可以独立地变化。

8、 组合模式(Composite Pattern)
介绍
将对象组合成树形结构以表示“部分-整体”的层次结构。它使得客户对单个对象和复合对象的使用具有一致

性。

9、 装饰模式(Decorator Pattern)
介绍
动态地给一个对象添加一些额外的职责。就扩展功能而言，它比生成子类方式更为灵活。

10、 外观模式(Facade Pattern)
介绍
为子系统中的一组接口提供一个一致的界面，Facade模式定义了一个高层接口，这个接口使得这一子系统更

加容易使用。

11、 享元模式(Flyweight Pattern)
介绍
运用共享技术有效地支持大量细粒度的对象。

12、 代理模式(Proxy Pattern)
介绍
为其他对象提供一个代理以控制对这个对象的访问。

行为型模式(Behavioral Pattern)
13、 责任链模式(Chain of Responsibility Pattern)
介绍
为解除请求的发送者和接收者之间耦合，而使多个对象都有机会处理这个请求。将这些对象连成一条链，并

沿着这条链传递该请求，直到有一个对象处理它。

14、 命令模式(Command Pattern)
介绍
将一个请求封装为一个对象，从而使你可用不同的请求对客户进行参数化；对请求排队或记录请求日志，以

及支持可取消的操作。

15、 解释器模式(Interpreter Pattern)
介绍
给定一个语言，定义它的文法的一种表示，并定义一个解释器, 该解释器使用该表示来解释语言中的句子。

16、 迭代器模式(Iterator Pattern)
介绍
提供一种方法顺序访问一个聚合对象中各个元素, 而又不需暴露该对象的内部表示。

17、 中介者模式(Mediator Pattern)
介绍
用一个中介对象来封装一系列的对象交互。中介者使各对象不需要显式地相互引用，从而使其耦合松散，而

且可以独立地改变它们之间的交互。

18、 备忘录模式(Memento Pattern)
介绍
在不破坏封装性的前提下，捕获一个对象的内部状态，并在该对象之外保存这个状态。这样以后就可将该对

象恢复到保存的状态。

19、 观察者模式(Observer Pattern)
介绍
定义对象间的一种一对多的依赖关系,以便当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并

自动刷新。

20、 状态模式(State Pattern)
介绍
允许一个对象在其内部状态改变时改变它的行为。对象看起来似乎修改了它所属的类。

21、 策略模式(Strategy Pattern)
介绍
定义一系列的算法，把它们一个个封装起来，并且使它们可相互替换。本模式使得算法的变化可独立于使用

它的客户。

22、 模板方法模式(Template Method Pattern)
介绍
定义一个操作中的算法的骨架，而将一些步骤延迟到子类中。Template Method使得子类可以不改变一个算

法的结构即可重定义该算法的某些特定步骤。

23、 访问者模式(Visitor Pattern)
介绍
表示一个作用于某对象结构中的各元素的操作。它使你可以在不改变各元素的类的前提下定义作用于这些元

素的新操作。

对于简单的多元数据，最常见的可视化方法是散点图（scatterplot）。比如，对于二维数据，通常的方法就把它们直接画成二维坐标上的一系列点，从而可以看出数据变化趋势。对于更高维的数据，一种方法是把数据的每种属性用不同的图形，颜色，纹理等，表示在二维坐标上。比如下面的图是由www.gapminder.org生成的，用来显示了世界上国家的财富和人均寿命的关系。横轴是人均收入，纵轴是平均寿命，每个国家表示一个圆，圆的大小表示该国的人口，圆的颜色对应于所在的区域。这样一张图表达了一个国家的4个属性。左边的图是基于1980年的数据，而右边的图是基于2009年的数据。图中那个大大的红圆就是我们中国，我们可以很直观的看出这30年中国的发展还是很给力！网站上还能生成动画，演示各个圆的位置变换，像中国那么大的圆还能动那么快，也是独一无二的。

对于有更多属性的数据，用上面的方法就往往不能显示了。常见的方法是用散点图矩阵（scatterplot matrix），如果数据有N维（N个属性），所有的属性两两组合就生成N x N个二维散点图。把这些图排列成N x N的矩阵。这样可以观察任意两个属性间的关系。比如下面这张图就显示了汽车的主要属性间的散点图【1】。其中MPG代表了汽车的油耗（每加仑油能开的旅程），从图里我们看出，发动机马力越大MPG越小，车越重MPG越小，年龄越大MPG越小，等等。

【1】M. O. Ward. Xmdvtool: Integrating multiple methods for visualizing multivariate data. In Proceedings of IEEE Conference on Visualization, 1994.

散点图可以很好的显示少量属性的数据。但是，即使用散点图矩阵也无法解决属性更多的情况，而且每个小图只能显示2个属性间的联系，多个属性间的关系并不是很 直观。这种局限性主要来自将数据投影在了二维直角坐标系上。人们提出一系列的方法来解决这个局限性，而其中最著名的是1981年Alfred Inselberg 提出的平行坐标系（Parallel Coordinates）。这种方法把各个属性表示成一系列的平行的轴，组成一个平行坐标系，每条数据就表示成这个坐标系里的一条直线。比如我们有这样一 组数据

可以方便的表示成这样的平行坐标

平行坐标系的优势在于发现大规模数据间的属性联系。比如再回到前面的汽车的数据，用平行坐标可以表示成【1】
多个属性间的联系比散点图要清晰。比如可以清楚看出来Cylinder多的车，MPG相对小，但是马力大；Cylinder小的车，MPG相对大，但是马力 小。在平行坐标里，我们还可以方便的进行交互式删选数据，方便观察，比如下面的图，我们可以看一下，Cylinders多，MPG小，马力大的车的其他属性怎么样。
当数据过多的时候，平行坐标系里的线就会很多，数据间的联系就看不清楚了，就像下面的左图。一种解决方法是把线画成半透明，这样主要的线的趋势就会随着线的数目的增加而清晰，像下面的右图【2】。当数据很大的时候，主要的趋势的分析通常是数据的分析的第一步。

再回到我们前面第一个例子，虽然看上去学历和收入成反比，但是如果我们有更多的数据，像汽车的例子一样，平行坐标也可以给我们更清楚显示收入和学历，年龄等等的关系，所以还在读高学位的朋友先不要灰心啊。

【1】M. O. Ward. Xmdvtool: Integrating multiple methods for visualizing multivariate data. In Proceedings of IEEE Conference on Visualization, 1994.
【2】 Chad Jones, et al. An Integrated Exploration Approach to Visualizing Multivariate Particle Data. Computing in Science & Engineering, Volume 10, Number 4, July/August, 2008, pp. 20-29

作为多元数据可视化的主要两种方法，散点图和平行坐标各有优缺点。散点图通常只能显现两个属性间的联系，但是每条数据都表示成一个点，从而减少了总的像素数 量和视觉复杂度；平行坐标能显示多个属性间的联系，但是每条数据（多条属性）表示成一条线，增加了像素的数量，当数据量很大的时候，复杂度就大大增加，而无法显示数据间的联系。2009年北大的袁晓如教授在IEEE VisWeek 上发表了篇文章【1】，提出了一种技术将两种方法结合在一块。基本的想法是在平行坐标里的轴之间显示散点图，从而使原来在平行坐标里看不清的数据趋势用散点图表示。像下面的左图显示的是平行坐标图，而右图结合了散点图。

在两个平行轴之间画散点图的基本思路是把右边的轴旋转90图，这样与左边的形成直角坐标系，散点图的绘制和解读也就与传统的一致。画散点图的区域中原来的直线变成穿过散点图的曲线，这样保持了原来平行坐标里的连接关系，也支持通过线来进行数据筛选的功能。这种新的技术也用到了前面所说的汽车数据的例子，有兴趣的话找这篇论文读一读吧。

【1】 Xiaoru Yuan, et al. Scattering Points in Parallel Coordinates. IEEE Transactions on Visualzation and Computer Graphics, November/December 2009 (vol. 15 no. 6)

在科学计算可视化的时候，看到了这篇blog，文章讲解得非常好！作者也是非常牛的！特此转载到此！

http://www.vizinsight.com/2010/12/%E6%B5%85%E8%B0%88%E5%A4%9A%E5%85%83%E6%95%B0%E6%8D%AE%E7%9A%84%E5%8F%AF%E8%A7%86%E5%8C%96%E6%8A%80%E6%9C%AF%EF%BC%88%E4%B8%8B%EF%BC%89/

大家可以去顶一下这个blog

http://www.vizinsight.com/

   全文转载如下：

又是一个赛季……看到很多不知名的ID开始在OJ上的出头，看到以前我们传统意义上觉得可能是“弱校”的一些学校也开始奋起，真的很为他们感到高兴，尤其是天津大学，看到天大已经可以在没有RoBa的情况下也能力压其他的名校拿到学校名次第三，真的还是有很多感慨的。
于是，作为styc笔下的"a notorious martyr of acm/icpc"，怀念我的6次Regional。
1) Shanghai 2004
上来就全场第一个Submit了C - The Counting Problem，没有看数据规模就暴力了一下，没有任何悬念的TLE掉了，然后开始搞H - Tian Ji - The Horse
Racing，看了一眼题目就说是最大匹配，开始拍匹配，又没算复杂度，匹配匹完之后发现又TLE了……最搞笑的事情是我当时还写了个Hopcraft-Karp匹配……后来发现说可以最优匹配...当然，也TLE了……
最后我在比赛场上几乎就是无所事事，凭着我们队长jwise的神勇发挥在最后一个小时顶住全场N多气球但是我们没有气球的压力，把那两个题目过了..最后一分钟我好像是在贪心J - Jamie's Contact Group，后来才知道那个题目是个网络流。
第一次比赛总是很难忘，不过现在回想起来除了反应出来自己弱也没什么其他可以说的。
2) Beijing 2005
一个暑假在POJ上割了800+题目之后发现很多题目好像可以写一写了，这就有了自己的Beijing Regional之行。我如果没有记错这场比赛是ACRush第一次出道acm/icpc，开场3分钟ACRush过掉了E – Holiday
Hotel，全场震惊，后来大家发现这是一个菜题纷纷AC，我好像是在10分钟还是15分钟过掉了这个题目。在这个时候ACRush过掉了G – Desert
King，15分钟，过了2个，大家就纷纷觉得G也是个菜题，然后开始看G，我也不例外……不过看着看着我先以为G可以贪心，后来想了想（我不记得有没有交程序验证了），反正过不掉，后来突然想起来这个题目好像在SRbGa的黑书上有写类似的……所以拿出黑书，找到“最优比率生成树”
，现场学算法，现场过掉了……好像那个题目还有一点点卡常数因子，因为是稠密图所以Kruskal过不掉，好像焦哥当时是被卡在了这里。
过了两个题目之后队友发现了A – Angle and Squares是个弱题，写了一下过了，中间好像还以为忘记了sin和cos是弧度制的调了很久……然后就是比较顺利的用匹配过掉了C – Purifying Machine，当时4题的时候自己真的以为快要出线了，因为好像还有两个小时。
然后就是痛苦的2个小时了，先是看到了我觉得最有希望过的D – Finding Treasure，明显就是一个高斯消元嘛，但是怎么都过不去……怎么写也过不去，虽然后来我知道更简单的做法是随机代点，但是高斯消元也是可过的……但是我就是过不去……B – Get Luffy
Out是个2SAT，但是我不懂2SAT……所以看着队友眼睁睁的贪心了很久，很久很久……后来传闻说这个题目数据弱，搜搜也过了……其他题目我连题目都没看……
3) Hangzhou 2005
在Beijing拿了个第七，宋老师当时还对我们队寄予厚望说争取在杭州出线，我也真以为我们能圆个Final梦，很开心的去了杭州，这次比赛HQM，ZY，YSY好像是一队，并且很顺利的他们切掉了ACRush……
上来很顺利的切了A – Auction，然后看到B – Bridge发现不会那个积分，看到C -
Cell我一下就开心了，说我KAO这不是个LCA么，拿出例程开始敲，敲完发现RE了，顿时FT，以为数组开小了数据不合法，所以测试了很久很久很久……甚至到最后自己开始写了一个测试机开始生成数据，在自己机器上测试发现也RE了……那个时候想到原来是stack
overflow…我就问队友会不会把递归改非递归，得到的答案是不会……当时我就知道这个题目，完全知道问题在哪里，知道该怎么做，但是不可能过了……当然了，后来我知道那个题目对应于白色括号定理，可以直接DFS……但是还是要写非递归的DFS，我还是过不掉，所以死在了DFS上。
B发现不可做之后我开始翻手头的大学数学书，在大学数学书上找到了一个类似的式子，把那个抛物线长度积分积出来了，记得当时的judge还有点卡常数，不过幸好，B – Bridge过了。当时的情况我记得我的判断是出4可以出线，所以只能拼题数了，把I –
Instructions丢给what20，what20看了看告诉我是贪心，他肯定能过，我就没管了，后来发现怎么写也不过怎么写也不过，到最后比赛还有20分钟结束我看了一下题目我说KAO这不是个最短路么，删掉他的支离破碎的程序开始重写……但是来不及了……在最后比赛结束的时候，我的程序好
像刚刚写出了可以compile的雏形，but that’s definitely too late.
说说G – Generator，这个题目是具体数学上的原题，我的队友猜出了一个公式，我口算了一下说好像和答案差的远……根本没试……2题，结束了杭州之行，连铜牌都没有。
赛后Savior跟我说的一句话，我到今天都记得。因为我们在北京的名次说不定你该运气好还能出线，所以Savior说：“Final见啦……” 这一句话成为我永远的伤，无限逼近但是永远进不去……后来，我们还确实扎扎实实的为了从Beijing拿名额出线做了一番争取，Beijing一开始给了非常
少的名额，我就想去争取这个名额，发信给李文新老师和黄金熊，北大的李文新老师还为
我们争取名额，最后帮我们排名前面一位的USTC争取到了，我们没有……还记得当时USTC在POJ的BBS上说谢谢李老师，李老师说不用写我，要谢谢Ikki……哎，虽然看到USTC的兄弟出线也不错，但是好歹是为他人做了个嫁衣裳……
4) Beijing 2006
2006年，我准备出国了，在准备GRE和GRE SUB……所以我其实基本没做什么准备，但是这次组到了JiangYY同学和FreeDian同学，当时我感觉这是南大近几年能组出的最强队了，所以对Final也充满了美好的YY。
还记得JiangYY同学跟我说：“拿金牌和出线哪个意义更大，我们显然要出线……”好吧，那就出线吧，清华的比赛，赛前那一天晚上朱泽园同学跑来告诉我们说明天你们不要紧张，我们赛前试题这套题目很简单，你们的实力应该能做出7题……我在这个时候开玩笑跟JiangYY说，如果明天
考平面图最大流你会做不，JYY说当然懂，我全懂，不就是Dijkstra么……我说你会做就好，反正我是不懂……
比赛的时候FreeDian先告诉我E – Guess是贪心，迅速的过了E，当时的速度好像差一点就是全场第一个过E的，然后发现H –
Ruler明显可做，但是我不知道怎么做，当时先猜了一个猜想，发现猜想不对，后来搜，发现那个数据规模搜肯定超时了，所以我就问JiangYY 同学怎么做，我说“JiangYY你不是还写过如何搜索的文章么……你搜一个。”JiangYY同学说毛……我搜不出……后来实在没办法了，我开始加随机
化的剪枝和一些小的优化，并且拿一个暴力的搜索和那个随机化的优化在不停的对拍，等到对拍那个优化后版本能全过了，我就交。
为了这个题目我写了N个贪心版 + 一个暴力版 + N个改进优化版 + 数据生成对拍器，当我过了之后我兴奋不已，但是细细一看，咦，我好像交错程序把那个暴力版交上去了，我KAO，原来这个题目数据弱，暴力搜索就能过……当时要杀人的心都有了。
差点忘了本次比赛最戏剧性的场景了，JiangYY同学翻题目，翻了一下告诉我说“昊哥，真的出平面图最大流了。”我说那好啊，你不是会做么……JiangYY同学说：“会个毛，我就知道Dijkstra，不知道怎么Dijkstra。”我KAO当时我在场上心都凉了，然后YY同学就在不停的建模怎么Dijks
tra……一会告诉我要三次，一会告诉我要6次，一会告诉我要12次Dijkstra……这就是B – Animal Run的悲惨遭遇。
后来YY同学，自称为过了USACO所有Gold Contest图论题，图论小王子的YY同学，开始搞G – What a Special
Graph，然后一会告诉我要收缩一下花做DFS啥的……后来我说不对…幸好我没被迷惑住开始敲G……赛后和Bamboo的一句话，Bamboo 说：“我们判断一个队，有没有前途，就是看他在不在搞G，如果在搞，就没前途了……”G是个论文题，不可做的…当然了，这套题目我当时在赛场上好像是
都看了的，A – Robot有点想法但是不会，I – A Funny Stone Game太像DP了，但是也不会……都不会@_@
2题，再一次结束了，结束了我本科生涯的acm/icpc。
5) Seoul 2007
阴差阳错的来到了HKUST之后，可以出国比赛，Seoul和Danang也成为了人生acm/icpc的绝响，最后的两个第四也让我永远对Final说了声再见。其实Seoul的失败，可以说死在我的手上，B –
Editor是一个非常弱的最长公共子串的题目，串长小于5000，明显DP嘛，不知道我当时大脑为什么抽筋了，开始写Suffix Array，而且还是写的是线性时间的Suffix
Array，写完之后发现自己很久没写后缀数组了，过不去了，调不过样例，这个时候细细一想才把B用近乎暴力的方式过了……这个时候在时间上我们已经浪费将近一个小时了，后来发现如果我们把这一个小时节约在罚时上，每个题目都少了不少的时间，我们应该就第三名出线了……第三名
也是7题，罚时比我们好一点，比我们少了123分钟的罚时，如果我们这道题目没有按照我YY的方式做，就……应该是第三了吧？
当然，现实没有如果，而且我那两个队友当时还问我说是不是可以DP的样子，我直接斩钉截铁的说“不可以！”并且告诉他们这个是后缀数组经典题，他们听完就不说话开始任我YY的写了……
我犯的第二宗罪就是那个I – Turtle Graphics，当时我过完一遍题目看到I – Turtle
Graphics之后我顿时就想到了CERC还是NEERC一道也是这种走水平竖直方向乱搞的题目，那个题目我好像不会，顿时心理阴影产生了，当队友问我这个题目可做否，我直接一句话“这个题目我以前好像看过，不会做，你们别看了……”从始至终，那道I就没有被我们碰过……后来发现是个弱
题。
人说，自作孽，不可活。
6) Danang 2007
其实Danang赛区我对自己的表现也还是满意的了，主要是题目太RP，同样的C – Prime k-tuple，某队Miller-Rabin就能过，我Miller-Rabin就TLE，D – The longest constant
game，这次确确实实是要上后缀数组了，很可惜我只带了O(nlogn)版本的，发现居然卡这个logn的常数，后来实在没办法乱搞了O(n) 的后缀数组才过，E – Lazy Susan，这个题目我和Math Guy现场推了好久的规律，最后搞出来的时候真的是非常兴奋，J –Space
Beacon，这个题目是我最怕写的题目，陈琛敢于上手，并且在最后WA的时候我给他现场写数据生成器暴力对拍，在最后2分钟的时候过掉这个题目，PH的一声咆哮Yes，全场为我们的鼓掌……虽然最后由于种种原因诡异的被Rejudge了一个题目排名掉到了第四，但是第一次，让我感觉在赛场
上似乎没有遗憾。在4小时封板的时候我也第一次看到了Hong Kong University of Science and Technology居然站在当时的第一位上，离Final的梦，当时让我感觉是这么近。
这么多次，其实合作最愉快的还是在HKUST，尽管队员的实力不是特别强，但是他们肯配合我肯为我做事情想题目，一直坚持不放弃的精神我也一直可以看到……真的很希望能和他们一起站在Final的赛场上。
只是可惜，这一切都已经是似水流年。

   突然很感慨，就像ikki最后一句，这一切都是似水流年。。。

   在Arena上有他的个人比赛记录，看到了那句logo:Never underestimate or just rely on your potential.是对自己的忠告！加油！或许，某一天当ikki看到自己的这篇总结还能激励着某些人前进行的时候，他或许也会感叹一句，似水流年吧。。。。

这张图片是经典啊，两种黄色的程度是一样的，给人的感觉非常不一样。。。。

人的视锥对光的感觉是实质上是这样一个积分。。。

我们所看到的RGB，当然不仅仅是R，是很多不同频率的光的混合结构，而且仅仅由R，G，B不能构成整个的色彩空间。。。其实这是一个必然，CIE的色彩空间很显然不是一个严格的三角形，所以看不全是应该的。。。当然，我们的全彩打印，当然也做不到每一种彩色都打印出来，是一个非常不规则的区域。。

孔雀的尾巴为什么五颜六色，色彩斑斓。。不要天真的以为用不同颜色材质就可以模拟。。。

答案： Iridescence。。。我不清楚汉语应该怎么翻译这个词。。干涉？。。。

由于半透明表皮的表层厚度不同，（这个类似于肥皂泡的五颜六色）。。所以出现下面这种情况。

OK，暂时到此结束。

  EM算法可用于很多问题的框架，其中需要估计一组描述概率分布的参数，只给定了由此产生的全部数据中能观察到的一部分！

  EM算法是一种迭代算法，它由基本的两个步骤组成：

  E step：估计期望步骤

  使用对隐变量的现有估计来计算log极大似然

  M step: 最大化期望步骤

  计算一个对隐变量更好的估计，使其最大化log似然函数对隐变量Y的期望。用新计算的隐变量参数代替之前的对隐变量的估计，进行下一步的迭代！

观测数据：观测到的随机变量X的IID样本：

缺失数据：未观测到的隐含变量(隐变量)Y的值：

完整数据： 包含观测到的随机变量X和未观测到的随机变量Y的数据，Z=(X,Y)

似然函数：(似然函数的几种写法)

log似然函数为：

E step：用对隐变量的现有估计计算隐变量Y的期望

其中需要用到贝叶斯公式：

M step：最大化期望，获得对隐变量更好的估计

维基中的表述是这样子：

Given a statistical model consisting of a set of observed data, a set of unobserved latent data or missing values Y, and a vector of unknown parameters , along with a likelihood function , the maximum likelihood estimate (MLE) of the unknown parameters is determined by the marginal likelihood of the observed data 

However, this quantity is often intractable.

The EM algorithm seeks to find the MLE of the marginal likelihood by iteratively applying the following two steps:

Expectation step (E-step): Calculate the expected value of the log likelihood function, with respect to the conditional distribution of Y given under the current estimate of the parameters :

Maximization step (M-step): Find the parameter that maximizes this quantity:

Note that in typical models to which EM is applied:

1. The observed data points may be discrete (taking one of a fixed number of values, or taking values that must be integers) or continuous (taking a continuous range of real numbers, possibly infinite). There may in fact be a vector of observations associated with each data point.
2. The missing values (aka latent variables) Y are discrete, drawn from a fixed number of values, and there is one latent variable per observed data point.
3. The parameters are continuous, and are of two kinds: Parameters that are associated with all data points, and parameters associated with a particular value of a latent variable (i.e. associated with all data points whose corresponding latent variable has a particular value).

However, it is possible to apply EM to other sorts of models.

The motivation is as follows. If we know the value of the parameters , we can usually find the value of the latent variables Y by maximizing the log-likelihood over all possible values of Y, either simply by iterating over Y or through an algorithm such as the Viterbi algorithm for hidden Markov models. Conversely, if we know the value of the latent variables Y, we can find an estimate of the parameters fairly easily, typically by simply grouping the observed data points according to the value of the associated latent variable and averaging the values, or some function of the values, of the points in each group. This suggests an iterative algorithm, in the case where both and Y are unknown:

1. First, initialize the parameters to some random values.
2. Compute the best value for Y given these parameter values.
3. Then, use the just-computed values of Y to compute a better estimate for the parameters . Parameters associated with a particular value of Y will use only those data points whose associated latent variable has that value.
4. Finally, iterate until convergence.

The algorithm as just described will in fact work, and is commonly called hard EM. The K-means algorithm is an example of this class of algorithms.

However, we can do somewhat better by, rather than making a hard choice for Y given the current parameter values and averaging only over the set of data points associated with a particular value of Y, instead determining the probability of each possible value of Y for each data point, and then using the probabilities associated with a particular value of Y to compute a weighted average over the entire set of data points. The resulting algorithm is commonly called soft EM, and is the type of algorithm normally associated with EM. The counts used to compute these weighted averages are called soft counts (as opposed to the hard counts used in a hard-EM-type algorithm such as K-means). The probabilities computed for Y areposterior probabilities and are what is computed in the E-step. The soft counts used to compute new parameter values are what is computed in the M-step.

总结：

EM is frequently used for data clustering in machine learning and computer vision.

EM会收敛到局部极致，但不能保证收敛到全局最优。

EM对初值比较敏感，通常需要一个好的，快速的初始化过程。

这是我的Machine Learning课程，先总结到这里， 下面的工作是做一个GM_EM的总结，多维高斯密度估计！

Description

Given a set of observations (x₁, x₂, …, x_n), where each observation is a d-dimensional real vector, k-means clustering aims to partition the n observations into k sets (k < n) S = {S₁, S₂, …, S_k} so as to minimize the within-cluster sum of squares (WCSS):

where μ_i is the mean of points in S_i.

Algorithms

Regarding computational complexity, the k-means clustering problem is:

• NP-hard in general Euclidean space d even for 2 clusters ^[4][5]
• NP-hard for a general number of clusters k even in the plane ^[6]
• If k and d are fixed, the problem can be exactly solved in time O(n^dk+1 log n), where n is the number of entities to be clustered ^[7]

Thus, a variety of heuristic algorithms are generally used.

所以注意到Algorithm是一个典型的NP问题，所以通常我们寻找使用的是启发式方法。

Standard algorithm

The most common algorithm uses an iterative refinement technique.最常用的一个技巧是迭代求精。

Due to its ubiquity it is often called the k-means algorithm; it is also referred to as Lloyd's algorithm, particularly in the computer science community.

Given an initial set of k means m₁⁽¹⁾,…,m_k⁽¹⁾, which may be specified randomly or by some heuristic, the algorithm proceeds by alternating between two steps:^[8]

Assignment step: Assign each observation to the cluster with the closest mean (i.e. partition the observations according to the Voronoi diagram generated by the means（这里等价于把原空间根据Voronoi 图划分为k个，此处的范数指的是2范数，即欧几里得距离，和Voronoi图对应）).

 

Update step: Calculate the new means to be the centroid of the observations in the cluster.

重新计算means

The algorithm is deemed to have converged when the assignments no longer change.

整个算法的流程就是如上图所示

As it is a heuristic algorithm, there is no guarantee that it will converge to the global optimum, and the result may depend on the initial clusters. As the algorithm is usually very fast, it is common to run it multiple times with different starting conditions. However, in the worst case, k-means can be very slow to converge: in particular it has been shown that there exist certain point sets, even in 2 dimensions, on whichk-means takes exponential time, that is 2^Ω(n), to converge^[9][10]. These point sets do not seem to arise in practice: this is corroborated by the fact that the smoothed running time of k-means is polynomial^[11].

最坏的时间复杂度是O(2^Ω(n)),但是在实践中，一般表现是一个多项式算法。

The "assignment" step is also referred to as expectation step, the "update step" as maximization step, making this algorithm a variant of the generalized expectation-maximization algorithm.

Variations

• The expectation-maximization algorithm (EM algorithm) maintains probabilistic assignments to clusters, instead of deterministic assignments, and multivariate Gaussian distributions instead of means.
• k-means++ seeks to choose better starting clusters.
• The filtering algorithm uses kd-trees to speed up each k-means step.^[12]
• Some methods attempt to speed up each k-means step using coresets^[13] or the triangle inequality.^[14]
• Escape local optima by swapping points between clusters.^[15]

Discussion

k-means clustering result for the Iris flower data set and actual species visualized using ELKI. Cluster means are marked using larger, semi-transparent symbols.

k-means clustering and EM clustering on an artificial dataset ("mouse"). The tendency of k-means to produce equi-sized clusters leads to bad results, while EM benefits from the Gaussian distribution present in the data set

The two key features of k-means which make it efficient are often regarded as its biggest drawbacks:

• Euclidean distance is used as a metric and variance is used as a measure of cluster scatter.
• The number of clusters k is an input parameter: an inappropriate choice of k may yield poor results. That is why, when performing k-means, it is important to run diagnostic checks for determining the number of clusters in the data set.

A key limitation of k-means is its cluster model. The concept is based on spherical clusters that are separable in a way so that the mean value converges towards the cluster center. The clusters are expected to be of similar size, so that the assignment to the nearest cluster center is the correct assignment. When for example applying k-means with a value of k = 3 onto the well-known Iris flower data set, the result often fails to separate the three Iris species contained in the data set. With k = 2, the two visible clusters (one containing two species) will be discovered, whereas withk = 3 one of the two clusters will be split into two even parts. In fact, k = 2 is more appropriate for this data set, despite the data set containing 3 classes. As with any other clustering algorithm, the k-means result relies on the data set to satisfy the assumptions made by the clustering algorithms. It works very well on some data sets, while failing miserably on others.

The result of k-means can also be seen as the Voronoi cells of the cluster means. Since data is split halfway between cluster means, this can lead to suboptimal splits as can be seen in the "mouse" example. The Gaussian models used by the Expectation-maximization algorithm (which can be seen as a generalization of k-means) are more flexible here by having both variances and covariances. The EM result is thus able to accommodate clusters of variable size much better than k-means as well as correlated clusters (not in this example).

这篇是概念介绍篇，以后出代码和一个K均值优化的论文

Fast Hierarchical Clustering Algorithm Using Locality-Sensitive Hashing

const int MAX_LEN = 128;
const int MAX_LINE = 20;
int main(int argc, char* argv[])
{
    char str[MAX_LEN] = "1";
    char tmp_str[MAX_LEN] = "";
    char buf[MAX_LEN] = "";

    printf("%s\n",str);
    for (int line = 1;line <= MAX_LINE;++line)
    {
        strcpy(tmp_str,str);
        str[0] = '\0';
        for (int i=0;tmp_str[i] != 0;++i)
        {
            char ch = tmp_str[i];
            int count = 1;
            for (;tmp_str[i+1] == tmp_str[i];++i)
            {
                ++count;
            }
            sprintf(buf,"%d%c",count,ch);
            strcat(str,buf);
        }
        printf("%s\n",str);
    }
    return 0;
}

3，    分别才要线性表、二叉平衡树和哈希表存储数据，请分析它们各有什么优劣？（10分）

第二题 算法与程序设计（40分）
1，    有一串首尾相连的珠子，总共m颗，每颗珠子都有自己的颜色，全部颜色总共有n（n<=10）种。现在要在里面截取一段，要求包含所有不同的颜色，并且长度越短越好。求如何截取。
请详细描述你的算法思路（如需要，可给出伪代码来辅助描述），并分析其时间复杂度和空间复杂度。（20分）
2，    设计一个strnumcmp函数，对比普通的strcmp函数，差别在于，当字符串中遇到数字时，以数字大小为准。对于只有其中一个字符串为数字的情况，仍然沿用原来的strcmp方式。 （20分）
举例说
   strnumcmp的判定结果：”abc”<”abc#”<”abc1”<”abc2”<”abc10”<”abcd”
一般的strcmp的判定结果：”abc”<”abc#”<”abc1”<”abc10”<”abc2”<”abcd”
要求：请给出完整代码，在达到目标的情况下尽量高效，简洁。

第三题 系统设计题（30分）
在大规模数据处理中经常会用到大规模字典。现需要处理一个词搭配的字典。条件为：
1）    字典中存在的项是两个词的搭配，例如：字典中有“今天”和“晚上”是两个词，那么它们组成的搭配为“今天|晚上”和“晚上|今天”
2）    词的集合很大，约为10万量级
3）    一个词并不会和其他所有词搭配，通常只会和不超过1万个其他此搭配
4）    对字典的使用读操作很大，通常每秒有上千次请求，几乎没有写入需求。
请设计一个字典服务系统，当请求是两个词的搭配时，能够快速返回搭配的相关信息。请使用尽可能少的资源，并估算出需要使用的机器资源。

  n个顾客在进酒店之前，都会把自己的帽子给前台服务员保管。每个顾客在离开时，前台服务员又会随机地挑选一个帽子给他。问：最终，能拿到自己帽子的顾客们期望数是多少

首先从简单情况入手，对于n=2 n=3 很容易求出 结果res=1；
对于n>=4,我们严格的用概率方法来推导一下！
首先定义P(n)为伯努利放错信的问题的答案。
P_n=n!\sum_{i=2}^{n}\frac{(-1)^i}{i!}

然后对于n个人中i个人匹配正确这个事件的数目是C(n,i)P(i)  
总共有n！中事件，2^n种情况，（可以把人看成是10串，拿到自己帽子的为1）
所以 答案就是
（n-i）*C(n,i)P(i) /n!求和
整理一下是 
\sum_{i=2}^{n-1}\frac{n-i}{(n-i)!}\sum_{j=2}^{i}\frac{(-1)^j}{j!}+\frac{1}{(n-1)!}

可以证明这个等式等于1
所以答案是1

第一次课

• Shirley 1, 3.8
• Review Shirley 2.1-2.4, 2.10-2.11, 5

计算机图形表示的集中方法：

采样的方法(像素)和基于Object based  我以前没注意他们的区别，事实的确是这样子，区别就是随着图像的放大，Object Based 不会失真

它还总结了一种是Functional ，这个就是我们传说的矢量图，轮廓是Function，然后填充一些简单的颜色！ 下图是一个著名的分形图。。

在文章的最后，作者指出了，我们的眼睛并不感知强度值！例如图中的AB 他们的图像灰度是相同的。。

然后看一下书，感觉挺好的。。哈哈     !_!~~

记录一下拿到一台新机器之后必装的 Python 组件，基本上都是通过 setup.py 安装。

• simplejson http://pypi.python.org/pypi/simplejson
• Imaging (PIL) http://www.pythonware.com/products/pil/
• Tornado http://www.tornadoweb.org/
• MySQLdb http://sourceforge.net/projects/mysql-python/
• couchdb-python http://code.google.com/p/couchdb-python/
• redis-py http://github.com/andymccurdy/redis-py
• Twisted http://twistedmatrix.com/
• Storm https://storm.canonical.com/
• SQLAlchemy http://www.sqlalchemy.org/

当然，还有 CouchDBX，redis (via MacPorts)，memcached (via MacPorts) 和 GAE SDK。

一位Machine Learning的postgraduate总结的，恩，好好玩！

Re:

http://hello-math.appspot.com/python-component

当遇到实际问题，我们应当怎么做！

当抽象成一个数学问题时候，我们应该思考的方式是：

观察的时候，我们需要做是什么！

常用的数学英语表述

1.Logic          
∃           there exist
∀           for all
p⇒q           p implies q / if p, then q
p⇔q           p if and only if q /p is equivalent to q / p and q are equivalent
2.Sets          
x∈A           x belongs to A / x is an element (or a member) of A
x∉A           x does not belong to A / x is not an element (or a member) of A
A⊂B           A is contained in B / A is a subset of B
A⊃B           A contains B / B is a subset of A
A∩B           A cap B / A meet B / A intersection B
A∪B           A cup B / A join B / A union B
A\B           A minus B / the diference between A and B
A×B           A cross B / the cartesian product of A and B
3. Real numbers          
x+1           x plus one
x-1           x minus one
x±1           x plus or minus one
xy           xy / x multiplied by y
(x - y)(x + y)           x minus y, x plus y
x y           x over y
=           the equals sign
x = 5           x equals 5 / x is equal to 5
x≠5           x (is) not equal to 5
x≡y           x is equivalent to (or identical with) y
x ≡ y           x is not equivalent to (or identical with) y
x > y           x is greater than y
x≥y           x is greater than or equal to y
x < y           x is less than y
x≤y           x is less than or equal to y
0 < x < 1           zero is less than x is less than 1
0≤x≤1           zero is less than or equal to x is less than or equal to 1
| x |           mod x / modulus x
x 2           x squared / x (raised) to the power 2
x 3           x cubed
x 4           x to the fourth / x to the power four
x n           x to the nth / x to the power n
x −n           x to the (power) minus n
x           (square) root x / the square root of x
x 3           cube root (of) x
x 4           fourth root (of) x
x n           nth root (of) x
( x+y ) 2           x plus y all squared
( x y ) 2           x over y all squared
n!           n factorial
x ^           x hat
x ¯           x bar
x ˜           x tilde
x i           xi / x subscript i / x suffix i / x sub i
∑ i=1 n a i           the sum from i equals one to n a i / the sum as i runs from 1 to n of the a i
4. Linear algebra          
‖ x ‖           the norm (or modulus) of x
OA →           OA / vector OA
OA ¯           OA / the length of the segment OA
A T           A transpose / the transpose of A
A −1           A inverse / the inverse of A
5. Functions          
f( x )           fx / f of x / the function f of x
f:S→T           a function f from S to T
x→y           x maps to y / x is sent (or mapped) to y
f'( x )           f prime x / f dash x / the (first) derivative of f with respect to x
f''( x )           f double-prime x / f double-dash x / the second derivative of f with respect to x
f'''( x )           triple-prime x / f triple-dash x / the third derivative of f with respect to x
f (4) ( x )           f four x / the fourth derivative of f with respect to x
∂f ∂ x 1           the partial (derivative) of f with respect to x1
∂ 2 f ∂ x 1 2           the second partial (derivative) of f with respect to x1
∫ 0 ∞           the integral from zero to infinity
lim⁡ x→0           the limit as x approaches zero
lim⁡ x→ 0 +           the limit as x approaches zero from above
lim⁡ x→ 0 −           the limit as x approaches zero from below
log e y           log y to the base e / log to the base e of y / natural log (of) y
ln⁡y           log y to the base e / log to the base e of y / natural log (of) y
一般词汇
    数学 mathematics, maths(BrE), math(AmE)
    公理 axiom
    定理 theorem
    计算 calculation
    运算 operation
    证明 prove
    假设 hypothesis, hypotheses(pl.)
    命题 proposition
    算术 arithmetic
    加 plus(prep.), add(v.), addition(n.)
    被加数 augend, summand
    加数 addend
    和 sum
    减 minus(prep.), subtract(v.), subtraction(n.)
    被减数 minuend
    减数 subtrahend
    差 remainder
    乘
times(prep.), multiply(v.), multiplication(n.)
    被乘数 multiplicand, faciend
    乘数 multiplicator
    积 product
    除 divided by(prep.), divide(v.), division(n.)
    被除数 dividend
    除数 divisor
    商 quotient
    等于 equals, is equal to, is equivalent to
    大于 is greater than
    小于 is lesser than
    大于等于 is equal or greater than
    小于等于 is equal or lesser than
    运算符 operator
    数字 digit
    数 number
    自然数 natural number
    整数 integer
    小数 decimal
    小数点 decimal point
    分数 fraction
    分子 numerator
    分母 denominator
    比 ratio
    正 positive
    负 negative
    零 null, zero, nought, nil
    十进制 decimal system
    二进制 binary system
    十六进制 hexadecimal system
    权 weight, significance
    进位 carry
    截尾 truncation
    四舍五入 round
    下舍入 round down
    上舍入 round up
    有效数字 significant digit
    无效数字 insignificant digit
    代数 algebra
    公式 formula, formulae(pl.)
    单项式 monomial
    多项式 polynomial, multinomial
    系数 coefficient
    未知数 unknown, x-factor, y-factor, z-factor
    等式，方程式 equation
    一次方程 simple equation
    二次方程 quadratic equation
    三次方程 cubic equation
    四次方程 quartic equation
    不等式 inequation
    阶乘 factorial
    对数 logarithm
    指数，幂 exponent
    乘方 power
    二次方，平方 square
    三次方，立方 cube
    四次方 the power of four, the fourth power
    n次方 the power of n, the nth power
    开方 evolution, extraction
    二次方根，平方根 square root
    三次方根，立方根 cube root
    四次方根 the root of four, the fourth root
    n次方根 the root of n, the nth root
    集合 aggregate
    元素 element
    空集 void
    子集 subset
    交集 intersection
    并集 union
    补集 complement
    映射 mapping
    函数 function
    定义域 domain, field of definition
    值域 range
    常量 constant
    变量 variable
    单调性 monotonicity
    奇偶性 parity
    周期性 periodicity
    图象 image
    数列，级数 series
    微积分 calculus
    微分 differential
    导数 derivative
    极限 limit
    无穷大 infinite(a.) infinity(n.)
    无穷小 infinitesimal
    积分 integral
    定积分 definite integral
    不定积分 indefinite integral
    有理数 rational number
    无理数 irrational number
    实数 real number
    虚数 imaginary number
    复数 complex number
    矩阵 matrix
    行列式 determinant
    几何 geometry
    点 point
    线 line
    面 plane
    体 solid
    线段 segment
    射线 radial
    平行 parallel
    相交 intersect
    角 angle
    角度 degree
    弧度 radian
    锐角 acute angle
    直角 right angle
    钝角 obtuse angle
    平角 straight angle
    周角 perigon
    底 base
    边 side
    高 height
    三角形 triangle
    锐角三角形 acute triangle
    直角三角形 right triangle
    直角边 leg
    斜边 hypotenuse
    勾股定理 Pythagorean theorem
    钝角三角形 obtuse triangle
    不等边三角形 scalene triangle
    等腰三角形 isosceles triangle
    等边三角形 equilateral triangle
    四边形 quadrilateral
    平行四边形 parallelogram
    矩形 rectangle
    长 length
    宽 width