C++博客-hitme-最新评论http://www.cppblog.com/hitme/CommentsRSS.aspxzh-cnFri, 10 Dec 2010 08:18:12 GMTFri, 10 Dec 2010 08:18:12 GMTcnblogsre: 求助。关于如何将文件映射成STL容器内存空间的方法。http://www.cppblog.com/hitme/archive/2010/12/11/136067.html#136158匿名人士匿名人士Sat, 11 Dec 2010 08:15:00 GMThttp://www.cppblog.com/hitme/archive/2010/12/11/136067.html#136158
一个一个来解决。问题1 用序列化就得了，boost还是什么的随意
问题2 你可以不用把数据类（假设是用序列化）的本体放set/map里啊，自己用new来控制数据，map里只索引数据的引用或指针，那不就得了

匿名人士 2010-12-11 16:15 发表评论
]]>re: 求助。关于如何将文件映射成STL容器内存空间的方法。[未登录]http://www.cppblog.com/hitme/archive/2010/12/10/136067.html#136098hdqqqhdqqqFri, 10 Dec 2010 12:58:00 GMThttp://www.cppblog.com/hitme/archive/2010/12/10/136067.html#136098对应到对文件的访问，但是在大数据量的情况下，随机访问的效率很差。

关键还是在于减少内存的使用上

1. stl 中的set使用红黑树实现的,一个节点有左,右,父节点三个指针和一个红黑标志位.32位系统下最少占用13个字节,
考虑内存对齐下,可能使用到16个字节,在大数据量的情况下,为了保持这个树结构,额外使用的内存是很多的,可以考虑使用hash set.

2. url长度都比较长,可考虑计算md5 hash,减少存储占用.

3. 不要妄想把所有数据都存在内存,总会有内存耗尽的时候,另外,如果程序异常或者崩溃,所有数据将丢失.

我以前实现的一种方式是,以数据库为主要存储,内存作为优先查询cache.
1. 数据库建散列表, 以十六进制 0-F 开始,根据md5第一位决定存储表,用于存储md5值,并对md5建索引加快查询.
2. 在内存中用set或map保存md5值,查询时先计算url md5值,再查询内存,如果不存在,则从数据库加载.如为新url,先存入内存.
3. 内存总量到一定阀值,进行数据保存,并清空内存cache.

不过这种实现存在cache命中问题,你可以一次加载整张表,也可以用 like 查询条件,减少数据库返回的记录数.

已有的php实现,内存cache200万条记录,总内存使用在1200M左右,可长时间运行,没有内存使用问题.


hdqqq 2010-12-10 20:58 发表评论
]]>re: 求助。关于如何将文件映射成STL容器内存空间的方法。[未登录]http://www.cppblog.com/hitme/archive/2010/12/10/136067.html#136085坏坏Fri, 10 Dec 2010 10:49:00 GMThttp://www.cppblog.com/hitme/archive/2010/12/10/136067.html#136085basic_string也同样是第三个模板参数


坏 2010-12-10 18:49 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！http://www.cppblog.com/hitme/archive/2009/09/06/95217.html#95438唐风唐风Sun, 06 Sep 2009 15:19:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/06/95217.html#95438本身不就是排序的吗？为什么还要倒到vector里排？不解

唐风 2009-09-06 23:19 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！http://www.cppblog.com/hitme/archive/2009/09/04/95217.html#95305凡客诚品凡客诚品Fri, 04 Sep 2009 06:30:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/04/95217.html#95305

凡客诚品 2009-09-04 14:30 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！http://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95271gbbgbbThu, 03 Sep 2009 15:46:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95271

gbb 2009-09-03 23:46 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！[未登录]http://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95268dskitdskitThu, 03 Sep 2009 15:26:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95268可以用trie树，但是有中文，还有其他符号，好像就不好处理了

dskit 2009-09-03 23:26 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！http://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95263wcdjwcdjThu, 03 Sep 2009 15:00:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95263

wcdj 2009-09-03 23:00 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！http://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95238VincentVincentThu, 03 Sep 2009 08:56:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95238

Vincent 2009-09-03 16:56 发表评论
]]>re: 有没有更快的办法来统计一篇文章中的词组数量并排序输出（挑战速度）！[未登录]http://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95237foxriverfoxriverThu, 03 Sep 2009 08:53:00 GMThttp://www.cppblog.com/hitme/archive/2009/09/03/95217.html#95237

foxriver 2009-09-03 16:53 发表评论
]]>