关于内存映射文件处理

今天看到一篇文章讲内存映射文件的处理，虽然自己没有处理过如此大的文件系统，但是好奇就也看了下，谁知道自己以后会不会用到或考到这方面的知识。所以就给自己 mark 一下，增加点自己的印象。

首先，通过 CreateFile() 函数来创建或打开一个文件内核对象，这个对象标识了磁盘上将要用作内存映射文件的文件。（其实是获取文件句柄）

其次，通过 CreateFileMapping() 函数来为刚才创建的文件内核对象创建一个文件映射内核对象并告诉系统文件的尺寸以及访问文件的方式。（获取文件映射内核对象的句柄）

再次，通过 MapViewOfFile() 函数将文件内核映射对象添加到进程中。（获取映射内核对象的指针）

接着，程序就可以通过指针进行常规的文件读取了，这里的操作就和文件操作一样，不做展开。

用完之后，还得回收，先用 UnmapViewOfFile() 将释放映射内核对象指针，然后通过 CloseHandle 关闭之前创建的文件映射内核对象句柄和文件内核对象句柄。

以下是我找到的文章的出处： http://newcactus.bokee.com/viewdiary.15316244.html

下面纯粹是粘贴别人的作品：

VC++ 中使用内存映射文件处理大文件

摘要： 本文给出了一种方便实用的解决大文件的读取、存储等处理的方法，并结合相关程序代码对具体的实现过程进行了介绍。

　　引言

　　文件操作是应用程序最为基本的功能之一，Win32 API和MFC均提供有支持文件处理的函数和类，常用的有Win32 API的CreateFile()、WriteFile()、ReadFile()和MFC提供的CFile类等。一般来说，以上这些函数可以满足大多数场合的要求，但是对于某些特殊应用领域所需要的动辄几十GB、几百GB、乃至几TB的海量存储，再以通常的文件处理方法进行处理显然是行不通的。目前，对于上述这种大文件的操作一般是以内存映射文件的方式来加以处理的，本文下面将针对这种Windows核心编程技术展开讨论。

　　内存映射文件

　　内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而非系统的页文件，而且在对该文件进行操作之前必须首先对文件进行映射，就如同将整个文件从磁盘加载到内存。由此可以看出，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。另外，实际工程中的系统往往需要在多个进程之间共享数据，如果数据量小，处理方法是灵活多变的，如果共享数据容量巨大，那么就需要借助于内存映射文件来进行。实际上，内存映射文件正是解决本地多个进程间数据共享的最有效方法。

　　内存映射文件并不是简单的文件I/O操作，实际用到了Windows的核心编程技术--内存管理。所以，如果想对内存映射文件有更深刻的认识，必须对Windows操作系统的内存管理机制有清楚的认识，内存管理的相关知识非常复杂，超出了本文的讨论范畴，在此就不再赘述，感兴趣的读者可以参阅其他相关书籍。下面给出使用内存映射文件的一般方法：

　　首先要通过CreateFile()函数来创建或打开一个文件内核对象，这个对象标识了磁盘上将要用作内存映射文件的文件。在用CreateFile()将文件映像在物理存储器的位置通告给操作系统后，只指定了映像文件的路径，映像的长度还没有指定。为了指定文件映射对象需要多大的物理存储空间还需要通过CreateFileMapping()函数来创建一个文件映射内核对象以告诉系统文件的尺寸以及访问文件的方式。在创建了文件映射对象后，还必须为文件数据保留一个地址空间区域，并把文件数据作为映射到该区域的物理存储器进行提交。由MapViewOfFile()函数负责通过系统的管理而将文件映射对象的全部或部分映射到进程地址空间。此时，对内存映射文件的使用和处理同通常加载到内存中的文件数据的处理方式基本一样，在完成了对内存映射文件的使用时，还要通过一系列的操作完成对其的清除和使用过资源的释放。这部分相对比较简单，可以通过UnmapViewOfFile()完成从进程的地址空间撤消文件数据的映像、通过CloseHandle()关闭前面创建的文件映射对象和文件对象。

　　内存映射文件相关函数

　　在使用内存映射文件时，所使用的API函数主要就是前面提到过的那几个函数，下面分别对其进行介绍：

　　函数CreateFile()即使是在普通的文件操作时也经常用来创建、打开文件，在处理内存映射文件时，该函数来创建/打开一个文件内核对象，并将其句柄返回，在调用该函数时需要根据是否需要数据读写和文件的共享方式来设置参数dwDesiredAccess和dwShareMode，错误的参数设置将会导致相应操作时的失败。

　　CreateFileMapping()函数创建一个文件映射内核对象，通过参数hFile指定待映射到进程地址空间的文件句柄（该句柄由CreateFile()函数的返回值获取）。由于内存映射文件的物理存储器实际是存储于磁盘上的一个文件，而不是从系统的页文件中分配的内存，所以系统不会主动为其保留地址空间区域，也不会自动将文件的存储空间映射到该区域，为了让系统能够确定对页面采取何种保护属性，需要通过参数flProtect来设定，保护属性PAGE_READONLY、PAGE_READWRITE和PAGE_WRITECOPY分别表示文件映射对象被映射后，可以读取、读写文件数据。在使用PAGE_READONLY时，必须确保CreateFile()采用的是GENERIC_READ参数；PAGE_READWRITE则要求CreateFile()采用的是GENERIC_READ|GENERIC_WRITE参数；至于属性PAGE_WRITECOPY则只需要确保CreateFile()采用了GENERIC_READ和GENERIC_WRITE其中之一即可。DWORD型的参数dwMaximumSizeHigh和dwMaximumSizeLow也是相当重要的，指定了文件的最大字节数，由于这两个参数共64位，因此所支持的最大文件长度为16EB，几乎可以满足任何大数据量文件处理场合的要求。

　　MapViewOfFile()函数负责把文件数据映射到进程的地址空间，参数hFileMappingObject为CreateFileMapping()返回的文件映像对象句柄。参数dwDesiredAccess则再次指定了对文件数据的访问方式，而且同样要与CreateFileMapping()函数所设置的保护属性相匹配。虽然这里一再对保护属性进行重复设置看似多余，但却可以使应用程序能更多的对数据的保护属性实行有效控制。MapViewOfFile()函数允许全部或部分映射文件，在映射时，需要指定数据文件的偏移地址以及待映射的长度。其中，文件的偏移地址由DWORD型的参数dwFileOffsetHigh和dwFileOffsetLow组成的64位值来指定，而且必须是操作系统的分配粒度的整数倍，对于Windows操作系统，分配粒度固定为64KB。当然，也可以通过如下代码来动态获取当前操作系统的分配粒度：

　　参数dwNumberOfBytesToMap指定了数据文件的映射长度，这里需要特别指出的是，对于Windows 9x操作系统，如果MapViewOfFile()无法找到足够大的区域来存放整个文件映射对象，将返回空值（NULL）；但是在Windows 2000下，MapViewOfFile()只需要为必要的视图找到足够大的一个区域即可，而无须考虑整个文件映射对象的大小。

　　在完成对映射到进程地址空间区域的文件处理后，需要通过函数UnmapViewOfFile()完成对文件数据映像的释放，该函数原型声明如下：

　　唯一的参数lpBaseAddress指定了返回区域的基地址，必须将其设定为MapViewOfFile()的返回值。在使用了函数MapViewOfFile()之后，必须要有对应的UnmapViewOfFile()调用，否则在进程终止之前，保留的区域将无法释放。除此之外，前面还曾由CreateFile()和CreateFileMapping()函数创建过文件内核对象和文件映射内核对象，在进程终止之前有必要通过CloseHandle()将其释放，否则将会出现资源泄漏的问题。

　　除了前面这些必须的API函数之外，在使用内存映射文件时还要根据情况来选用其他一些辅助函数。例如，在使用内存映射文件时，为了提高速度，系统将文件的数据页面进行高速缓存，而且在处理文件映射视图时不立即更新文件的磁盘映像。为解决这个问题可以考虑使用FlushViewOfFile()函数，该函数强制系统将修改过的数据部分或全部重新写入磁盘映像，从而可以确保所有的数据更新能及时保存到磁盘。
使用内存映射文件处理大文件应用示例

　　下面结合一个具体的实例来进一步讲述内存映射文件的使用方法。该实例从端口接收数据，并实时将其存放于磁盘，由于数据量大（几十GB），在此选用内存映射文件进行处理。下面给出的是位于工作线程MainProc中的部分主要代码，该线程自程序运行时启动，当端口有数据到达时将会发出事件hEvent[0]，WaitForMultipleObjects()函数等待到该事件发生后将接收到的数据保存到磁盘，如果终止接收将发出事件hEvent[1]，事件处理过程将负责完成资源的释放和文件的关闭等工作。下面给出此线程处理函数的具体实现过程：

　　在终止事件触发处理过程中如果只简单的执行UnmapViewOfFile()和CloseHandle()函数将无法正确标识文件的实际大小，即如果开辟的内存映射文件为30GB，而接收的数据只有14GB，那么上述程序执行完后，保存的文件长度仍是30GB。也就是说，在处理完成后还要再次通过内存映射文件的形式将文件恢复到实际大小，下面是实现此要求的主要代码：

　　结论

　　经实际测试，内存映射文件在处理大数据量文件时表现出了良好的性能，比通常使用CFile类和ReadFile()和WriteFile()等函数的文件处理方式具有明显的优势。本文所述代码在Windows 98下由Microsoft Visual C++ 6.0编译通过。

枚举串口四法

串口作为最基本的电脑通信 I/O 接口，其使用虽然在 PC 上越来越少，但是在工业仪器领域仍然用的相当普遍，由于笔者工作中需要用到串口，而且发现枚举串口至今仍未搞得很清楚，为此自己先整理下，希望大侠和同行们对我不懂和错误的地方指点一下。

1 、查询注册表

查询注册表的方法是网上见到的比较常见的方法，该方法就是使用编程方法读取注册表内信息，相当于用户通过在运行框内输入 ”regedit” （或 regedit32 ）直接打开注册表，查看“ HKEY_LOCAL_MACHINE\HARDWARE\DEVICEMAP\SERIALCOMM ”项来获取串口信息。以下是源代码：

CString   strSerialList[256];  // 临时定义 256 个字符串组，因为系统最多也就 256 个

HKEY hKey;

LPCTSTR data_Set="HARDWARE\\DEVICEMAP\\SERIALCOMM\\";

long ret0 = (::RegOpenKeyEx(HKEY_LOCAL_MACHINE, data_Set, 0, KEY_READ, &hKey));

if(ret0 != ERROR_SUCCESS)

{

return -1;

}

int i = 0;

CHAR Name[25];

UCHAR szPortName[25];

LONG Status;

DWORD dwIndex = 0;

DWORD dwName;

DWORD dwSizeofPortName;

DWORD Type;

dwName = sizeof(Name);

dwSizeofPortName = sizeof(szPortName);

do

{

Status = RegEnumValue(hKey, dwIndex++, Name, &dwName, NULL, &Type,

      szPortName, &dwSizeofPortName);

if((Status == ERROR_SUCCESS)||(Status == ERROR_MORE_DATA))

{

strSerialList[i] = CString(szPortName);       // 串口字符串保存

i++;// 串口计数

   }

} while((Status == ERROR_SUCCESS)||(Status == ERROR_MORE_DATA));

RegCloseKey(hKey);

以上方法同样也可以实现对并口的查询，只要将 "HARDWARE \\ DEVICEMAP\\ SERIALCOMM\\" 用 "HARDWARE\\DEVICEMAP\\PARALLEL PORTS\\" 代替就行了。

比较：该方法时间最省，笔者在自己电脑上试过，在 1ms （少于 1ms 的我也不知道怎么编程计时）内即可完成；同时也可解决 usb 转串口设备的问题，比较实用，唯一缺点是，如果用户在装某些软硬件时在注册表中注册了虚拟串口之类的，用此法枚举得到的该类串口实际上是不能当串口用的。

2 、使用 EnumPort 方法

该方法调用 EnumPort （） API 函数，该函数本身就是枚举电脑端口用的，它枚举的并非只有串口，所以必须对其所得串口进行分析选择，以下是源代码：

       int m_nSerialPortNum(0);// 串口计数

       CString          strSerialList[256];  // 临时定义 256 个字符串组

       LPBYTE pBite  = NULL;

       DWORD pcbNeeded = 0;  // bytes received or required

       DWORD pcReturned = 0;  // number of ports received

       m_nSerialPortNum = 0;

       // 获取端口信息，能得到端口信息的大小 pcbNeeded

       EnumPorts(NULL, 2, pBite, 0, &pcbNeeded, &pcReturned);

       pBite = new BYTE[pcbNeeded];

       // 枚举端口，能得到端口的具体信息 pBite 以及端口的的个数 pcReturned

       EnumPorts(NULL, 2, pBite, pcbNeeded, &pcbNeeded, &pcReturned);

       PORT_INFO_2 *pPort;

       pPort = (PORT_INFO_2*)pBite;

       for ( i = 0; i < pcReturned; i++)

       {

              CString str = pPort[i].pPortName;

              // 串口信息的具体确定

              if (str.Left(3) == "COM")

              {                  

                     strSerialList[m_nSerialPortNum] = str.Left(strlen(str) - 1);

                     //CString temp = str.Right(strlen(str) - 3);// 下面两行注释获取串口序号用

                     //m_nSerialPortNo[m_nSerialPortNum] = atoi(temp.Left(strlen(temp) - 1));

                     m_nSerialPortNum++;                

              }

       }

以上方法除了串口，还可以枚举所有的并口和打印机等接口，而且能找到虚拟串口（这些串口有些未使用时，在注册表和硬件设备管理器中是不能取得的）。但是该方法稍微耗时些，笔者在自己电脑上试过，大概需要几十 ms ，主要问题是该方法有些 usb 串口并不能查到，所以该方法并不可靠。

3 、依次打开串口的方法

该方法就是中规中矩的依次打开串口，看打开是否成功来判断串口的有无，该方法源代码如下：

       int m_nSerialPortNum(0);// 串口数

       CString          strSerialList[256];  // 临时定义 30 个字符串组

       int nCom = 0;

       int count = 0;

       HANDLE hCom;

       do {

              nCom++;

              strCom.Format("COM%d", nCom);

              hCom = CreateFile(strCom, 0, 0, 0,

                     OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, 0);

              if(INVALID_HANDLE_VALUE == hCom )

                     break;

              strSerialList[m_nSerialPortNum] = strCom;

              m_nSerialPortNum++;         

              CloseHandle(hCom);

       } while(1);

以上方法枚举的都是当前可用的串口，如果有一个串口当前被占用则其后的串口也将无法枚举得到，当然以上方法也可以改成调用 for 循环让其枚举打开 256 个串口的方法以避免上述情况，不过该方法比前两种更耗时（一般查找一个串口就要 15ms 左右），不过可以枚举得到所有当前可打开的串口，当然不能枚举得到一些虚拟串口。

4 、使用 SetupAPI 函数集的方法

此种方法是我所见过最简单的方法，之所以简单是因为已经有人将复杂的代码封装起来了，我只需像傻子一样调用就可以完成工作了，具体的说明请看http://www.codeguru.com/Cpp/W-P/system/hardwareinformation/article.php/c5721/ ，下面给出本人调用该方法的例子代码：

       int m_nSerialPortNum(0);// 串口计数

       CString          strSerialList[256];  // 临时定义 256 个字符串组

       CArray<SSerInfo,SSerInfo&> asi;

       EnumSerialPorts(asi,TRUE);// 参数为 TRUE 时枚举当前可以打开的串口， 
// 否则枚举所有串口

       m_nSerialPortNum = asi.GetSize();

       for (int i=0; i<asi.GetSize(); i++)

       {

              CString str = asi[i].strFrien dlyName;

       }

补充说明一下，使用该方法只要在你的程序中，添加“ EnumSerial.cpp ”和“ EnumSerial.h ”两个文件，并且将 Setupapi.lib 包含进你的工程文件中就行了，该方法时间上来说可能和第三种方法差不多，但该方法获取的串口完完全全就是硬件设备管理器中的串口。

以上是笔者对枚举串口几种方法的小结，有些没弄明白或含糊的地方，还请指正。

如何去除对话框默认的Enter和Esc按键响应

MFC 从简化方便入手，为我们创建的对话框，都增加了一个缺省的 Enter 和 Esc 键响应，前者响应对话框的 IDOK 按钮，后者响应 IDCANCEL 按钮，但是有时我们创建的对话框不需要这个简便的响应操作，奇怪的是我们在去除 IDOK 按钮和 IDCANCEL 按钮后还是实现不了禁止如上两个缺省按键的响应。那么该如何实现呢，以下便是解决过程（以去除 Enter 键响应为例）：

首先，利用 ClassWizard 为对话框的 IDOK 添加单击响应函数，去除该函数中默认的 OnOK 函数响应，如下所示

void CDialogDemoDlg::OnOK()

{

      CDialog::OnOK();

}

改为

void CDialogDemoDlg::OnOK()

{

      //CDialog::OnOK();

}

注：进行如上这步后，显然你不论再怎么按 Enter 键都无法使对话框退出了，但是也导致该对话框就算用户用鼠标点击 IDOK 按钮也无法实现对话框默认的 OnOK 函数了。所以这一步只是解决了一个现象问题，本没有真正解决问题。下面我们要恢复这个按钮的功能。

其次，去除缺省按钮。在资源视图下，将 IDOK 按钮属性栏中的 Default button 属性勾去。使得默认 Enter 键不再继续响应该按钮。

第三，恢复 OnOk 函数的功能。首先在资源视图中，将 IDOK 按钮的 ID 改变为 IDC_OK( 这里用户根据需要可以自己设置资源的 ID) ；其次为其添加单击响应函数，并在需要执行结束的代码后添加 CDialog::OnOK() 函数，如下所示：

void CDialogDemoDlg::OnOk()

{

      ......// 省其它处理代码

      CDialog::OnOK();

}

如上所述过程后，整个 Enter 键默认响应已经去除，而且也不会影响对话框正常响应 OnOK 函数的功能，在如上对话框处理后，如果 IDC_OK 按钮的 TabOrder 属性为 1 的话，按 Enter 键就相当于鼠标单击 IDC_OK, 所以用户必须在“ Layout ”的“ Tab Order ”下面重新布置 IDC_OK 按钮的 TabOrder 顺序。

也许细心的读者会发现，有时当不用进行第三步操作时，直接将第一步 OnOK() 函数中注释的 CDialog::OnOK() 代码重新启用，也是可以“完成”去除 Enter 键默认响应的特性，何必要进行第三步这么复杂的操作，其实不进行第三步操作，并非真正实现了去除 Enter 键响应，比如对话框上有一个 Edit 控件时，在编辑 Edit 结束后，用户按下 Enter 键，程序就又马上去响应 OnOK 函数了。

好了，去除对话框 Enter 键缺省响应的过程就介绍到这里，读者可以试着去去除 Esc 键的响应。

（注，该方法本人也是书上得来，仅做个人总结）