问题背景

录音播音实际需求

1、随时终止

2、录音并非文件，而是形成rtp发送

3、播音并非源于文件，而是源于rtp

因此Waveform audio使用的buffer较小，不断的装载/发送 buffer,终止的时候Reset并且close.

大致如下调用的循环

录音

waveInUnprepareHeader

waveInPrepareHeader

waveInAddBuffer

播音

waveOutUnprepareHeader

waveOutPrepareHeader

waveOutWrite

循环周期40ms，我采用的是回调函数。问题是有时候调用waveInReset/waveOutReset会形成死锁，调用waveInReset/waveOutReset的线程与回调函数所在的线程死锁在一块了。

原因分析

这方面网上有文章提到，就是调用waveInReset/waveOutReset的同时调用了录音/播音循环调用的某个函数会形成死锁。我再稍作解释下，我们知道buffer满了或是调用Reset都会触发消息（回调函数方式的话就是MM_WOM_DONE/MM_WIM_DATA），由于调用waveInReset/waveOutReset所在的线程，与回调函数所在的线程不是一个线程，因此很容易撞车，也就是说，你调用reset的时候，另一个线程正好在处理MM_WOM_DONE/MM_WIM_DATA，于是就这样死锁了。

解决方案

方案一

先加上标记(假设标记bReset:bool)，令bReset为true;

标记作用如下

if(!bReset)

{

录音

waveInUnprepareHeader

waveInPrepareHeader

waveInAddBuffer

播音

waveOutUnprepareHeader

waveOutPrepareHeader

waveOutWrite

}

延时调用waveInReset/waveOutReset，延时时间长度以循环周期为妙，我这个例子中也就是采用40ms。

当然也可以采用临界保护。

方案二

换一个角度去考虑问题，之所以死锁，是因为两个线程冲突了的缘故，所以可以建立一个线程

录音

waveInUnprepareHeader

waveInPrepareHeader

waveInAddBuffer

播音

waveOutUnprepareHeader

waveOutPrepareHeader

waveOutWrite

与waveInReset/waveOutReset都放到这个线程去处理，自然不会发生死锁了。

微软的代码签名软件 SignCode.exe 的缺省的“典型”签名类型，就是“从存储区选择”签名证书，同时由于微软的 Office 宏代码签名只支持同时包含了私钥和公钥的 PFX 格式签名证书，也就是直接“从存储区选择”签名证书。在收到证书后请用户先 Windows 的证书存储区导出备份签名证书，导出的证书格式为 PFX 格式，保管好证书的密码。

下载Thawte代码签名证书的中级根证书：
https://search.thawte.com/support/ssl-digital-certificates/index?page=content&id=AR1382

下载VeriSign代码签名证书的中级根证书：
http://www.verisign.com/support/verisign-intermediate-ca/code-signing-intermediate/index.html

 使用微软的 SignCode.exe 就可以对微软的代码进行签名，如果您没有此文件，您可以点击 这里下载。 Signcode.exe 可以使用 DOS 命令行方式实现签名，我们推荐用户使用数字签名向导方式，简单方便。请注意：如果您开发的ActiveX为IE加载项，请先数字签名每个CAB文件中的.dll和.ocx等文件，再把这些文件打包成.cab文件后再数字签名.cab文件，以确保所有IE加载项都被IE验证和信任，否则会显示“未验证”而可能影响正常运行。

具体签名向导过程如下：

    (1) 运行 Signcode.exe ，要求您选择需要签名的文件，支持：可执行文件 (*.exe; *.dll; *.ocx) ； Cabinet 打包文件 (*.cab) 和目录文件 (*.cat) ，如下图 1 所示 ( 如： TestSign.cab) ，请注意：如果签名的文件已经有数字签名，则会被新的签名覆盖 
(2) 点击“下一步”后，如下图 2 所示，会要求您选择“签名类型”， 直接点击“下一步”即可，即选择缺省的“典型”签名类型： 

  (3) 如下图 3 所示，点击“从存储区选择”，则会显示您的电脑证书存储区的所有证书，包括存储在电脑和 USB Key 中的所有数字证书，选择您的签名证书即可： 

(4) 如下图 4 所示，要求填写该签名代码的功能描述，推荐一定要认真填写，因为此信息将会在最终用户下载此代码时显示，有助于最终用户了解此代码的功能以确定是否下载安装。第一行“描述”是指此代码的功能文字描述，第二行“ Web 位置”则让最终用户点击文字描述来详细了解此代码的功能和使用方法等。

(5) 点击“下一步”后，如下图 9 所示，选中“将时间戳添加到数据中”，请使用:

VeriSign 免费提供的时间戳URL：http://timestamp.verisign.com/scripts/timestamp.dll

    时间戳服务非常重要，添加时间戳后，即使您的代码签名证书已经过期，但由于您的代码是在证书有效期内签名的，则时间戳服务保证了此代码仍然可信，最终用户仍然可以放心下载，使得即使代码签名证书已经过期，您也无需重签已经签名的代码。

 (6) 点击“下一步”后，如下图 6 所示，会提示已经完成数字签名向导，点击“完成”就完成了中文版代码签名证书的代码签名。
 

AEC回声抑制算法，这个比较难，目前可以使用directsound进行处理，不过只能在xp下使用，别的系统不支持！
目前gips对本算法有出色的实现，skype就是使用的该引擎！
要想自己实现，恐怕很困难！
 

AEC 模块是 Microsoft DirectSound 底层结构的一部分。该组件包括下列特性和限制：

AEC只在不超过 25×15×9 英尺的小房间才会有效； 
AEC只对单声道有效，当输出是多个通道的立体声的时候，只有一个通道能够具有回波抵消的效果； 
AEC不能抵消来自其它声音源的声音，比如背景中收音机放出来的歌曲；
IDirectSoundFullDuplex8*      DirectSoundFD;//
IDirectSoundCaptureBuffer8*  DirectSoundCaptureBuf8;//捕捉缓冲区接口指针
IDirectSoundBuffer8*         DirectSoundBuf8;//回放缓冲区接口指针
IDirectSoundBuffer8*         pIUnkown;//回放缓冲区接口指针

extern "C" const GUID IID_IDirectSoundBuffer8 = {0x6825a449, 0x7524, 0x4d82,{ 0x92, 0x0f, 0x50, 0xe3, 0x6a, 0xb3, 0xab, 0x1e}};
extern "C" const GUID GUID_DSCFX_MS_NS        = {0x11c5c73b, 0x66e9, 0x4ba1, {0xa0, 0xba, 0xe8, 0x14, 0xc6, 0xee, 0xd9, 0x2d}};
extern "C" const GUID GUID_DSCFX_CLASS_NS = {0xe07f903f, 0x62fd, 0x4e60, {0x8c, 0xdd, 0xde, 0xa7, 0x23, 0x66, 0x65, 0xb5}};
extern "C" const GUID GUID_DSCFX_MS_AEC = {0xcdebb919, 0x379a, 0x488a, {0x87, 0x65, 0xf5, 0x3c, 0xfd, 0x36, 0xde, 0x40}};
extern "C" const GUID GUID_DSCFX_CLASS_AEC = {0xBF963D80L, 0xC559, 0x11D0, {0x8A, 0x2B, 0x00, 0xA0, 0xC9, 0x25, 0x5A, 0xC1}};
extern "C" const GUID DAlgorithm ={0x00000000,  0x0000, 0x0000, {0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00}};

//1.创建及初始化DirectSound
WAVEFORMATEX WaveDataFormat={WAVE_FORMAT_PCM, 1,8000,16000,2,16, 0};             
//回放缓冲区。render buffer
DSBUFFERDESC desc;
memset(&desc, 0, sizeof(desc)); 
desc.dwSize = sizeof(desc);
desc.dwFlags = DSBCAPS_CTRLFX | DSBCAPS_GLOBALFOCUS;
desc.dwBufferBytes = 2000 * NUM_REC_NOTIFICATIONS;//待定
desc.dwReserved = 0;
desc.lpwfxFormat = &WaveDataFormat;
   

//捕捉缓冲区AEC和NS效果。
DSCEFFECTDESC efft[2];
memset(efft, 0, sizeof(efft));
//AEC效果
efft[0].dwSize = sizeof(efft[0]);
efft[0].dwFlags = DSCFX_LOCSOFTWARE;
efft[0].guidDSCFXClass = GUID_DSCFX_CLASS_AEC;
efft[0].guidDSCFXInstance = GUID_DSCFX_MS_AEC;
//NS效果
efft[1].dwSize = sizeof(efft[1]);
efft[1].dwFlags = DSCFX_LOCSOFTWARE;
efft[1].guidDSCFXClass = GUID_DSCFX_CLASS_NS;
efft[1].guidDSCFXInstance = GUID_DSCFX_MS_NS;
    
//捕捉缓冲区。capture buffer
DSCBUFFERDESC cdesc;
memset(&cdesc, 0, sizeof(cdesc));
cdesc.dwSize = sizeof(cdesc);
cdesc.dwFlags = DSCBCAPS_CTRLFX; 
cdesc.dwBufferBytes =  2000 * NUM_REC_NOTIFICATIONS;//待定
cdesc.lpwfxFormat = &WaveDataFormat;
cdesc.dwFXCount = 2;
cdesc.lpDSCFXDesc = efft;

HWND win = AfxGetApp()->m_pMainWnd->m_hWnd;
hr = DirectSoundFullDuplexCreate8(0, 0,&cdesc, &desc,win, 
DSSCL_PRIORITY,&DirectSoundFD, &DirectSoundCaptureBuf8,&DirectSoundBuf8, 0); 
DXTRACE_ERR( TEXT("DirectSoundFullDuplexCreate8"), hr );
//成功创建DirectSoundFD，DirectSoundCaptureBuf8，DirectSoundBuf8，均不为零。

if(!FAILED(hr))
    DirectSoundFD->QueryInterface(IID_IDirectSoundBuffer8, (void**)pIUnkown);
//发现上面的pIUnkown=0，查询失败，为什么？
    AfxMessageBox("失败");

bool CUDPRecvSendThread::postRecvRequest(CUdpOverLappedRecv* pOverLappedRecv)
{
    ASSERT(pOverLappedRecv);
    if (pOverLappedRecv == NULL) return false;

    pOverLappedRecv->Reset();

    DWORD dwBytesRecv = 0;
    DWORD dwFlags = 0;
    int nSenderAddrSize = sizeof (sockaddr_in);

    int rc = 0;
    rc = ::WSARecvFrom(m_ServerSocket, pOverLappedRecv->GetWsaBuffer(), 1, &dwBytesRecv, &dwFlags,
        pOverLappedRecv->GetClientAddr(), &nSenderAddrSize,
        pOverLappedRecv->GetOverlapped(), NULL);

    if (rc == SOCKET_ERROR)
    {
        DWORD dwErrorCode = ::WSAGetLastError();
        if (dwErrorCode != WSA_IO_PENDING)
        {
            return false;
        }
    }

    return true;
}

你会发现,这个参数是一个输入输出值.而WSARecvFrom投递的是一个异步的IOCP请求,故而,出了此方法(CUDPRecvSendThread::postRecvRequest)之后,nSenderAddrSize这个临时变量就会被回收.不出事才怪了.
好吧,这事就是我干出来的.今年竟是做一些脑残的事情.肿么了我这是.T_T
要解决这个问题,最好的办法就是把nSenderAddrSize作为CUdpOverLappedRecv的成员变量保存,这样生命周期可以得以保证.
好吧,这件脑残事就这么结了.

用FFMPEG SDK进行视频转码压缩的时候，转码成功后去看视频的内容，发现音视频是不同步的。这个的确是一个恼火的事情。我在用FFMPEG SDK做h264格式的FLV文件编码Filter的时候就碰到了这个问题。

        经过研究发现，FFMPEG SDK写入视频的时候有两个地方用来控制写入的时间戳，一个是AvPacket, 一个是AvFrame。 在调用avcodec_encode_video的时候需要传入AvFrame的对象指针，也就是传入一帧未压缩的视频进行压缩处理，AvFrame包含一个pts的参数，这个参数就是当前帧将来在还原播放的时候的时间戳。而AvPacket里面也有pts，还有dts。说起这个就必须要说明一下I,P,B三种视频压缩帧。I帧就是关键帧，不依赖于其他视频帧，P帧是向前预测的帧，只依赖于前面的视频帧，而B帧是双向预测视频帧，依赖于前后视频帧。由于B帧的存在，因为它是双向的，必须知道前面的视频帧和后面的视频帧的详细内容后，才能知道本B帧最终该呈现什么图像。而pts和dts两个参数就是用来控制视频帧的显示和解码的顺序。

      pts就是帧显示的顺序。

      dts就是帧被读取进行解码的顺序。

     如果没有B帧存在，dts和pts是相同的。反之，则是不相同的。关于这个的详细介绍可以参考一下mpeg的原理。

再说说AvPacket中包含的pts和dts两个到底该设置什么值？

pts和dts需要设置的就是视频帧解码和显示的顺序。每增加一帧就加一，并不是播放视频的时间戳。

但是实践证明经过rmvb解码的视频有时候并不是固定帧率的，而是变帧率的，这样，如果每压缩一帧，pts和dts加一的方案为导致音视频不同步。

那怎么来解决音视频同步的问题呢？

请看如下代码段。

lTimeStamp 是通过directshow 获取的当前的视频帧的时间戳。

m_llframe_index为当前已经经过压缩处理的帧的数量。

首先av_rescale计算得到当前压缩处理已经需要处理什么时间戳的视频帧，如果该时间戳尚未到达directshow当前提供的视频帧的时间戳，则将该帧丢弃掉。

否则进行压缩操作。并设置AVPacket的pts和dts。这里假设B帧不存在。

因为在将来播放的时候视频以我们设定的固定播放帧率进行播放，所以需要根据设定的播放帧率计算得到的视频帧时间戳和directshow提供的当前视频帧的时间戳进行比较，设定是否需要进行实施延缓播放的策略。如果需要延缓播放，则将pts增加步长2，否则以普通速度播放，则设置为1.dts与之相同。

__int64 x = av_rescale(m_llframe_index,AV_TIME_BASE*(int64_t)c->time_base.num,c->time_base.den);

if( x > lTimeStamp )
{
return TRUE;
}
m_pVideoFrame2->pts = lTimeStamp;
m_pVideoFrame2->pict_type = 0;

int out_size = avcodec_encode_video( c, m_pvideo_outbuf, video_outbuf_size, m_pVideoFrame2 );

if (out_size > 0)
{
AVPacket pkt;
av_init_packet(&pkt);

if( x > lTimeStamp )
{
   pkt.pts = pkt.dts = m_llframe_index;
   pkt.duration = 0;
}
else
{
   pkt.duration = (lTimeStamp - x)*c->time_base.den/1000000 + 1;
   pkt.pts = m_llframe_index;
   pkt.dts = pkt.pts;
   m_llframe_index += pkt.duration;
}

//pkt.pts = lTimeStamp * (__int64)frame_rate.den / 1000;
if( c->coded_frame && c->coded_frame->key_frame )
{
    pkt.flags |= PKT_FLAG_KEY;
}

pkt.stream_index= m_pVideoStream->index;
pkt.data= m_pvideo_outbuf;
pkt.size= out_size;


ret = av_interleaved_write_frame( m_pAvFormatContext, &pkt );
}
else
{
ret = 0;
}