把一个鸿蒙手机做成 OBS 的无线机位,画面链路打通之后就该加声音了。协议里本来给音频留了位置,代码半天写完,装机一录却发现得到的是部“哑片”:成片里 AAC 音轨规格齐全(48kHz、立体声、时长和画面严丝合缝),音量表却停在 -91.0 dB,也就是纯数字零;偏偏全链路日志一片绿,没有任何一环报错。下面把这个“哪里都没错但就是没声”的案子按六道坎拆开记录,每一道都是靠一个具体数字翻的案。
一、链路全貌:音频是在视频旁边铺一条平行轨道
无线机位的视频链路是:手机相机 → 硬件编码 H.264 → RCTM 协议帧 → 局域网 TCP(25890) → 平板硬解 → 画布。加音频就是在每个环节旁边再铺一条平行的轨道:手机侧用 OH_AudioCapturer 采集麦克风(48kHz、立体声、S16),按 1024 样本一个 AU 切片,送进 OH_AudioEncoder 做 AAC 编码,编码出来的帧和视频帧一起进 RCTM 队列;平板侧在 accept 循环里按帧头 flag 分流,喂给 OH_AudioDecoder 硬解,把解出来的交织数据拆成平面,再交给 libobs 的混音器 obs_source_output_audio。
协议层其实是最省心的一环。RCTM 帧头有一个 32 位 flags 字段,之前只用了 KEY 关键帧和 CONFIG 配置帧两位,第三位 AUDIO 当时是留白的,这次直接兑现(双端镜像头文件同步改):
- #define RCTM_FLAG_AUDIO 0x4u /* 载荷是 AAC 音频 AU,不是视频 */
复制代码
音频帧与视频帧走同一条 TCP 连接交错发送,帧头里那个 64 位 pts 沿用了视频的 CLOCK_MONOTONIC 纳秒。这个“沿用”后来闯了大祸,见第四道坎。
二、坎一:编码器输出带 ADTS 包装,解码器听的却是裸声
平板侧日志明明打了 AAC audio decoder started,可解码器的输出回调一次都没来过。第一反应是数据没喂进去,真正定位靠的是发送端的探针——在编码器的输出回调里把第一个音频帧的前 4 个字节打包成整数打出来:
- first audio AU: head=0xfff14c80 size=13 flags=0x0
复制代码
0xFFF1 是 ADTS 的同步字。也就是说鸿蒙的 OH_AudioEncoder 编出来的 AAC 自带 ADTS 头(.aac 裸流文件那种格式),而接收端给解码器配置的是 raw mp4a:raw 约定载荷里只有纯 AAC 数据,采样率、声道、profile 这些配置要在带外通过 AudioSpecificConfig 单独送。解码器拿 7 个字节的 ADTS 头当 AAC 载荷去解,自然一个样本都出不来,而且一声不吭。
这里有个插曲值得记一笔:hilog 有隐私规则,用 %02x 这种裸格式打敏感数据会被吞成 <private>,第一版探针打出来是四个 <private>,白跑一轮装机。把四个字节拼成一个 uint32_t 再用 %{public} 打,才看到 0xfff14c80。hilog 打原始字节,要么打包成整数,要么整串标 public。
修法两条路:发送端剥掉 ADTS 头、再想办法把 AudioSpecificConfig 带外传(麻烦,且编码器不一定配合);或者接收端直接告诉解码器“进来的就是 ADTS”,一行搞定:
- /* 解码器 Configure 时声明输入是 ADTS 封装(自描述,无需带外 CSD) */
- OH_AVFormat_SetIntValue(fmt, OH_MD_KEY_AAC_IS_ADTS, 1);
复制代码
ADTS 自带配置(帧头里就有采样率索引和声道配置),解码器拿到第一帧就能自己开工,带外 CSD 的麻烦直接消失。顺带说一句选型上的隐患:当初设计 RCTM 时没做编解码格式协商字段,两端靠约定。约定一旦漂移(一端 ADTS 一端 raw),协议层不会报错,只会静默地什么都不产出——和第二道坎是同一类病。
三、坎二:解码器在等数据,主循环在等解码器
ADTS 声明加上,再录还是没声。这次平板侧探针显示:解码器的 onNeedInput 回调疯狂触发——73 万次,但每次要到的都是空的。
看代码就明白这是个死结。接收端 accept 循环照着视频路径的写法给音频也加了“就绪门控”:只有 adec_ready 为真才把数据推进 pending 队列。而 adec_ready 是在解码器的 onStreamChanged 回调里置位的——也就是解码器产出第一帧之后。循环依赖成立:解码器要拿到数据才产出,产出才置就绪,就绪了主循环才喂数据。谁都不动,onNeedInput 就以回调能达到的最快速度空转。
视频路径为什么没这个问题?因为视频解码器收到第一个 AU 就无条件启动,decoder_ready 只用来管分辨率几何信息到位没有,不在喂帧的必经之路上。音频这边把两个语义混进了一个标志。修法是把门控换回它本来的意思——“解码器启动了就喂”,产出与否交给解码器自己管:
- pthread_mutex_lock(&rc->adec_mutex);
- bool started = rc->adec != NULL;
- pthread_mutex_unlock(&rc->adec_mutex);
- if (!started && !rc->audio_disabled) {
- if (!adec_start(rc)) { bfree(payload); continue; }
- }
- if (!rc->audio_disabled) {
- adec_pending_push(rc, payload, size, pts, flags);
- }
复制代码
改完探针链第一次全绿:feed size=… → push ret=0 → new_output size=8192。8192 字节正好是 1024 样本 × 2 声道 × 4 字节,几何上就是一帧标准 AAC 解码输出。可录一段成片,音量表还是 -91.0 dB。
四、坎三:解码器不肯说自己吐的是什么格式
出帧了但没声,第一嫌疑是格式。Configure 时请求的是 32 位浮点输出(SAMPLE_F32LE),设备上的解码器完全可能不答应、默默给你 16 位整型。按 F32 去解交织 S16 的字节流,出来全是次正规数级别的垃圾——平均电平恰好就在 -91dB 附近这种数字。
问题是:怎么知道解码器实际吐的什么格式?文档给的三条自报家门的路全哑了。onStreamChanged 压根没触发(同一条链路上视频解码器是触发的,音频这个就是不响);OH_AudioDecoder_GetOutputDescription 能拿到 format 对象,但里面没有 OH_MD_KEY_AUDIO_SAMPLE_FORMAT 这个键;什么都不问、按请求值假定,就是现在这个 -91dB 的下场。
API 不报,那就看数据本身。float32 音频样本有个很硬的指纹:音频归一化到 ±1 以内,任何合法样本的 IEEE754 表示里,最高字节(符号+指数段)必然落在 0x3C~0x3F(正数)或 0xBC~0xBF(负数)这个小区间——指数字段就那么大。而 S16 的 PCM 字节,安静段高位字节全在 0x00/0xFF 附近,有声音时散布在整个 0~255 值域。两种格式的字节分布天差地别,取 256 个样本数一下“像 float 的比例”,几乎不会误判:
- /* 数据嗅探:float32 音频样本的最高字节必落在指数窗口内 */
- int n4 = min(attr->size / 4, 256);
- int floaty = 0;
- for (int i = 0; i < n4; i++) {
- uint8_t hi = src[i * 4 + 3] & 0x7F;
- if (hi >= 0x3C && hi <= 0x3F) floaty++;
- }
- rc->audio_format = (floaty * 10 >= n4 * 7) ? SAMPLE_F32LE : SAMPLE_S16LE;
复制代码
还有个时序细节救了一命:解码器刚启动的头几帧是合法的静音(AAC 预热),全零字节的 float 最高字节是 0x00,会被嗅成 S16。所以嗅探必须跳过零能量帧、只在有声音的帧上判定一次,判不出来就维持 F32 默认值。实测这台设备对手机流输出 F32(8192 字节/帧),对 mac 测试流输出 S16(4096 字节/帧)——同一台设备换个输入源格式都能变,靠 API 假定真的靠不住。
顺手把立体声处理也修严谨了:libobs 的 obs_source_output_audio 要平面数据(data[0] 左声道、data[1] 右声道),解码器给的是交织的,必须解交织;S16 和 F32 两条路都得走。之前只处理了 F32 立体声,S16 立体声掉进“未处理”分支被静默丢弃,本身又是一道小坎。再录:mean -91.0 dB、max -74.7 dB,有变化但整体还是死的。
五、坎四:两台设备各用各的手表
到这一步,接收端能收、能解、能出帧、格式也对了,声音就是进不了混音器。回头看伏笔:RCTM 帧头的 pts 用的是发送方 CLOCK_MONOTONIC 纳秒。CLOCK_MONOTONIC 是“从开机起走的表”,手机是手机开机的表,平板是平板开机的表,两个绝对值差着好几个小时的开机时长,毫无关系。视频没事,是因为视频帧时间戳在解码回调里被换成 attr.pts 再 os_gettime_ns() 兜底,而且视频丢几帧没人察觉。音频不行:libobs 混音器对时间戳非常较真,收到的音频帧时间戳离它自己的时钟太远(超前或滞后都算),直接丢弃,不报错、不打日志、连计数都不留。
修法是在接收端做一次时钟域的锚点桥接:这个 peer 的第一帧到达时,把两个世界的时间对齐一次,之后只保留对端时间轴上的增量:
- /* 首帧锚定:local = local_base + (peer_pts - peer_base) */
- if (rc->audio_ts_sender_base == 0) {
- rc->audio_ts_sender_base = attr->pts; /* 对端表的第一帧读数 */
- rc->audio_ts_local_base = os_gettime_ns(); /* 本机表的同一时刻 */
- }
- audio.timestamp = rc->audio_ts_local_base
- + ((int64_t)attr->pts - rc->audio_ts_sender_base);
复制代码
锚点要配一条纪律:换 peer 必须复位。后来 mac 测试流和手机先后接入同一台平板,第二个 peer 的帧被第一个 peer 的锚点一映射,时间戳直接飞出天际,症状和第四道坎一模一样。所以 accept 循环的 peer disconnected 路径里,锚点、嗅探结果、解码器全部归零重来——新的一条流就是新的时钟域。
六、坎五:13 字节的“静音帧”,是编码器被自己饿死了
平板侧改到这里,拿 mac 正弦测试流已经能出有声成片了,换回手机麦克风流还是哑的。回到发送端,老朋友探针又出现:first audio AU size=13——ADTS 头就占 7 字节,13 字节意味着载荷只有 6 字节,基本是一帧静音填充。可采集侧明明健康:同一个进程里麦克风回调的峰值统计是 26901(满量程 32767 的 82%,房间里有正常声音)。
给编码器的输入回调也装探针,数字一出来就破案:真实喂进去的数据 450 次,空转 46107 次,比例接近 100:1。原因在 onNeedInput 的写法上:编码器要输入缓冲时,如果此刻手里没数据,代码是“立刻把 size=0 的空 buffer 推回去”。这一推,编码器发现缓冲又空了,马上再要——回调以每秒七千八百次的频率疯狂往返,而真正的 PCM 数据每秒只有 47 块,全被热循环淹没,出来的自然全是静音帧。
正确做法是:没数据就别推,把 buffer 攥在手里等。回调线程阻塞在条件变量上,采集线程攒够一块就 notify 一次,编码器的输入节奏被数据本身牵着走:
- /* 无超时的等待:predicate 里带上 running/audio_live,stop 时统一唤醒 */
- s.apcm_cond.wait(lk, [&] {
- return !s.apcm.empty() || !s.running.load() || !s.audio_live;
- });
- ...
- OH_AudioEncoder_PushInputData(codec, index, attr); /* 只在有数据/退出时执行 */
复制代码
两个并发细节值得单独点名。其一,wait 会释放互斥锁,采集回调照常往里塞数据,不会互相卡死。其二,退出路径必须先在锁内翻转标志、再 notify_all:如果反过来(先 notify 后翻标志),等待方可能醒来看一眼旧标志又睡回去,而主线程已经去调 OH_AudioEncoder_Stop 了,Stop 要等回调归还 buffer,回调在等一个永远不会来的通知,锁死。丢唤醒这个教科书词,在真机上就是一次十几秒的 ANR。
改完的数字:starve 从 143 万降到 379(全是启动瞬间的瞬态),push 速率稳定在 47/s,和采集节拍完全一致。
七、坎六(环境加试):僵尸机位堵在门口
手机端修好后验证又卡一轮,这次是纯环境问题:平板在监听,手机点了“开始机位”,连接就是建不起来,日志显示 connect timeout。netstat 一看:0.0.0.0:25890 LISTEN,但 Recv-Q=3——监听队列里堆了三个已完成三次握手、等着被 accept 的连接,一个都没被取走,accept 线程卡死了。卡在上一台手机熄屏挂起前那条连接的 recv 上:它的 TCP 既没发 FIN 也没发数据(进程被冻结,socket 半死不活),平板的 accept 线程永远阻塞在那次 recv 里,新连接全在门口排队。
这是所有“单连接、长阻塞读”的服务端都会踩的雷,解法标准——给 socket 设接收超时,把“死没死”变成可判定的事:
- /* 看门狗:live 视频 33ms 一帧,10 秒静默 = peer 已死,断开重开 accept */
- struct timeval rcv_timeout = { .tv_sec = 10, .tv_usec = 0 };
- setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, &rcv_timeout, sizeof(rcv_timeout));
复制代码
read_full 里把 EAGAIN/EWOULDBLOCK 归入“断开”分支即可。10 秒这个数是数据节拍给的:视频帧间隔 33ms,正常链路永远到不了秒级静默,一旦到了,对面必是僵尸。
八、终审:440Hz 正弦流与 -17.3dB 的成片
排障排到一半时,“手机侧还是平板侧有问题”根本说不清,于是写了个小脚本:ffmpeg 生成 440Hz 正弦、ADTS 拆帧、按 RCTM 协议头发给平板,把发送端整个摘掉,只测接收链路。这个脚本立过两次功:一次证明接收端管线健康(正弦进、有声出),一次揪出“推送器没做实时节流、把 34 分钟音频 0.6 秒灌完、pts 超前被混音器全丢”——节流版 sleep 到 n × 1024/48000 的墙钟上才对。
真机终审:手机推流 → 平板录 12 秒 → 成片 9.58MB → 拉回 mac 验电平,mean_volume -54.4 dB、max_volume -17.3 dB。房间当时很安静,mean 偏低正常;-17.3dB 的峰值是真实声音信号,对比之前那串整整齐齐的 -91.0,这就是哑片和有声片的区别。混音器面板上“无线机位”作为第三个音轨出现在桌面音频、麦克风旁边,电平条随说话跳动;画面侧用与视频链路相同的 testsrc 抽帧流程复核依旧正常,且音画天然同轴——时间戳锚点桥接的副产品就是音视频共用对端时钟增量。
九、复盘:故障全长在接缝上
六道坎里有五道的共同点是:每一环单独看都在正常工作,日志全绿,坏在环与环的接缝上——封装格式对不上、就绪语义混用、时钟域没换算、回调节奏与数据节奏脱钩、连接生死没有判定。跨设备、跨进程的系统里,故障几乎不长在组件内部。真正攒下来的排障方法论就两条:
第一,探针要测数据能量,不能只测事件计数。“回调发生了 73 万次”和“字节和是 0”是两个世界的事实;这一轮如果只数事件不统计字节,第三、四、五道坎一道都翻不了案。
第二,给链路留一个“半程替换”的口子。正弦测试流、testsrc 视频流这类已知正确的信号源,值得在协议设计阶段就考虑进去——能随时摘掉链路一半做对照实验,比任何日志系统都管用。
对鸿蒙音视频方向的开发者来说,这篇记录的复用价值在于:OH_AudioEncoder 默认输出 ADTS、需要用 OH_MD_KEY_AAC_IS_ADTS 显式声明;OH_AudioDecoder 的输出采样格式不保证与请求一致且可能查不到;onNeedInput 里空推 buffer 会形成热循环饿死编码器;跨设备 pts 必须做时钟域桥接并在 peer 切换时复位。这四点是同类无线采集/投屏/录制应用最容易静默失败的坐标。 |