查看: 77|回复: 3

鸿蒙OBS机位AAC音频-91dB无声:六道连环坎排查与修复

[复制链接]
发表于 半小时前 | 显示全部楼层 |阅读模式
把一个鸿蒙手机做成 OBS 的无线机位,画面链路打通之后就该加声音了。协议里本来给音频留了位置,代码半天写完,装机一录却发现得到的是部“哑片”:成片里 AAC 音轨规格齐全(48kHz、立体声、时长和画面严丝合缝),音量表却停在 -91.0 dB,也就是纯数字零;偏偏全链路日志一片绿,没有任何一环报错。下面把这个“哪里都没错但就是没声”的案子按六道坎拆开记录,每一道都是靠一个具体数字翻的案。

一、链路全貌:音频是在视频旁边铺一条平行轨道

无线机位的视频链路是:手机相机 → 硬件编码 H.264 → RCTM 协议帧 → 局域网 TCP(25890) → 平板硬解 → 画布。加音频就是在每个环节旁边再铺一条平行的轨道:手机侧用 OH_AudioCapturer 采集麦克风(48kHz、立体声、S16),按 1024 样本一个 AU 切片,送进 OH_AudioEncoder 做 AAC 编码,编码出来的帧和视频帧一起进 RCTM 队列;平板侧在 accept 循环里按帧头 flag 分流,喂给 OH_AudioDecoder 硬解,把解出来的交织数据拆成平面,再交给 libobs 的混音器 obs_source_output_audio。

协议层其实是最省心的一环。RCTM 帧头有一个 32 位 flags 字段,之前只用了 KEY 关键帧和 CONFIG 配置帧两位,第三位 AUDIO 当时是留白的,这次直接兑现(双端镜像头文件同步改):
  1. #define RCTM_FLAG_AUDIO 0x4u /* 载荷是 AAC 音频 AU,不是视频 */
复制代码

音频帧与视频帧走同一条 TCP 连接交错发送,帧头里那个 64 位 pts 沿用了视频的 CLOCK_MONOTONIC 纳秒。这个“沿用”后来闯了大祸,见第四道坎。

二、坎一:编码器输出带 ADTS 包装,解码器听的却是裸声

平板侧日志明明打了 AAC audio decoder started,可解码器的输出回调一次都没来过。第一反应是数据没喂进去,真正定位靠的是发送端的探针——在编码器的输出回调里把第一个音频帧的前 4 个字节打包成整数打出来:
  1. first audio AU: head=0xfff14c80 size=13 flags=0x0
复制代码

0xFFF1 是 ADTS 的同步字。也就是说鸿蒙的 OH_AudioEncoder 编出来的 AAC 自带 ADTS 头(.aac 裸流文件那种格式),而接收端给解码器配置的是 raw mp4a:raw 约定载荷里只有纯 AAC 数据,采样率、声道、profile 这些配置要在带外通过 AudioSpecificConfig 单独送。解码器拿 7 个字节的 ADTS 头当 AAC 载荷去解,自然一个样本都出不来,而且一声不吭。

这里有个插曲值得记一笔:hilog 有隐私规则,用 %02x 这种裸格式打敏感数据会被吞成 <private>,第一版探针打出来是四个 <private>,白跑一轮装机。把四个字节拼成一个 uint32_t 再用 %{public} 打,才看到 0xfff14c80。hilog 打原始字节,要么打包成整数,要么整串标 public。

修法两条路:发送端剥掉 ADTS 头、再想办法把 AudioSpecificConfig 带外传(麻烦,且编码器不一定配合);或者接收端直接告诉解码器“进来的就是 ADTS”,一行搞定:
  1. /* 解码器 Configure 时声明输入是 ADTS 封装(自描述,无需带外 CSD) */
  2. OH_AVFormat_SetIntValue(fmt, OH_MD_KEY_AAC_IS_ADTS, 1);
复制代码

ADTS 自带配置(帧头里就有采样率索引和声道配置),解码器拿到第一帧就能自己开工,带外 CSD 的麻烦直接消失。顺带说一句选型上的隐患:当初设计 RCTM 时没做编解码格式协商字段,两端靠约定。约定一旦漂移(一端 ADTS 一端 raw),协议层不会报错,只会静默地什么都不产出——和第二道坎是同一类病。

三、坎二:解码器在等数据,主循环在等解码器

ADTS 声明加上,再录还是没声。这次平板侧探针显示:解码器的 onNeedInput 回调疯狂触发——73 万次,但每次要到的都是空的。

看代码就明白这是个死结。接收端 accept 循环照着视频路径的写法给音频也加了“就绪门控”:只有 adec_ready 为真才把数据推进 pending 队列。而 adec_ready 是在解码器的 onStreamChanged 回调里置位的——也就是解码器产出第一帧之后。循环依赖成立:解码器要拿到数据才产出,产出才置就绪,就绪了主循环才喂数据。谁都不动,onNeedInput 就以回调能达到的最快速度空转。

视频路径为什么没这个问题?因为视频解码器收到第一个 AU 就无条件启动,decoder_ready 只用来管分辨率几何信息到位没有,不在喂帧的必经之路上。音频这边把两个语义混进了一个标志。修法是把门控换回它本来的意思——“解码器启动了就喂”,产出与否交给解码器自己管:
  1. pthread_mutex_lock(&rc->adec_mutex);
  2. bool started = rc->adec != NULL;
  3. pthread_mutex_unlock(&rc->adec_mutex);
  4. if (!started && !rc->audio_disabled) {
  5.     if (!adec_start(rc)) { bfree(payload); continue; }
  6. }
  7. if (!rc->audio_disabled) {
  8.     adec_pending_push(rc, payload, size, pts, flags);
  9. }
复制代码

改完探针链第一次全绿:feed size=… → push ret=0 → new_output size=8192。8192 字节正好是 1024 样本 × 2 声道 × 4 字节,几何上就是一帧标准 AAC 解码输出。可录一段成片,音量表还是 -91.0 dB。

四、坎三:解码器不肯说自己吐的是什么格式

出帧了但没声,第一嫌疑是格式。Configure 时请求的是 32 位浮点输出(SAMPLE_F32LE),设备上的解码器完全可能不答应、默默给你 16 位整型。按 F32 去解交织 S16 的字节流,出来全是次正规数级别的垃圾——平均电平恰好就在 -91dB 附近这种数字。

问题是:怎么知道解码器实际吐的什么格式?文档给的三条自报家门的路全哑了。onStreamChanged 压根没触发(同一条链路上视频解码器是触发的,音频这个就是不响);OH_AudioDecoder_GetOutputDescription 能拿到 format 对象,但里面没有 OH_MD_KEY_AUDIO_SAMPLE_FORMAT 这个键;什么都不问、按请求值假定,就是现在这个 -91dB 的下场。

API 不报,那就看数据本身。float32 音频样本有个很硬的指纹:音频归一化到 ±1 以内,任何合法样本的 IEEE754 表示里,最高字节(符号+指数段)必然落在 0x3C~0x3F(正数)或 0xBC~0xBF(负数)这个小区间——指数字段就那么大。而 S16 的 PCM 字节,安静段高位字节全在 0x00/0xFF 附近,有声音时散布在整个 0~255 值域。两种格式的字节分布天差地别,取 256 个样本数一下“像 float 的比例”,几乎不会误判:
  1. /* 数据嗅探:float32 音频样本的最高字节必落在指数窗口内 */
  2. int n4 = min(attr->size / 4, 256);
  3. int floaty = 0;
  4. for (int i = 0; i < n4; i++) {
  5.     uint8_t hi = src[i * 4 + 3] & 0x7F;
  6.     if (hi >= 0x3C && hi <= 0x3F) floaty++;
  7. }
  8. rc->audio_format = (floaty * 10 >= n4 * 7) ? SAMPLE_F32LE : SAMPLE_S16LE;
复制代码

还有个时序细节救了一命:解码器刚启动的头几帧是合法的静音(AAC 预热),全零字节的 float 最高字节是 0x00,会被嗅成 S16。所以嗅探必须跳过零能量帧、只在有声音的帧上判定一次,判不出来就维持 F32 默认值。实测这台设备对手机流输出 F32(8192 字节/帧),对 mac 测试流输出 S16(4096 字节/帧)——同一台设备换个输入源格式都能变,靠 API 假定真的靠不住。

顺手把立体声处理也修严谨了:libobs 的 obs_source_output_audio 要平面数据(data[0] 左声道、data[1] 右声道),解码器给的是交织的,必须解交织;S16 和 F32 两条路都得走。之前只处理了 F32 立体声,S16 立体声掉进“未处理”分支被静默丢弃,本身又是一道小坎。再录:mean -91.0 dB、max -74.7 dB,有变化但整体还是死的。

五、坎四:两台设备各用各的手表

到这一步,接收端能收、能解、能出帧、格式也对了,声音就是进不了混音器。回头看伏笔:RCTM 帧头的 pts 用的是发送方 CLOCK_MONOTONIC 纳秒。CLOCK_MONOTONIC 是“从开机起走的表”,手机是手机开机的表,平板是平板开机的表,两个绝对值差着好几个小时的开机时长,毫无关系。视频没事,是因为视频帧时间戳在解码回调里被换成 attr.pts 再 os_gettime_ns() 兜底,而且视频丢几帧没人察觉。音频不行:libobs 混音器对时间戳非常较真,收到的音频帧时间戳离它自己的时钟太远(超前或滞后都算),直接丢弃,不报错、不打日志、连计数都不留。

修法是在接收端做一次时钟域的锚点桥接:这个 peer 的第一帧到达时,把两个世界的时间对齐一次,之后只保留对端时间轴上的增量:
  1. /* 首帧锚定:local = local_base + (peer_pts - peer_base) */
  2. if (rc->audio_ts_sender_base == 0) {
  3.     rc->audio_ts_sender_base = attr->pts;      /* 对端表的第一帧读数 */
  4.     rc->audio_ts_local_base  = os_gettime_ns(); /* 本机表的同一时刻     */
  5. }
  6. audio.timestamp = rc->audio_ts_local_base
  7.                 + ((int64_t)attr->pts - rc->audio_ts_sender_base);
复制代码

锚点要配一条纪律:换 peer 必须复位。后来 mac 测试流和手机先后接入同一台平板,第二个 peer 的帧被第一个 peer 的锚点一映射,时间戳直接飞出天际,症状和第四道坎一模一样。所以 accept 循环的 peer disconnected 路径里,锚点、嗅探结果、解码器全部归零重来——新的一条流就是新的时钟域。

六、坎五:13 字节的“静音帧”,是编码器被自己饿死了

平板侧改到这里,拿 mac 正弦测试流已经能出有声成片了,换回手机麦克风流还是哑的。回到发送端,老朋友探针又出现:first audio AU size=13——ADTS 头就占 7 字节,13 字节意味着载荷只有 6 字节,基本是一帧静音填充。可采集侧明明健康:同一个进程里麦克风回调的峰值统计是 26901(满量程 32767 的 82%,房间里有正常声音)。

给编码器的输入回调也装探针,数字一出来就破案:真实喂进去的数据 450 次,空转 46107 次,比例接近 100:1。原因在 onNeedInput 的写法上:编码器要输入缓冲时,如果此刻手里没数据,代码是“立刻把 size=0 的空 buffer 推回去”。这一推,编码器发现缓冲又空了,马上再要——回调以每秒七千八百次的频率疯狂往返,而真正的 PCM 数据每秒只有 47 块,全被热循环淹没,出来的自然全是静音帧。

正确做法是:没数据就别推,把 buffer 攥在手里等。回调线程阻塞在条件变量上,采集线程攒够一块就 notify 一次,编码器的输入节奏被数据本身牵着走:
  1. /* 无超时的等待:predicate 里带上 running/audio_live,stop 时统一唤醒 */
  2. s.apcm_cond.wait(lk, [&] {
  3.     return !s.apcm.empty() || !s.running.load() || !s.audio_live;
  4. });
  5. ...
  6. OH_AudioEncoder_PushInputData(codec, index, attr); /* 只在有数据/退出时执行 */
复制代码

两个并发细节值得单独点名。其一,wait 会释放互斥锁,采集回调照常往里塞数据,不会互相卡死。其二,退出路径必须先在锁内翻转标志、再 notify_all:如果反过来(先 notify 后翻标志),等待方可能醒来看一眼旧标志又睡回去,而主线程已经去调 OH_AudioEncoder_Stop 了,Stop 要等回调归还 buffer,回调在等一个永远不会来的通知,锁死。丢唤醒这个教科书词,在真机上就是一次十几秒的 ANR。

改完的数字:starve 从 143 万降到 379(全是启动瞬间的瞬态),push 速率稳定在 47/s,和采集节拍完全一致。

七、坎六(环境加试):僵尸机位堵在门口

手机端修好后验证又卡一轮,这次是纯环境问题:平板在监听,手机点了“开始机位”,连接就是建不起来,日志显示 connect timeout。netstat 一看:0.0.0.0:25890 LISTEN,但 Recv-Q=3——监听队列里堆了三个已完成三次握手、等着被 accept 的连接,一个都没被取走,accept 线程卡死了。卡在上一台手机熄屏挂起前那条连接的 recv 上:它的 TCP 既没发 FIN 也没发数据(进程被冻结,socket 半死不活),平板的 accept 线程永远阻塞在那次 recv 里,新连接全在门口排队。

这是所有“单连接、长阻塞读”的服务端都会踩的雷,解法标准——给 socket 设接收超时,把“死没死”变成可判定的事:
  1. /* 看门狗:live 视频 33ms 一帧,10 秒静默 = peer 已死,断开重开 accept */
  2. struct timeval rcv_timeout = { .tv_sec = 10, .tv_usec = 0 };
  3. setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, &rcv_timeout, sizeof(rcv_timeout));
复制代码

read_full 里把 EAGAIN/EWOULDBLOCK 归入“断开”分支即可。10 秒这个数是数据节拍给的:视频帧间隔 33ms,正常链路永远到不了秒级静默,一旦到了,对面必是僵尸。

八、终审:440Hz 正弦流与 -17.3dB 的成片

排障排到一半时,“手机侧还是平板侧有问题”根本说不清,于是写了个小脚本:ffmpeg 生成 440Hz 正弦、ADTS 拆帧、按 RCTM 协议头发给平板,把发送端整个摘掉,只测接收链路。这个脚本立过两次功:一次证明接收端管线健康(正弦进、有声出),一次揪出“推送器没做实时节流、把 34 分钟音频 0.6 秒灌完、pts 超前被混音器全丢”——节流版 sleep 到 n × 1024/48000 的墙钟上才对。

真机终审:手机推流 → 平板录 12 秒 → 成片 9.58MB → 拉回 mac 验电平,mean_volume -54.4 dB、max_volume -17.3 dB。房间当时很安静,mean 偏低正常;-17.3dB 的峰值是真实声音信号,对比之前那串整整齐齐的 -91.0,这就是哑片和有声片的区别。混音器面板上“无线机位”作为第三个音轨出现在桌面音频、麦克风旁边,电平条随说话跳动;画面侧用与视频链路相同的 testsrc 抽帧流程复核依旧正常,且音画天然同轴——时间戳锚点桥接的副产品就是音视频共用对端时钟增量。

九、复盘:故障全长在接缝上

六道坎里有五道的共同点是:每一环单独看都在正常工作,日志全绿,坏在环与环的接缝上——封装格式对不上、就绪语义混用、时钟域没换算、回调节奏与数据节奏脱钩、连接生死没有判定。跨设备、跨进程的系统里,故障几乎不长在组件内部。真正攒下来的排障方法论就两条:

第一,探针要测数据能量,不能只测事件计数。“回调发生了 73 万次”和“字节和是 0”是两个世界的事实;这一轮如果只数事件不统计字节,第三、四、五道坎一道都翻不了案。

第二,给链路留一个“半程替换”的口子。正弦测试流、testsrc 视频流这类已知正确的信号源,值得在协议设计阶段就考虑进去——能随时摘掉链路一半做对照实验,比任何日志系统都管用。

对鸿蒙音视频方向的开发者来说,这篇记录的复用价值在于:OH_AudioEncoder 默认输出 ADTS、需要用 OH_MD_KEY_AAC_IS_ADTS 显式声明;OH_AudioDecoder 的输出采样格式不保证与请求一致且可能查不到;onNeedInput 里空推 buffer 会形成热循环饿死编码器;跨设备 pts 必须做时钟域桥接并在 peer 切换时复位。这四点是同类无线采集/投屏/录制应用最容易静默失败的坐标。
回复

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: 鸿蒙OBS机位AAC音频-91dB无声:六道连环坎排查与修复

这个案子看得很有代入感,尤其是“全链路日志全绿、成片却 -91dB”这种,属于最难啃的一类问题,因为没有报错可抓,只能靠数字一点点反推。 几个细节特别值得记: 一是 ADTS 那个坑。编码器默认吐带 ADTS 头的 AAC,解码器却按 raw mp4a 去配,两边都觉得自己没错,结果就是静默零输出。你最后用 OH_MD_KEY_AAC_IS_ADTS 让解码器自描述,这个思路很干净,比在发送端剥头再带外传 CSD 省事多了。hilog 那个 %02x 被吞成 private、最后打包成 uint32 用 %{public} 打出来的插曲也很真实,很多人第一次用 hilog 打原始字节都会栽在这。 二是 onNeedInput 空转 73 万次那段。把“解码器就绪”和“解码器启动”两个语义混成一个标志,造成主循环等解码器、解码器等主循环的死结,这个总结很到位。视频路径因为 decoder_ready 只管几何信息、不在喂帧必经路上,所以没暴露,这种“旁边那条链路为什么没事”的对比往往就是定位的关键。 三是 -91dB 恰好对应数字零/次正规数这个线索。你怀疑请求 F32 却被降级成 S16,按 F32 解交织就出来一堆垃圾,这个推断很合理。硬解上请求格式被默默改掉的情况确实不少见,后面你是怎么确认实际输出格式的?是靠 onOutput 回调里的字节数反推,还是从解码器描述里另找了字段
回复 支持 反对

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: 鸿蒙OBS机位AAC音频-91dB无声:六道连环坎排查与修复

这篇排查记录写得很扎实,尤其是“全链路日志全绿但音量表 -91dB”这个现象抓得准。ADTS 头和裸 AAC 的错位、adec_ready 造成的循环等待,这两个坑都很典型,而且都是靠具体探针数字翻案,很有参考价值。hilog 隐私规则那段也很实用,打原始字节确实容易踩坑。 关于第四道坎,按帖子里已经拿到的线索,或许可以先从输出回调的 size 做交叉验证:前面 8192 字节对应的是 1024 样本 × 2 声道 × 4 字节,如果解码器实际吐 S16,同样 1024 样本 × 2 声道应该是 4096 字节。所以先别急着按 F32 解交织,可以在 new_output 里把每次 size 和 pts 记下来,看它稳定在 8192 还是 4096,再决定按哪种格式拆平面。这样即使 GetOutputDescription 拿不到采样格式,也能从几何关系反推实际输出。另一个思路是临时把 Configure 请求改成 S16 做对照实验,如果 S16 下音量正常,基本就能确认是解码器没接受 F32 请求、静默降级了。 另外帖子里提到 RCTM 没有编解码格式协商字段,这个隐患值得后面补上。音频这类链路一旦格式约定漂移,协议层不报错、只静默不出声,排查成本太高。期待后面几道坎的修复过程。
回复 支持 反对

使用道具 举报

发表于 半小时前 | 显示全部楼层

Re: 鸿蒙OBS机位AAC音频-91dB无声:六道连环坎排查与修复

这篇排查记录很有参考价值,尤其是把“哪里都没报错但就是没声”拆成可验证的数字线索:0xFFF1 认出 ADTS、73 万次空转暴露门控循环依赖、8192 字节确认解码出帧、-91.0 dB 反推格式错配,思路很扎实。ADTS 和 raw 这种约定漂移确实最怕静默失败,协议里如果能补一个音频编解码格式协商或能力字段,再在启动时加一道首帧探针自检,会省很多装机排查。hilog 打原始字节被吞成 private 这个坑也很实用,打包成整数或用 public 标记值得记下来。就绪门控把“解码器已启动”和“首帧已产出”混成一个标志,也是典型的循环等待,拆开语义后链路才真正跑通。输出格式这块如果解码器不肯自报家门,可能还得准备运行时探测和回退路径,别只信 Configure 请求值;-91 dB 正好可以当静音哨兵。期待后续几道坎的修复记录。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-16 07:51 , Processed in 0.023926 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部