Camera2、MediaCodec录制mp4

PS：做想做的事，每天至少做一点，不求做多少，慢慢改变。

了解了音视频的相关知识，可以先阅读下面两篇文章：

本文的主要内容是通过 Android 原生的硬编解码框架 MediaCodec 和复用器 MediaMuxer 实现 mp4 视频文件的录制，视频数据源由 Camera2 来提供，这里重点是编码、复用的这个过程而不是 mp4 的录制，如果仅仅是视频录制，可以选择更方便的 MediaRecorder，按照惯例还是以案列的形式学习 MediaCodec，其更多用法将在后续的文章中介绍，本文主要内容如下：

Camera2 的使用
MediaCodec 输入方式
MediaCodec 编码 Camera2 数据
录制流程
录制效果

Camera2 的使用#

Camera2 是从 Android 5.0 开始推出的新的相机 API，最新的是 CameraX，CameraX 基于 Camera2，相较 Camera2 提供了更好用的 API，后文中涉及到的相关的 API 可以直接参考下面这张示意图，这也是 Camera2 的使用示意图，如下：

MediaCodec 的输入方式#

为了能够使用 MediaCodec 进行编码操作，就需要将相机的数据输入到编码器 MediaCodec 中，可以通过两种方式将数据写入 MediaCodec，具体如下：

Surface：使用 Surface 作为编码器 MediaCodec 的输入，即将 MediaCodec 创建的 Surface 作为其输入，这个 Surface 由 MediaCodec 的 createInputSurface 方法创建，当相机将会将有效数据渲染到该 Surface 中，MediaCodec 就可以直接输出编码后的数据了。
InputBuffer：使用输入缓冲区作为编码器 MediaCodec 的输入，这里需要填充的数据就是原始帧数据，对应 Camera2 来说可直接通过 ImageReader 来进行帧数据的获取，获取到的 Image 包含了宽度、高度、格式、时间戳及 YUV 数据分量等信息，可控程度更高。

MediaCodec 编码 Camera2 数据#

简单说一下 MediaCodec 的数据处理方式，Android 5.0 之前只支持 ByteBuffer [] 的同步方式，之后推荐使用 ByteBuffer 的同步、异步方式，这里使用 ByteBuffer 的同步方式，涉及的流程主要是视频数据编码和复用，因为前面提到 MediaCodec 的输入是通过 Surface 完成的，所以这里只需要获取的已经编码好的数据和使用复用器 MediaMuxer 来实现 Mp4 文件的生成，关键代码如下：

// 返回已成功编码的输出缓冲区的索引
var outputBufferId: Int = mMediaCodec.dequeueOutputBuffer(bufferInfo, 0)
if (outputBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
    // 添加视频轨道
    mTrackIndex = mMediaMuxer.addTrack(mMediaCodec.outputFormat)
    mMediaMuxer.start()
    mStartMuxer = true
} else {
    while (outputBufferId >= 0) {
        if (!mStartMuxer) {
            Log.i(TAG, "MediaMuxer not start")
            continue
        }
        // 获取有效数据
        val outputBuffer = mMediaCodec.getOutputBuffer(outputBufferId) ?: continue
        outputBuffer.position(bufferInfo.offset)
        outputBuffer.limit(bufferInfo.offset + bufferInfo.size)
        if (pts == 0L) {
            pts = bufferInfo.presentationTimeUs
        }
        bufferInfo.presentationTimeUs = bufferInfo.presentationTimeUs - pts
        // 将数据写入复用器以生成文件
        mMediaMuxer.writeSampleData(mTrackIndex, outputBuffer, bufferInfo)
        Log.d(
            TAG,
            "pts = ${bufferInfo.presentationTimeUs / 1000000.0f} s ,${pts / 1000} ms"
        )
        mMediaCodec.releaseOutputBuffer(outputBufferId, false)
        outputBufferId = mMediaCodec.dequeueOutputBuffer(bufferInfo, 0)
    }
}

录制流程#

这里使用 Surface 作为编码器 MediaCodec 的输入，在 MediaCodec 进入配置状态才可以创建 Surface，也就是 createInputSurface 只能在 configure 与 start 之间调用，参考如下：

// 配置状态
mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
// 创建Surface作为MediaCodec的输入，createInputSurface只能在configure与start之间调用创建Surface
mSurface = mMediaCodec.createInputSurface()
// start ...

将其添加到 SessionConfiguration 的输出 Surface 列表中，参考如下：

// 创建CaptureSession
@RequiresApi(Build.VERSION_CODES.P)
private suspend fun createCaptureSession(): CameraCaptureSession = suspendCoroutine { cont ->
    val outputs = mutableListOf<OutputConfiguration>()
    // 预览Surface                                                                              
    outputs.add(OutputConfiguration(mSurface))
    // 添加MediaCodec用作输入的Surface                                                                               
    outputs.add(OutputConfiguration(EncodeManager.getSurface()))
    val sessionConfiguration = SessionConfiguration(
        SessionConfiguration.SESSION_REGULAR,
        outputs, mExecutor, ...)
    mCameraDevice.createCaptureSession(sessionConfiguration)
}

然后发起 CaptureRequest 开启预览和接收 Surface 输出，同时开启编码，参考如下：

// 添加预览的Surface和生成Image的Surface
mCaptureRequestBuild = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW)
val sur = EncodeManager.getSurface()
mCaptureRequestBuild.addTarget(sur)
mCaptureRequestBuild.addTarget(mSurface)

// 设置各种参数
mCaptureRequestBuild.set(CaptureRequest.CONTROL_VIDEO_STABILIZATION_MODE, 1) // 视频稳定功能是否激活
// 发送CaptureRequest
mCameraCaptureSession.setRepeatingRequest(
    mCaptureRequestBuild.build(),
    null,
    mCameraHandler
)
// 开始编码
EncodeManager.startEncode()

jzman