如何使用OpenCV进行高动态范围（HDR）成像

Xsens动作捕捉 2023-05-09 2537

在本教程中，我们将学习如何使用使用不同曝光设置拍摄的多张图像创建高动态范围（HDR）图像。我们将在C ++和Python中共享代码。

什么是高动态范围（HDR）成像？

大多数数码相机和显示器将彩色图像捕获或显示为24位矩阵。每个颜色通道有8位，因此每个通道的像素值在0到255之间。换句话说，普通相机或显示器具有有限的动态范围。

然而，我们周围的世界有一个非常大的动态范围。当灯关闭时，它可以在车库内变黑，如果直接看太阳，它可以变得非常明亮。即使不考虑这些极端情况，在日常情况下，8位也几乎不足以捕捉场景。因此，相机会尝试估计光线并自动设置曝光，以使图像中最有趣的部分具有良好的动态范围，而太暗和太亮的部分分别被剪切为0和255。

在下图中，左侧的图像是正常曝光的图像。请注意，背景中的天空已完全消失，因为相机决定使用一个设置，其中主题（我的儿子）被正确拍摄，但明亮的天空被淘汰。右侧图像是iPhone生成的HDR图像。

iPhone如何捕获HDR图像？它实际上在三种不同的曝光下需要3张图像。图像是连续快速拍摄的，因此三拍之间几乎没有移动。然后组合三个图像以产生HDR图像。我们将在下一节中看到详细信息。

组合在不同曝光设置下获取的相同场景的不同图像的过程称为高动态范围（HDR）成像。

高动态范围（HDR）成像如何工作？

在本节中，我们将介绍使用OpenCV创建HDR图像的步骤。

步骤1：使用不同曝光拍摄多张图像

当我们使用相机拍照时，每个通道只有8位来表示场景的动态范围（亮度范围）。但是我们可以通过改变快门速度在不同曝光下拍摄场景的多个图像。大多数单反相机都有一个称为自动曝光包围（AEB）的功能，只需按一下按钮，我们就可以在不同曝光下拍摄多张照片。如果您使用的是iPhone，则可以使用此AutoBracket HDR应用程序.

在相机上使用AEB或在手机上使用自动包围应用程序，我们可以一个接一个地快速拍摄多张照片，因此场景不会改变。当我们在iPhone中使用HDR模式时，它需要三张照片。

曝光不足的图像：此图片是不是正确曝光图像变暗。目标是拍摄非常明亮的图像部分。
正确曝光的图像：这是常规的图像的摄像机将根据它已经估计出的照明已采取。
一个过度曝光的图片：此图片是不是正确曝光图像变亮。目标是捕捉非常黑暗的图像部分。

但是，如果场景的动态范围非常大，我们可以拍摄三张以上的图片来构成HDR图像。在本教程中，我们将使用曝光时间为1 / 30,0.25,2.5和15秒拍摄的4张图像。缩略图如下所示。

有关SLR相机或手机使用的曝光时间和其他设置的信息通常存储在JPEG文件的EXIF元数据中。查看此链接可查看存储在Windows和Mac中的JPEG文件中的EXIF元数据。或者，您可以使用我最喜欢的名为EXIFTOOL的 EXIF命令行实用程序。

让我们从读取图像开始分配曝光时间

C ++

void readImagesAndTimes(vector<Mat> &images, vector<float> &times)
{
 
 int numImages = 4;
 
 // List of exposure times
 static const float timesArray[] = {1/30.0f,0.25,2.5,15.0};
 times.assign(timesArray, timesArray + numImages);
 
 // List of image filenames
 static const char* filenames[] = {"img_0.033.jpg", "img_0.25.jpg", "img_2.5.jpg", "img_15.jpg"};
 for(int i=0; i < numImages; i++)
 {
 Mat im = imread(filenames[i]);
 images.push_back(im);
 }
 
}

Python

def readImagesAndTimes():
 # List of exposure times
 times = np.array([ 1/30.0, 0.25, 2.5, 15.0 ], dtype=np.float32)
 
 # List of image filenames
 filenames = ["img_0.033.jpg", "img_0.25.jpg", "img_2.5.jpg", "img_15.jpg"]
 images = []
 for filename in filenames:
 im = cv2.imread(filename)
 images.append(im)
 
 return images, times

第2步：对齐图像

用于合成HDR图像的图像的未对准可能导致严重的伪影。在下图中，左侧图像是使用未对齐图像组成的HDR图像，右侧图像是使用对齐图像的图像。通过放大图像的一部分，使用红色圆圈显示，我们在左图像中看到严重的重影瑕疵。

当然，在拍摄用于创建HDR图像的照片时，专业摄影师将相机安装在三脚架上。他们还使用一种称为镜子锁定的功能来减少额外的振动。即使这样，图像也可能无法完美对齐，因为无法保证无振动的环境。使用手持相机或手机拍摄图像时，对齐问题会变得更糟。

幸运的是，OpenCV提供了一种简单的方法来对齐这些图像AlignMTB。该算法将所有图像转换为中值阈值位图（MTB）。通过将值1分配给比中值亮度更亮的像素来计算图像的MTB，否则为0。MTB对曝光时间不变。因此，可以对准MTB而无需我们指定曝光时间。

使用以下代码行执行基于MTB的对齐。

C ++

// Align input images
Ptr<AlignMTB> alignMTB = createAlignMTB();
alignMTB->process(images, images);

Python

# Align input images
alignMTB = cv2.createAlignMTB()
alignMTB.process(images, images)

第3步：恢复相机响应功能

典型相机的响应与场景亮度不是线性的。这意味着什么？假设，一个摄像机拍摄了两个物体，其中一个物体的亮度是现实世界中的两倍。当您测量照片中两个对象的像素强度时，较亮对象的像素值将不会是较暗对象的两倍！在不估计相机响应函数（CRF）的情况下，我们将无法将图像合并为一个HDR图像。

将多个曝光图像合并为HDR图像意味着什么？

在图像的某个位置（x，y）仅考虑一个像素。如果CRF是线性的，则像素值将与曝光时间成正比，除非像素在特定图像中太暗（即接近0）或太亮（即接近255）。我们可以滤除这些坏像素（太暗或太亮），并通过将像素值除以曝光时间来估算像素处的亮度，然后在像素不坏的所有图像（太暗或太暗）上平均该亮度值太亮了）。我们可以对所有像素执行此操作并获得单个图像，其中通过对“好”像素求平均来获得所有像素。

但是CRF不是线性的，我们需要在我们通过首先估计CRF来合并/平均它们之前使图像强度呈线性。

好消息是，如果我们知道每张图像的曝光时间，可以从图像中估算CRF。与计算机视觉中的许多问题一样，找到CRF的问题被设置为优化问题，其中目标是最小化由数据项和平滑项组成的目标函数。这些问题通常会减少到使用奇异值分解（SVD）求解的线性最小二乘问题，而奇异值分解是所有线性代数包的一部分。CRF恢复算法的细节在题为“ 从照片中恢复高动态范围辐射图 ”的论文中(
http://www.pauldebevec.com/Research/HDR/debevec-siggraph97.pdf)。

使用CalibrateDebevec或在OpenCV中仅使用两行代码来查找CRF CalibrateRobertson。在本教程中我们将使用CalibrateDebevec

C++

// Obtain Camera Response Function (CRF)
Mat responseDebevec;
Ptr<CalibrateDebevec> calibrateDebevec = createCalibrateDebevec();
calibrateDebevec->process(images, responseDebevec, times);

Python

# Obtain Camera Response Function (CRF)
calibrateDebevec = cv2.createCalibrateDebevec()
responseDebevec = calibrateDebevec.process(images, times)

下图显示了使用红色，绿色和蓝色通道图像恢复的CRF。

第4步：合并图像

一旦估计了CRF，我们就可以将曝光图像合并为一个HDR图像MergeDebevec。C ++和Python代码如下所示。

C++

// Merge images into an HDR linear image

Mat hdrDebevec;

Ptr<MergeDebevec> mergeDebevec = createMergeDebevec();

mergeDebevec->process(images, hdrDebevec, times, responseDebevec);

// Save HDR image.

imwrite("hdrDebevec.hdr", hdrDebevec);

Python

# Merge images into an HDR linear image
mergeDebevec = cv2.createMergeDebevec()
hdrDebevec = mergeDebevec.process(images, times, responseDebevec)
# Save HDR image.
cv2.imwrite("hdrDebevec.hdr", hdrDebevec)

上面保存的HDR图像可以在Photoshop中加载并进行色调映射。一个例子如下所示。

HDR Photoshop色调映射

第5步：色调映射

现在我们将曝光图像合并为一个HDR图像。你能猜出这张图片的最小和最大像素值吗？对于漆黑条件，最小值显然为0。什么是理论最大值？无穷！实际上，不同情况下的最大值是不同的。如果场景包含非常明亮的光源，我们将看到非常大的最大值。

尽管我们已经使用多个图像恢复了相对亮度信息，但我们现在面临的挑战是将此信息保存为24位图像以用于显示目的。

将高动态范围（HDR）图像转换为每通道8位图像同时保留尽可能多的细节的过程称为色调映射

有几种色调映射算法。OpenCV实现了其中的四个。要记住的是，没有正确的方法来进行色调映射。通常，我们希望在色调映射图像中看到比在任何一个曝光图像中更多的细节。有时，色调映射的目标是产生逼真的图像，并且通常目标是产生超现实的图像。在OpenCV中实现的算法倾向于产生逼真的，因此不那么引人注目的结果。

我们来看看各种选项。下面列出了不同色调映射算法的一些常见参数。

gamma：此参数通过应用伽马校正来压缩动态范围。当gamma等于1时，不应用校正。小于1的灰度会使图像变暗，而大于1的灰度会使图像变亮。
饱和度：此参数用于增加或减少饱和度。当饱和度高时，颜色更丰富，更强烈。饱和度值接近零，使颜色渐渐变为灰度。
对比度：控制输出图像的对比度（即log（maxPixelValue / minPixelValue））。

让我们来探索OpenCV中可用的四种色调映射算法。

Drago Tonemap

Drago Tonemap的参数如下所示

createTonemapDrago
(
float gamma = 1.0f,
float saturation = 1.0f,
float bias = 0.85f 
)

这里，bias是[0,1]范围内偏置函数的值。从0.7到0.9的值通常会得到最好的结果。默认值为0.85。有关更多技术细节，请参阅此文章。

C ++和Python代码如下所示。参数通过反复试验获得。最终输出乘以3只是因为它给出了最令人满意的结果。

C++

// Tonemap using Dragos method to obtain 24-bit color image
Mat ldrDrago;
Ptr<TonemapDrago> tonemapDrago = createTonemapDrago(1.0, 0.7);
tonemapDrago->process(hdrDebevec, ldrDrago);
ldrDrago = 3 * ldrDrago;
imwrite("ldr-Drago.jpg", ldrDrago * 255);

Python

# Tonemap using Dragos method to obtain 24-bit color image

tonemapDrago = cv2.createTonemapDrago(1.0, 0.7)

ldrDrago = tonemapDrago.process(hdrDebevec)

ldrDrago = 3 * ldrDrago

cv2.imwrite("ldr-Drago.jpg", ldrDrago * 255)

合成结果

使用Drago算法的HDR色调映射

杜兰德Tonemap

Durand Tonemap的参数如下所示

createTonemapDurand 
( 
 float gamma = 1.0f, 
 float contrast = 4.0f,
 float saturation = 1.0f,
 float sigma_space = 2.0f,
 float sigma_color = 2.0f 
);

该算法基于将图像分解为基础层和细节层。使用称为双边滤波器的边缘保留滤波器获得基础层。sigma_space和sigma_color是双边滤波器的参数，分别控制空间域和颜色域中的平滑量。

有关详细信息，请查看此文章:

https://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/DurandBilateral.pdf

C++

// Tonemap using Durands method obtain 24-bit color image
Mat ldrDurand;
Ptr<TonemapDurand> tonemapDurand = createTonemapDurand(1.5,4,1.0,1,1);
tonemapDurand->process(hdrDebevec, ldrDurand);
ldrDurand = 3 * ldrDurand;
imwrite("ldr-Durand.jpg", ldrDurand * 255);

Python

# Tonemap using Durands method obtain 24-bit color image
 tonemapDurand = cv2.createTonemapDurand(1.5,4,1.0,1,1)
 ldrDurand = tonemapDurand.process(hdrDebevec)
 ldrDurand = 3 * ldrDurand
 cv2.imwrite("ldr-Durand.jpg", ldrDurand * 255)

合成结果

使用Durand算法的HDR色调映射

Reinhard Tonemap

createTonemapReinhard
(
float gamma = 1.0f,
float intensity = 0.0f,
float light_adapt = 1.0f,
float color_adapt = 0.0f 
)

参数强度应在[-8,8]范围内。强度值越大，结果越明亮。light_adapt控制灯光适应并且在[0,1]范围内。值1表示仅基于像素值的自适应，值0表示全局自适应。中间值可以用于两者的加权组合。参数color_adapt控制色度适应并且在[0,1]范围内。如果值设置为1，则独立处理通道，如果值设置为0，则每个通道的适应级别相同。中间值可用于两者的加权组合。

有关详细信息，请查看此文章:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.106.8100&rep=rep1&type=pdf

C++

// Tonemap using Reinhards method to obtain 24-bit color image
Mat ldrReinhard;
Ptr<TonemapReinhard> tonemapReinhard = createTonemapReinhard(1.5, 0,0,0);
tonemapReinhard->process(hdrDebevec, ldrReinhard);
imwrite("ldr-Reinhard.jpg", ldrReinhard * 255);

Python

# Tonemap using Reinhards method to obtain 24-bit color image
tonemapReinhard = cv2.createTonemapReinhard(1.5, 0,0,0)
ldrReinhard = tonemapReinhard.process(hdrDebevec)
cv2.imwrite("ldr-Reinhard.jpg", ldrReinhard * 255)

合成结果

Mantiuk Tonemap

createTonemapMantiuk
( 
float gamma = 1.0f,
float scale = 0.7f,
float saturation = 1.0f 
)

参数比例是对比度比例因子。从0.6到0.9的值产生最佳结果。

有关详细信息，请查看此文章:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.60.4077&rep=rep1&type=pdf

C++

// Tonemap using Mantiuks method to obtain 24-bit color image
Mat ldrMantiuk;
Ptr<TonemapMantiuk> tonemapMantiuk = createTonemapMantiuk(2.2,0.85, 1.2);
tonemapMantiuk->process(hdrDebevec, ldrMantiuk);
ldrMantiuk = 3 * ldrMantiuk;
imwrite("ldr-Mantiuk.jpg", ldrMantiuk * 255);

Python

# Tonemap using Mantiuks method to obtain 24-bit color image
tonemapMantiuk = cv2.createTonemapMantiuk(2.2,0.85, 1.2)
ldrMantiuk = tonemapMantiuk.process(hdrDebevec)
ldrMantiuk = 3 * ldrMantiuk
cv2.imwrite("ldr-Mantiuk.jpg", ldrMantiuk * 255)

合成结果

使用Mantiuk算法的HDR色调映射

The End

标签：博主很懒，并没有设置标签

一	二	三	四	五	六	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31

行业新闻

相关文章