Arxiv 2022｜使用事件相机来进行隐私保护的视觉定位新方式

项目及数据集地址：https://82magnolia.github.io/event_localization/

文章：Privacy-Preserving Visual Localization with Event Cameras（Arxiv 12.8）来自韩国首尔大学研究团队

主要内容：文章主要强调隐私保护下的视觉定位，这是近年来被很多研究者重视的一个研究方向，即在不伤害用户隐私的情况下进行算法的研究。

【资料图】

文章以此提出了一种使用事件摄像机的鲁棒、隐私保护的视觉定位算法，事件相机由于其高动态范围和小的运动模糊比传统相机有一定的优势，但是缺点在于事件相机存在很大的域间隙，难以直接应用传统的基于图像的定位算法，针对存在的问题，文章提出了一种策略，即在定位之前，把事件相机捕获的数据转换为传统图像形式，从隐私角度来看与普通摄像机相比，事件摄像机只捕捉到一小部分视觉信息，因此可以自然隐藏敏感的视觉细节，为了进一步加强隐私保护，还在两个级别上引入了隐私保护，即传感器和网络级别，传感器级保护旨在通过轻量级过滤来隐藏面部细节，而网络级保护则使用神经网络来隐藏私人场景应用中的整个用户视图，这两种级别的保护都涉及轻量计算，只会导致少量性能损失。

来源：微信公众号「3D视觉工坊」 

什么是事件相机？

我们大多数人对传统相机以及其拍摄的RGB图像很熟悉，但是对于事件相机应该是很少使用了解的。

早期的图像处理(其实现在更多也是)都是基于传统相机来做的，然而传统相机在应用中有两个很明显的问题，如下图，一个是运动模糊（当场景中的运动速度超过相机的采样速率之后就会产生运动模糊），虽然可以通过算法弥补运动模糊，但是计算开销很大，不满足实时需求；另一个问题是由于光线的问题造成曝光不足或者过曝的动态范围问题，强烈的阳光可能会使传统相机无法看清视野物体。

Event camera则从传感器层面解决传统相机的缺点，同传统相机不同，事件相机只观测场景中的“运动”，确切地说是观察场景中的“亮度的变化”，它只会在有亮度变化时输出对应pixel的亮度变化（1或0），具有响应快、动态范围宽、无运动模糊等优势。

对于传统的相机，从某种程度上是捕获一个静态/静止的空间，而Event Camera的目的是捕捉运动的物体。对于单个像素点，Event Camera只有接收的光强产生变化时，该像素点才会输出。比如亮度增加并超过的一个阈值，那么对应像素点将输出一个亮度增加的事件。Event Camera没有帧的概念，当场景变化时，就产生一系列的像素级（pixel-level）的输出。事件相机的每个像素点是独立异步工作的，所以动态范围很大。总结就是，传统相机以固定的帧率对场景进行全帧拍摄，所有像素同步工作。事件相机是每个像素独立异步工作，采样率高且仅对亮度变化(event)进行输出，一个事件(event，亮度变化)包括发生的时刻、发生的像素坐标和事件发生的极性。所谓事件发生的极性表示的是亮度相比于前一次采样是增加还是减少。

Contributions：（1）使用事件摄像机在具有挑战性的条件下进行鲁棒定位（2）传感器级隐私保护以缓解观察到的人的担忧（3）网络级隐私保护以减轻用户的担忧

为什么要在隐私保护下进行算法研究？

如图1所示，定位应用的使用者可能会担心和提供商共享同样的视图，毕竟这在具有有限计算量的边缘设备，比如手机、AR眼镜等中是不可避免的，而且被观察的人也会出现担忧，被别人不知不觉就拍摄了照片。所以隐私保护下的视觉算法研究近年来被越来越多的研究者所关注研究。

Pipeline：

给定事件相机记录的事件流，算法输出在3D地图中找到的查询事件相机的6自由度姿态，如图1所示。

定位过程中的隐私保护：

提出了两个级别的隐私保护以防止信息共享过程中可能发生的违规行为。（1）传感器级隐私保护，其专注于隐藏面部细节。（2）网络级隐私保护，目标是在私人场景中进行定位，其用户可能希望完全隐藏他们正在查看的内容传感器级隐私保护：传感器级隐私保护在一致或弯曲的区域暂时移除，并将结果与原始体素混合，这种低级操作保留了静态结构，同时模糊了动态或面部信息，通过沿时间轴的中值滤波来过滤时间上不一致的区域，如图2a所示。

对于累积量不足的体素网格区域，由于信噪比较低，滤波过程可能会产生伪影。因此使用图2b所示的二进制阈值将过滤后的体素与原始事件体素混合。

网络级别隐私保护：网络级隐私保护将用户的视图完全隐藏在私有空间中，不让服务提供商看到，同时节省了用户端的计算。在服务提供商和用户之间分割事件到图像的转换过程，其中推断是使用私人重新训练的重建网络

完成的

但是考虑到服务提供商可能会攻击，如图3b所示，有三种可能的攻击：交换层推断、通用网络重新训练和目标网络重新训练。首先，在交换层推断中，采用

的中间推断结果，并使用原始网络参数Θ运行其余的重建。另外两种攻击涉及使用服务提供商可能可用的大量事件数据重新训练一组新的网络。通用网络再训练使用与私人训练相同的训练目标训练随机初始化的神经网络。目标网络重新训练类似地使用相同的目标训练神经网络，但使用

的共享参数值初始化网络的中间部分。使用重新训练的网络，服务提供商可以尝试交换层推断，如图3b所示。

实验：

数据集，使用三个数据集进行评估，DA VIS240C、EvRooms和EvHumans。DA VIS240C包括使用DA VIS摄像机拍摄的场景，该摄像机同时输出事件和帧。EvRooms是文章提出的一个新数据集，用于评估基于事件的定位算法在具有挑战性的外部条件下的鲁棒性。数据集在20个场景中被捕获，并分成包含快速相机运动（EvRoomsF）和低光照（EvRoomsL）的记录。EvHumans是另一个提出的新数据集，用于评估移动人群中的隐私保护定位。数据集由22名志愿者在12个场景中移动而成。这两个数据集都是使用DA VIS346相机拍摄的。比较的算法：和直接的定位方法PoseNet，SP-LSTM以及以各种事件表示为输入的基于结构的方法

在隐私保护方面的效果：

总结：提出了一种鲁棒的基于事件的定位算法，可以同时保护用户隐私。利用事件到图像的转换来适应事件摄像机上基于结构的定位。为了在转换过程中保护隐私，提出了传感器和网络级别的保护。传感器级保护的目标是隐藏面部标志，而网络级保护的目的是在私人场景中为用户隐藏整个视图。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)

2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进

3.国内首个面向工业级实战的点云处理课程

4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解

5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦

6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化

7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法：算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战

11.相机模型与标定(单目+双目+鱼眼）

12.重磅！四旋翼飞行器：算法与实战

13.ROS2从入门到精通：理论与实战

14.国内首个3D缺陷检测教程：理论、源码与实战

15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进

17.不断更新中......

点击进入—>粉丝交流群

重磅！粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速通过且邀请进群。原创投稿也请联系。   

关键词 传统相机 亮度变化 动态范围