Giter Club home page Giter Club logo

fr830's Projects

- icon -

定位综述 目前用于人脸定位的有两种主流方法,一种是基于级联形状回归模型,另一种就是基于深度学习的方法。级联形状回归方法就是使用回归模型,直接学习从人脸表征到人脸形状的映射函数,进而建立从表观到形状的对应关系。这种方法的学习依赖于训练集的选取,如果训练集中包含了复杂的姿态变化,学习到的函数测试性能就会比较好。现有很多基于回归的方法,其中比较突出的有颜水成的DCR(Deep Cascaded Regression)、ESR(Explicitly Shape Regression)方法、LBF(Local Binary Features)方法以及SDM(Supervised Decent Method)方法。但是,上述方法也存在一定的问题,例如,基于提取到的局部图像特征来定位时很难找到具有全局信息的关键点。基于点分布模型的方法和基于形状回归的方法都很依赖于初始值,其中,初始值通常由训练集的平均形状来给定,如果初始值或者设定的平均形状远远偏离目标位置,很难收敛到正确位置。比如,训练集中大部分都是正脸,那么对于测试集中大偏转角度人脸图像的定位就比较困难。 于是引入深度学习来解决较大面部偏转姿态的回归问题,深度学习的最大的优点是有强大的表达能力,可以自学习图像的特征,不需要人为的寻找特征。目前用的基本网络有(1)级联方式:由粗到精一级一级的优化前一步得到的形状,比如香港中文大学汤晓鸥老师的研究团队采用深度卷积神经网络的3个级联结构,逐步细化特征点位置。(2)沙漏网络:密集堆叠连接的U-Nets来进行人脸关键点定位,如CU-Nets通过卷积-反卷积,下采样与上采样网络,跨越不同U-Nets进行全局梯度传播,融合多尺度特征,不断迭代优化关键点坐标。但是深度学习方法的缺点是模型过于复杂,参数非常多,耗时比较长。 深度学习的国内外方法优化:(1)最早的有将人脸进行五官分区域定位回归,但很容易使最终结果陷入局部最优值而不是全局最优。(2)heatmap热图的方法,对数据标签进行处理生成高斯热图,从而更好的回归关键点位置。(3)风格聚合方法,对数据集进行处理生成不同风格的图片,以应对复杂的真实环境如光照强弱。(4)基于边缘感知的人脸关键点检测算法,首先通过消息传递并结合对抗学习得到高精度的边缘线检测结果,再将边缘线信息融合到关键点检测中,来提升算法在大侧脸、夸张表情、遮挡、模糊等极端情况下的鲁棒性。(5)3D人脸模型方法,一种方式是结合3D人脸姿态估计与投影来确定特征点初始位置,然后使用经典的回归树集成ERT方法来更好的进行位置回归;另一种是直接从单幅人脸图像中同时回归出3D人脸结构和密集对齐点;该类方法通过回归位置图,来获得3D几何以及语义信息。(6)人脸特征点检测与形状拟合方法,基于“特征提取”+“回归坐标”的方法,把形状拟合的坐标回归问题,转化为坐标PCA压缩后系数与形状整体仿射变换系数的回归问题(相当于将传统的SDM算法用于深度学习算法当中)。 目前定位方法的改进是: 1.基于深度学习的方法:改进如下: (1)受人体关键点定位 难例挖掘方法的启发,在全局的globalnet之后继续对损失较大的点继续进行微调。 (2)并行集成的方式同时训练两个网络globalnet、refinenet,测试时,第一个网络输出的l2 loss 取top k loss作为refinenet的辅助损失继续微调回归关键点位置。(在300w 有缺失块的数据集上最终的测试结果,平均定位误差为5.9%) 300-W数据库: 68点定位库,包含4个数据集,比如AFW,LFPW,HELLE,还包含135张IBUG里面的图片,IBUG图片对于定位来说都是非常具有挑战性的,不管是旋转角度还是遮挡程度都是非常大的。我们用HELEN的2000张,LFPW的811张,AFW的337张,总共3148张图片作为训练集。用HELEN的554张,IBUG的135张图片,总共689张图片作为测试集。一般测试集分为3个标准:简单,有挑战,全集。简单的测试集就是前面554张图片,有挑战的就是后面那135张图片,全集即689张图片。对三个测试集分别测试,得出测试结果,并与其它方法进行比较。测试标准为定位的平均误差,是被双瞳孔距离归一化后的,平均误差越低代表这一算法越好。

--1 icon --1

先使用Raspberry pi开发板连接摄像头CSI接口和无线wifi组成的视频监控系统的硬件平台;然后Raspberry pi平台上安装Raspbian系统,并进行交叉编译环境的安装和设置以及测试环境的配置;采用了Video for Linux two技术进行视频图像的采集;通过对采集视频图像的格式进行转换,统一转换为YUV420格式,使用H.264编码技术对采集到的视频数据进行编码,采取了基于IP/UDP/RTP协议的视频传输技术,通过WIFI无线网络搭建了Raspberry pi开发平台与PC机之间的Socket通信,利用vps这款轻量级的内网穿透工具,就算视频采集平台和PC端没有在同一个局域网络中,也可以实现两者之间视频的实时传输

-demo icon -demo

简单的微信公众号接入、验证、消息自动回复、自定义菜单Demo

-sq icon -sq

打造一个专业的有机水果蔬菜网站,为用户提供最全最权威的实时有机水果蔬菜的健康资讯;并为用户提供新鲜的有机水果蔬菜的精美图片。一个提供100%健康食品的电商平台,足不出户即享健康食品,本网站只为您提供最优质最健康的有机水果蔬菜

1waopcuasdk icon 1waopcuasdk

C++ OPC UA SDK from One-Way Automation - public redistributables

1zlab_face_track_robot icon 1zlab_face_track_robot

二自由度云台实现人脸追踪。 首先是使用一款名字叫做IP摄像头的APP 采集手机摄像头的图像,在手机上建立一个视频流服务器。在局域网下,PC通过IP还有端口号获取图像。使用OpenCV的人脸检测的API获取人脸在画面中的位置,根据人脸位置距离画面中心的x轴与y轴的偏移量(offset) ,通过P比例控制(PID控制中最简单的一种)控制二自由度云台上臂与下臂的旋转角度,将角度信息通过串口通信UART发送给ESP32单片机(不限于ESP32,STM32,Arduino都可以)解析执行对应的操作,从而使得人脸尽可能处在画面的正中间。

360wifi-mac icon 360wifi-mac

💻Use 360 Portable Wi-Fi Adapter (1st gen & 2nd gen) on Your Mac

abp icon abp

Open Source Web Application Framework for ASP.NET Core

accord-net-extensions icon accord-net-extensions

Advanced image processing and computer vision algorithms made as fluent extensions and built for portability

acme.sh icon acme.sh

A pure Unix shell script implementing ACME client protocol

adminlte icon adminlte

AdminLTE - Free Premium Admin control Panel Theme Based On Bootstrap 3.x

adminui icon adminui

Beetlex+Vuejs+Bootstrap admin ui website

adnc icon adnc

微服务框架,同时也适用于单体架构系统的开发。支持经典三层与DDD架构开发模式、集成了一系列主流稳定的微服务配套技术栈。一个前后端分离的框架,前端基于Vue、后端基于.Net 5.0构建。

advancedserial icon advancedserial

An arduino library which extends Serial functionality to transmit both ASCII text and data. The Advanced Serial Client (c#) provides a serial terminal similar to arduino's ide, but as enhanced functionality for real-time plotting of data.

ai icon ai

一个小白的成长史,专注NLP、图像、推荐技术学习

ai-datasets icon ai-datasets

AI 开源数据集:图像 语音 文本 视频,other domain

ai-platform icon ai-platform

AI开发者平台。目的是要搭建一个采集视频图像并调用API进行智能化数据标注,训练完成之后进行自动化测试的平台。

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.