Обнаружение лиц с помощью ML Kit на Android
Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.
Вы можете использовать ML Kit для обнаружения лиц на изображениях и видео.
Этот API доступен либо с использованием отдельной библиотеки, которую необходимо загрузить перед использованием, либо с использованием встроенной библиотеки, которая увеличивает размер вашего приложения. Дополнительную информацию о различиях между двумя вариантами установки см. в этом руководстве .
| Особенность | Разделенный | В комплекте |
| Выполнение | Модель динамически загружается через сервисы Google Play. | Модель статически связана с вашим приложением во время сборки. |
| Размер приложения | Увеличение размера примерно на 800 КБ. | Увеличение размера примерно на 6,9 МБ. |
| Время инициализации | Возможно, придется подождать загрузки модели перед первым использованием. | Модель доступна сразу |
Попробуйте это
- Поэкспериментируйте с примером приложения , чтобы увидеть пример использования этого API.
- Попробуйте код самостоятельно с помощью codelab .
Прежде чем начать
- В файле build.gradle на уровне проекта обязательно включите репозиторий Google Maven как в разделы buildscript , так и в разделы allprojects .
- Добавьте зависимости для библиотек Android ML Kit в файл Gradle уровня приложения вашего модуля (обычно это app/build.gradle . Выберите одну из следующих зависимостей в зависимости от ваших потребностей: Для объединения модели с вашим приложением:
dependencies < // . // Use this dependency to bundle the model with your app implementation 'com.google.mlkit:face-detection:16.1.7' >
Для использования модели в Сервисах Google Play:
dependencies < // . // Use this dependency to use the dynamically downloaded model in Google Play Services implementation 'com.google.android.gms:play-services-mlkit-face-detection:17.1.0' >
Рекомендации по входному изображению
Для распознавания лиц следует использовать изображение размером не менее 480х360 пикселей. Чтобы ML Kit мог точно обнаруживать лица, входные изображения должны содержать лица, представленные достаточным количеством пиксельных данных. Как правило, каждое лицо, которое вы хотите обнаружить на изображении, должно иметь размер не менее 100x100 пикселей. Если вы хотите обнаружить контуры лиц, ML Kit требует ввода с более высоким разрешением: каждое лицо должно быть не менее 200x200 пикселей.
Если вы обнаруживаете лица в приложении реального времени, вам также может потребоваться учитывать общие размеры входных изображений. Изображения меньшего размера можно обрабатывать быстрее, поэтому, чтобы уменьшить задержку, снимайте изображения с более низким разрешением, но помните о вышеуказанных требованиях к точности и следите за тем, чтобы лицо объекта занимало как можно большую часть изображения. Также ознакомьтесь с советами по повышению производительности в реальном времени .
Плохая фокусировка изображения также может повлиять на точность. Если вы не получили приемлемых результатов, попросите пользователя повторно сделать снимок.
Ориентация лица относительно камеры также может влиять на то, какие черты лица распознает ML Kit. См. раздел «Концепции распознавания лиц» .
1. Настройте детектор лиц
Прежде чем применять распознавание лиц к изображению, если вы хотите изменить какие-либо настройки детектора лиц по умолчанию, укажите эти настройки с помощью объекта FaceDetectorOptions . Вы можете изменить следующие настройки:
Отдавайте предпочтение скорости и точности при обнаружении лиц.
Стоит ли пытаться определить «ориентиры» лица: глаза, уши, нос, щеки, рот и так далее.
Определять ли контуры черт лица. Контуры определяются только для наиболее заметного лица на изображении.
Следует ли классифицировать лица по таким категориям, как «улыбка» и «открытые глаза».
Устанавливает наименьший желаемый размер лица, выражаемый как отношение ширины головы к ширине изображения.
Следует ли назначать лицам идентификатор, который можно использовать для отслеживания лиц на изображениях.
Обратите внимание: когда распознавание контуров включено, распознается только одно лицо, поэтому отслеживание лица не дает полезных результатов. По этой причине, а также для повышения скорости обнаружения не включайте одновременно распознавание контуров и отслеживание лица.
Котлин
Ява
2. Подготовьте входное изображение
Чтобы обнаружить лица на изображении, создайте объект InputImage из Bitmap , media.Image , ByteBuffer , массива байтов или файла на устройстве. Затем передайте объект InputImage методу process FaceDetector .
Для распознавания лиц следует использовать изображение размером не менее 480x360 пикселей. Если вы распознаете лица в режиме реального времени, съемка кадров с этим минимальным разрешением может помочь уменьшить задержку.
Вы можете создать объект InputImage из разных источников, каждый из которых описан ниже.
Использование media.Image
Чтобы создать объект InputImage из объекта media.Image , например, при захвате изображения с камеры устройства, передайте объект media.Image и поворот изображения в InputImage.fromMediaImage() .
Если вы используете библиотеку CameraX , классы OnImageCapturedListener и ImageAnalysis.Analyzer вычисляют значение поворота за вас.
Котлин
private class YourImageAnalyzer : ImageAnalysis.Analyzer < override fun analyze(imageProxy: ImageProxy) < val mediaImage = imageProxy.image if (mediaImage != null) < val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // . >> >
Ява
private class YourAnalyzer implements ImageAnalysis.Analyzer < @Override public void analyze(ImageProxy imageProxy) < Image mediaImage = imageProxy.getImage(); if (mediaImage != null) < InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // . >> >
Если вы не используете библиотеку камер, которая дает вам степень поворота изображения, вы можете рассчитать ее на основе степени поворота устройства и ориентации датчика камеры в устройстве:
Котлин
Ява
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static < ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); >/** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException < // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) < rotationCompensation = (sensorOrientation + rotationCompensation) % 360; >else < // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; >return rotationCompensation; >
Затем передайте объект media.Image и значение степени поворота в InputImage.fromMediaImage() :
Котлин
val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Использование URI файла
Чтобы создать объект InputImage из URI файла, передайте контекст приложения и URI файла в InputImage.fromFilePath() . Это полезно, когда вы используете намерение ACTION_GET_CONTENT , чтобы предложить пользователю выбрать изображение из приложения галереи.
Котлин
val image: InputImage try < image = InputImage.fromFilePath(context, uri) >catch (e: IOException) < e.printStackTrace() >MLKitVisionImage.kt
Java
InputImage image; try < image = InputImage.fromFilePath(context, uri); >catch (IOException e)
Использование ByteBuffer или ByteArray
Чтобы создать объект InputImage из ByteBuffer или ByteArray , сначала вычислите степень поворота изображения, как описано ранее для ввода media.Image . Затем создайте объект InputImage с буфером или массивом вместе с высотой, шириной изображения, форматом цветовой кодировки и степенью поворота:
Котлин
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )MLKitVisionImage.kt
// Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) MLKitVisionImage.kt
Ява
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );MLKitVisionImage.java
// Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );MLKitVisionImage.java
Использование Bitmap
Чтобы создать объект InputImage из объекта Bitmap , сделайте следующее объявление:
Котлин
val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java
Изображение представлено объектом Bitmap вместе с градусами поворота.
3. Получите экземпляр FaceDetector.
Котлин
Ява
4. Обработка изображения
Передайте изображение методу process :
Котлин
Ява
Примечание. Если вы используете API CameraX , обязательно закройте ImageProxy после завершения его использования, например, добавив OnCompleteListener в Task , возвращаемую из метода process . Пример см. в классе VisionProcessorBase в примере приложения для быстрого запуска.
5. Получить информацию об обнаруженных лицах
Если операция обнаружения лиц завершается успешно, список объектов Face передается прослушивателю успеха. Каждый объект Face представляет лицо, обнаруженное на изображении. Для каждого лица вы можете получить его ограничивающие координаты во входном изображении, а также любую другую информацию, на поиск которой вы настроили детектор лиц. Например:
Котлин
Ява
Пример контуров лица
Если у вас включено распознавание контуров лица, вы получаете список точек для каждой обнаруженной черты лица. Эти точки представляют форму объекта. Подробную информацию о представлении контуров см. в разделе «Концепции распознавания лиц» .
На следующем изображении показано, как эти точки отображаются на лице. Щелкните изображение, чтобы увеличить его:
Обнаружение лиц в реальном времени
Если вы хотите использовать распознавание лиц в приложении реального времени, следуйте этим рекомендациям для достижения наилучшей частоты кадров:
- Настройте детектор лиц для использования либо распознавания контура лица, либо классификации и обнаружения ориентиров, но не того и другого: Обнаружение контура
Обнаружение ориентиров
Классификация
Обнаружение и классификация ориентиров
Обнаружение контуров и обнаружение ориентиров
Обнаружение и классификация контуров
Обнаружение контуров, обнаружение ориентиров и классификация
- Включите режим FAST (включен по умолчанию).
- Рассмотрите возможность захвата изображений с более низким разрешением. Однако также имейте в виду требования к размеру изображения этого API.
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons "С указанием авторства 4.0", а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2024-09-05 UTC.
