Камера зовёт на осмотр: связываем ESP32-CAM с моделью растений

Камера каждый день снимает выбранное растение. Как среди накопленных кадров найти те, к которым стоит присмотреться? Попробуем модель на сервере и очередь на осмотр. Цель первого опыта — связать интересующий снимок с местом, временем и результатом проверки человеком.

Ниже описаны роли устройств, обработка снимков, монтаж и порядок испытаний. Это учебный план интеграции: по нему предстоит собрать прошивку и сервер. Отдельные части разобраны в материалах про сбор снимков ESP32-CAM, запуск готовой модели и обучение на своих фотографиях. Свяжем эти этапы и проверим их на одной выбранной точке.

Выбираем, что попадёт в поле зрения

Начните с контрольной точки, где хорошо виден нужный объект. Зафиксируйте, какие листья и растения попадают в кадр. Это границы наблюдения: результат класса относится к снимку, а остальные части растения и участка осматриваются отдельно.

Если интересно изменение во времени, сохраните повторяемый ракурс и свет. Классификатор отдельного кадра выдаёт ответ на него; сравнение с историей потребует своей логики. Посмотрите, насколько положение листьев и освещение меняют вид одного растения.

Задача описанного проекта — сформировать очередь на осмотр. Он не управляет опрыскивателем и не назначает обработку. Решение о причине симптомов и дальнейших действиях принимает человек после проверки. Вводные понятия есть в статье о нейросетях для фермы.

Распределяем работу между камерой и сервером

Здесь модель работает на сервере; пригодность конкретного Raspberry Pi определяют измерением, а не названием платы. Важны сама модель, формат вычислений, подготовка изображения и число камер. Для передачи JPEG можно предусмотреть HTTP-загрузку, а MQTT использовать для коротких состояний. Устройство обмена сообщениями разобрано в статье про MQTT и бота ВКонтакте; приём JPEG реализуйте отдельным обработчиком.

Проводим один кадр через все этапы

Пройдите алгоритм ниже как план реализации. Для каждого перехода определите наблюдаемый результат и отдельное состояние ошибки. Сначала удобно проследить один кадр целиком, затем добавить очередь.

Камера делает снимок и присваивает ему устойчивый идентификатор.
  Если часы камеры не проверены, время съёмки помечается неизвестным.
  Время приёма сервером хранится отдельно.

Сервер проверяет устройство и допустимость загрузки.
  Проверяет размер, декодирование изображения и предел числа пикселей.
  Сам назначает безопасный путь хранения; cam_id не используется как путь.
  Сохраняет файл и состояние задания либо возвращает ошибку.
  Повтор того же идентификатора не создаёт новое задание.

Проверка кадра отделяет непригодные и устаревшие изображения.
  При неподдерживаемой культуре анализ не выдаётся за оценку здоровья.
  Пригодный кадр обрабатывается по правилам выбранной версии модели.

Журнал хранит исходный кадр, версии модели и подготовки изображения,
  метки, оценки, применённое правило отбора и ошибки обработки.
  При необходимости создаётся задание на осмотр человеком.

Статусы «принято», «проанализировано», «уведомление принято сервисом»
  и «человек осмотрел» записываются отдельно.
  Отказ или отсутствие данных остаются видимыми оператору.

У задания сохраните камеру, место, номер кадра, время съёмки с признаком достоверности и время приёма. Ограничьте доступ, размер очереди, архив и срок обработки. После перезапуска восстановите незавершённые задания и список уже обработанных кадров — это проверим отдельным опытом.

Разделите отметки «принято», «обработано», «сообщение отправлено» и «осмотрено». Тогда будет понятно, на каком этапе находится кадр. Если сервер недоступен, учитывайте несохранённые снимки; локальный архив добавляйте вместе с проверкой восстановления.

Привязываем ответ к конкретному снимку

Возьмите полный комплект выбранной модели: файл, классы, размер, порядок каналов и нормализацию. Сохраните версию и настройки рядом. Перед первой автоматической обработкой сравните результат на сохранённом кадре с её отдельным скриптом запуска.

Числовая оценка класса не становится вероятностью болезни только потому, что её показали в процентах. Исследование Guo и соавторов о калибровке нейросетей показывает, почему соответствие оценок фактической частоте правильных ответов требует отдельной проверки. Даже калибровка на одной выборке не доказывает качество на другой культуре, камере или при другом освещении.

В сообщении укажите место, время, метку модели и причину отбора, приложите снимок. Для плохого кадра или неподдерживаемой культуры предусмотрите отдельное пояснение. По такой карточке человек сможет выбрать следующий шаг и позже добавить подтверждённое заключение.

Добиваемся сопоставимой съёмки

• Выберите объект, соответствующий задаче модели. Панорама ряда не равнозначна снимку отдельного листа, на котором обучали классификатор.
• Подберите расстояние и фокус по реальным деталям в кадре. Универсального расстояния для всех объективов, листьев и разрешений нет.
• Закрепите камеру и проверяйте, что растение остаётся в поле зрения по мере роста. Записывайте изменения ракурса и места установки.
• Проверьте свет в разное время суток. Блики, тени и тёмные кадры могут сделать изображение непригодным; это отдельный результат проверки, а не класс болезни.
• Предусмотрите защиту от воды и конденсата, доступ для очистки и обслуживание объектива. Загрязнение не обязано приводить к какому-либо определённому ответу модели.
• Подберите питание по документации конкретной платы и проверьте устойчивость при съёмке и передаче. Требования к входу питания платы и допустимые уровни GPIO различаются.
• Частоту съёмки определяйте по задаче, доступному свету, связи и хранению. Она должна обеспечивать нужные наблюдения, а не просто создавать больше файлов.

Драйвер камеры Espressif описывает зависимость режимов съёмки от PSRAM, формата и числа буферов. Настройки следует выбирать для своей платы и проверять вместе с работающим Wi-Fi. Снимите серию кадров и проверьте их качество и сохранение.

Для сопоставления с условиями выращивания полезны данные о зоне съёмки и показания рядом установленных датчиков. См. материалы про анализ рядов измерений и датчики влажности почвы. Совпадение симптома с изменением графика само по себе не устанавливает причину.

Проверяем и найденное, и пропущенное

Порог отбора выбирают по проверенным данным и цене ошибок. В руководстве Google по метрикам классификации показан компромисс: повышение порога обычно уменьшает ложные срабатывания, но может увеличить пропуски. Поэтому совет «поставьте высокий порог, чтобы не мешало» недостаточен.

Сравнивайте очередь с плановыми осмотрами, включая места без тревог. Отдельно отмечайте кадры, которые не пришли или не обработались. Тогда станет видно, где полезен отбор, а где система упускает наблюдения.

Считайте два показателя отдельно: долю подтверждённых проблем среди тревог и долю найденных среди всех подтверждённых случаев проверки. Запишите их знаменатели. Если нужных случаев в подборке ещё нет, продолжите сбор для этой части оценки.

Повторные кадры можно объединить в открытое задание, сохранив историю. Проверьте, остаются ли заметны новый участок, ухудшение и отказ камеры. Время доставки и реакции согласуйте с задачей — так очередь будет удобна сотруднику.

Добавляем результат осмотра

После осмотра запишите автора, дату, наблюдения и степень определённости. Кнопка «ложная тревога» может стать началом такой записи. Разделите неверный класс, плохой кадр и пока неизвестную причину — это поможет разбирать ошибки.

Снимки для обучения, настройки порога и окончательной проверки разделяют так, чтобы соседние кадры одного растения или одной серии не создавали ложное впечатление независимой проверки. Порядок подготовки своей выборки описан в статье об обучении модели.

Из новых наблюдений подготовьте следующую версию отдельно. Сравните её с прежней на отложенных данных и сохраните возможность возврата. Обратная связь в журнале станет материалом для этого опыта.

Считаем одну точку целиком

• Камеры, подходящее питание, корпуса, крепления, кабели и защита соединений.
• Сервер, накопитель, резервное копирование и при необходимости улучшение связи.
• Монтаж, разработка приёма файлов и интерфейса, настройка доступа и восстановление после отказов.
• Очистка оптики, проверка питания, хранение снимков, разметка и регулярные осмотры.

Включите в расходы камеру, монтаж, сервер, обслуживание и время просмотра. Для нескольких точек измерьте нагрузку на общий сервер. Сравните затраты с фактическим результатом наблюдений после первого опыта.

Переходим дальше после понятного результата

1. Проверьте, подходит ли выбранная модель для культуры и типа снимка. Запустите её на сохранённых кадрах; фиксируйте ошибки, а не только удачные ответы.
2. Подключите одну камеру и сначала проверьте съёмку, передачу, хранение и восстановление после отключений.
3. Добавьте анализ в журнал без использования его как замены обходам. Сравнивайте результаты с независимым осмотром.
4. Настройте отбор кадров и уведомления на отдельной проверочной выборке. Испытайте пропуск кадра, повреждённый файл, недоступность модели и повтор загрузки.
5. Расширяйте пилот только после оценки качества, нагрузки, обслуживания и реакции оператора. Новая камера и новая культура требуют своей проверки.

Этапы не привязаны к обещанию уложиться в выходной или месяц. Полив и климат также требуют отдельной проверки: см. автополив с прогнозом и вентиляцию теплицы. Камера может зафиксировать видимые изменения, но не обязана правильно различить все их причины.

Как будет выглядеть обычный осмотр

Представим утро с такой очередью. Сотрудник открывает карточку, проверяет возраст и место, рассматривает изображение и идёт к растению. Если на объективе капля, отмечает проблему съёмки и очищает окно. После осмотра добавляет результат в то же задание.

Рядом видна другая точка, от которой давно нет кадров. Её проверяют как отказ наблюдения. Плановые осмотры продолжаются; при разборе дня сопоставляют находки, пропуски, ложные тревоги и затраченное время.

Устраиваем несколько пробных сбоев

• Обработка старого кадра как нового после восстановления сети.
• Потеря заданий или повторных уведомлений при перезапуске сервера.
• Использование чужого списка меток или неправильной подготовки входа модели.
• Скрытие отказа камеры за отсутствием тревог.
• Сохранение только отобранных снимков, из-за чего невозможно оценить пропуски.
• Переполнение накопителя, очереди или журнала без заметного сообщения оператору.
• Уведомление без фотографии, времени, места или понятного способа записать результат осмотра.

Срок хранения и объём архива задают заранее, сохраняя материалы, нужные для проверки качества. Доступ к снимкам и журналу ограничивают. Защиту уличной камеры и обслуживание полезно продумать вместе с рекомендациями по фотоловушке.

Готовим вторую камеру

Перед расширением посмотрите на пригодность снимков, пропуски, ложные тревоги, очередь и обслуживание первой точки. Проверьте, помогают ли задания реальному осмотру. По этим результатам выбирайте следующую точку.

Попробуйте одновременно отправить кадры после разрыва связи и посмотрите на очередь. Предусмотрите остановку сообщений неисправной точки с видимой отметкой отказа. Новую культуру и ракурс оцените отдельно на её снимках.

Выбираем продолжение проекта

Текстовый помощник может помочь оформить наблюдения и вопросы для проверки, но не превращает метку классификатора в подтверждённый диагноз. При обмене с облаком заранее определяют состав данных и права доступа: даже сводка может содержать чувствительные сведения. Вариант координации компонентов описан в статье про мини-агенты и MQTT.

Разницу между задачами моделей разбирает материал о CNN, RNN и LLM, а порядок тем — план серии. Постоянный адрес этой статьи сохранён для прежних ссылок.

Начните с одного растения или контрольной точки. Получите пригодный кадр, сохраните ответ и добавьте результат осмотра. Когда этот путь станет понятным, разберите несколько ошибок и решите, что улучшить прежде всего: съёмку, модель или удобство журнала.