Узнайте, как писать рекомендации по написанию аннотаций для проектов компьютерного зрения. Ознакомьтесь с передовыми методами подготовки четких инструкций по аннотированию данных для вашей команды.
Эта статья была написана Ани Джанелидзе и первоначально опубликована на сайте V7 (5 лучших практик написания рекомендаций по написанию аннотаций)
Аннотирование данных — заведомо сложная задача, и когда она выполняется неправильно, это может стоить вам времени и денег.
Очень часто кажущаяся простой аннотация может вызвать много путаницы. Это два одинаковых? Этот объект на заднем плане имеет отношение к задаче? Должен ли я обозначить эту размытую вещь как «автомобиль»?
Во многих случаях эти сомнения можно разрешить, имея исчерпывающий набор инструкций и примеров.
Но -
Многие группы машинного обучения недооценивают важность четких инструкций по аннотациям. А потом им приходится вручную исправлять сотни неверных меток и масок.
В этом руководстве мы покажем вам, как писать эффективные инструкции по аннотации, чтобы вы могли избежать дорогостоящих ошибок.
Вот пять лучших практик для подготовки высококачественных руководств по аннотациям:
- Устранение пробелов в знаниях по конкретным предметным областям
- Определите крайние случаи и покажите примеры
- Используйте соответствующий формат и тип документации
- Используйте существующие золотые наборы данных
- Предлагайте регулярную обратную связь в процессе аннотирования
Давайте обсудим их один за другим.
1. Устранение пробелов в знаниях по конкретным предметным областям
Это может не относиться к файлам DICOM и аннотаторам с медицинским образованием, но некоторым аннотаторам могут потребоваться специальные рекомендации по конкретным случаям использования. Не все являются экспертами в области производства солнечных батарей, сельского хозяйства, складской и розничной торговли и т. д.
У ваших комментаторов может быть недостаточно информации об отрасли, и они могут упустить некоторые важные детали, очевидные для человека со специальными знаниями.
Не забудьте разъяснить любые отраслевые термины или классы, которые могут запутать маркировщиков. Короче говоря, если для проекта маркировки требуется знание предметной области, руководство по аннотации должно содержать всю необходимую справочную информацию о наборе данных.
2. Определите крайние случаи и покажите примеры
Пограничные случаи распространены при маркировке данных, поскольку данные обычно противоречивы и имеют некоторые выбросы.
Цена игнорирования крайних случаев довольно высока. У нас есть много случаев в истории, когда отказ от включения пограничных сценариев приводил к неправильно обученным моделям. Например, в 2018 году автономный автомобиль Google врезался в автобус, обнаружив мешки с песком вокруг ливневой канализации и неверно истолковав ситуацию.
Могут быть ситуации, когда изображение нечеткое, объект на изображении закрыт, виден лишь частично и т. д. Если мы видим только 5% кошачьего хвоста, должны ли аннотаторы по-прежнему помечать его? Является ли очень размытое изображение собаки собакой?
Обязательно определите возможные сценарии с вашими данными, включая конкретные показатели для таких перекрытий. Важно, чтобы руководство по аннотации показывало и иллюстрировало каждую этикетку примерами. Изображения легче понять, чем сложные объяснения, и они помогут вашим сотрудникам определить различные сценарии.
3. Используйте правильный формат и тип документации
Имейте в виду, что длина рекомендаций будет зависеть от сложности самого проекта аннотации. Инструкции по аннотациям всегда должны согласовываться с другой письменной документацией по проекту, поэтому избегайте противоречивых или запутанных указаний.
Если рекомендации кажутся сложными или длинными, вы можете использовать дополнительное программное обеспечение вики, такое как Notion. Информация в документе ДОЛЖНА быть доступной для поиска и обнаружения, чтобы помочь сотрудникам быстро найти соответствующие рекомендации в процессе аннотирования.
В самом руководящем документе номера страниц и оглавление с гиперссылками могут быть полезны для навигации. Например, вы можете создать отдельный раздел для каждого класса аннотаций. Кроме того, некоторые репрезентативные примеры могут быть встроены вместе с инструкциями.
И последнее, но не менее важное: всегда полезно объяснить цель проекта аннотации, если он не является конфиденциальным. Чрезвычайно полезно знать конечные цели. Какова цель данных? Какой тип модели будет обучаться на нем? Для чего будет использоваться модель? Если вы не можете ответить на эти вопросы из соображений конфиденциальности, сначала обязательно подпишите соглашение о неразглашении со своим деловым партнером.
4. Используйте существующие золотые наборы данных
В компьютерном зрении золотой набор данных — это набор данных, который обычно используется в качестве эталона для оценки производительности. Он использует качественные образцы и маркируется экспертами вручную. Золотые наборы данных — это своего рода чит-коды, которые были предварительно подготовлены менеджерами проекта аннотации.
Использование золотых наборов данных — идеальный способ обучения рабочей силы. Они особенно полезны для проектов обнаружения объектов со строго определенными способами аннотирования. Золотые наборы данных сокращают цикл обратной связи между руководителями проектов аннотирования и рабочей силой. Это потому, что правильные аннотации для данных классов уже определены заранее.
С другой стороны, создание золотых наборов данных для обучения требует значительного количества времени и усилий. Вы должны убедиться, что существует достаточное количество и разнообразие золотых задач, чтобы они представляли фактические данные.
Кроме того, в руководящих принципах должно быть указано, можно ли обсуждать аннотации между аннотаторами, включая доступ к золотым наборам данных. Если этапы согласования аннотаций (доступные в версии 7!) используются для обеспечения качества, необходимо указать в руководящих принципах, что аннотаторы не могут обсуждать свои рабочие элементы друг с другом и что они не должны запрашивать указания у менеджеров проекта аннотирования, выходящие за рамки письменного указания или информация, предоставленная заранее.
5. Предлагайте регулярную обратную связь во время процесса аннотации
Рекомендуется повторить в начале проекта маркировки и предоставить письменный отзыв для рабочей силы как можно скорее. Таким образом, у вас будут не только фактические инструкции по маркировке, но и документ с часто задаваемыми вопросами для всех новичков. Это также помогает избежать систематических ошибок в процессе маркировки и в целом упрощает наблюдение за результатами с самого начала проекта аннотирования.
Важно объяснить, почему аннотация правильная или неправильная. Это позволит вашим комментаторам быстрее учиться и работать более эффективно.
В дополнение к предоставлению обратной связи менеджеры по аннотациям должны иметь открытую линию связи. Аннотаторов следует поощрять задавать вопросы, высказывать свои опасения и вносить предложения. Это поможет вам наладить отношения с вашим персоналом, а также обеспечить успех проекта аннотации.
Заключение
Написание инструкций по аннотации является важным шагом в процессе маркировки данных. Это не следует упускать из виду. Следование передовым методам, таким как устранение пробелов в знаниях по конкретным предметным областям, предоставление примеров и регулярная обратная связь в процессе аннотирования, может обеспечить высокое качество ваших обучающих данных.
В конце концов, вы же не хотите случайно получить набор данных, который выглядит так:
Потратив время на создание надежных инструкций по аннотации, команды машинного обучения могут сэкономить время и деньги в долгосрочной перспективе.
