Задача фильтрации данных для обучения языковых моделей на краевых устройствах

Добро пожаловать в задачу фильтрации данных для обучения языковых моделей на краевых устройствах!

Введение и мотивация

Быстрое развитие языковых моделей (ЯМ) привело к прорывам в различных областях, включая понимание естественного языка, робототехнику и цифровое взаимодействие с человеком. В отличие от общих больших ЯМ, которые сложно развернуть на устройствах с ограниченными ресурсами, ЯМ, настроенные на конкретные задачи, имеют потенциал для достижения большей эффективности и более высокой точности выполнения задач. Однако успешная настройка зависит от наличия высококачественных, разнообразных наборов данных. Задача фильтрации данных для обучения языковых моделей на краевых устройствах стремится объединить академических исследователей, экспертов промышленности и энтузиастов ИИ для разработки техник фильтрации данных, которые улучшают наборы данных, лежащие в основе нового поколения ЯМ на краевых устройствах.

Эта задача приглашает участников создавать техники фильтрации данных и представлять наборы данных, улучшенные этими методами, с целью значительно повысить производительность ЯМ на краевых устройствах при решении downstream задач. С акцентом на улучшение точности и применимости модели в ключевых областях, участники получат возможность продвинуть границы ЯМ на краевых устройствах и получить признание в сообществе ИИ. Для техники дообучения мы сосредоточены на методе, известном как адаптация низкого ранга (LoRA), который позволяет создавать эффективные ЯМ, специфичные для задач, из предобученных моделей, используя меньше ресурсов, что делает его идеальным для таких устройств, как смартфоны и портативные роботы.

Область данной задачи

Участников поощряют разрабатывать и применять техники фильтрации данных для формирования наборов данных, оптимизированных для ключевых случаев использования при развертывании ЯМ на краевых устройствах. Эти наборы данных должны повышать производительность ЯМ в различных сценариях, включая:

Ролевые игры в интерактивных цифровых средах
Вызовы функций на мобильных устройствах
Робототехника для автономных задач
Задачи генерации с дополнением из репозиториев (RAG)

Цель состоит в том, чтобы обеспечить демонстрацию значительных улучшений производительности ЯМ, регулярно обучаемых на этих курируемых наборах данных, в перечисленных случаях использования. В частности, участники должны подчеркнуть, как эти наборы данных в сочетании с моделями, улучшенными с помощью LoRA, улучшают производительность.

Более подробную информацию можно найти на странице Проблема.