[Перевод] Выжимаем максимум из BERT: токенизация в 50 раз быстрее

Прошла очередная конференция SQAdays. Половина выступлений была посвящена использованию ИИ, и они носят вполне прагматичный характер освоения нового инструмента, который вошел в арсенал наряду с другими технологиями. Но были и обзорные выступления и круглые столы для осмысления изменений в целом. Мне лично в ходе обсуждений удалось получить картину будущего, когда нынешняя разработка схлопнется между discovery с вайбкодингом прототипов tiny team из бизнеса и технаря с одной стороны, и расширенной devops-командой, которая будет такие приложения подхватывать. И тестировщику надо выбирать свой путь в новом мире. А еще я засек, что для одних качество приложения – прагматичное понятие, описываемое метриками, а для других остается сакральной ценностью и недостижимым идеалом. Люди говорят о разном, но эту разницу не рефлексируют. Обо всем этом читайте в отчете вместе с конспектами выступлений.

Это вводная статья для серии материалов по классическому машинному обучению. Мы поговорим о том, как оно устроено, какие задачи решаются с помощью ML, какие инструменты используют для этого и, конечно, напишем код. Статьи будут раскрывать основополагающие идеи ML. Я предпочитаю интуитивное объяснение алгоритмов и методов формальной постановке задач и их решению, не умаляя важности последних. Но начнем с главного — со скелета. Разберем, как работает машинное обучение, из каких этапов состоит любой алгоритм и какие задачи вообще существуют. Для понимания материала достаточно базовых знаний математики, статистики и умения работать с данными. Код на Python: pandas и numpy для данных, а в конце покажем тот же алгоритм четырьмя строками на scikit-learn.

Меня зовут Роман Стрельников, я руководитель направления информационной безопасности в 1С-Битрикс. Сегодня разберем, как ИИ изменил кибератаки и способы защиты от них, и какие интересные инциденты раскрыли компании