Как работает автоматический классификатор трафика

Идея использования модели проста, как грабли: если создать модель пользователя сети, способную предсказывать переходы с одного сайта на другой, то сравнивая вероятные переходы с сайта, полезность (или бесполезность) которого хорошо известна, и с сайта, произвольно взятого, его полезность также можно оценить. Таким образом, экспертную оценку небольшого числа сайтов можно распространить на другие посещаемые пользователями сайты.

Такой инструмент ощутимо расширяет возможность применения экспертных оценок: в самом деле, основная проблема экспертной оценки в ее трудоемкости и субъективности. Типичная попытка экспертной оценки административно-командным способом выглядит так: пользователи сети загоняются в нечеловеческие условия работы в виде 100-бодового канала и у кабинета начальника вскоре появляется разъяренная толпа с заявлениями: "сайты nalog и garant медленно открываются и мы не можем работать". Хотя имена названы, ценность этого списка сомнительна: пользователи не осознают какие инструменты им действительно полезны, и на прямой вопрос просто называют имена раскрученных брендов. На самом деле оказывается, что эти сайты используются редко и покрывают ничтожную часть рабочих потребностей: зайдет иногда уставший от годового отчета главбух, окинет тоскливым взором законодательные просторы и пойдет куда глаза глядят - подставлять новые цифры в прошлогодний отчет.

Список сайтов бесполезных составить несколько проще: достаточно просмотреть логи посещаемости и отобрать явное говно, не относящееся к работе: мамба, в контакте и одноклассники. Высокая посещаемость таких ресурсов позволяет легко их обнаружить, но маскирует основную часть бесполезного трафика, приходящегося на большое число редко посещаемых ресурсов типа гипотетического сайта yuzhnye_devushki.

Поэтому результат такого напряженного и рискованного труда окажется не слишком впечатляющим:

В конечном счете можно заключить, что таким командно-административным методом цель посещения основной массы (4930) сайтов установить не удалось и реализуемость разделения трафика оказывается под сомнением.

Но если предположить, что люди, в основной массе, разумны, то можно ожидать, что работа пользователя интернет является непрерывной и, в течении существенного промежутка времени, целенаправленной. Тогда вероятно, что если пользователь просмотрел заведомо нужный для работы сайт, то и посещение сайтов вскоре после этого также обусловлено рабочей необходимостью. Если же пользователь зашел в сеть подурачится - то делать это будет долго и самозабвенно, и даже случайно не зайдет на сайт, посвященный проблемам налогообложения.

Такое допущение - удачная основа для создания модели поведения, обучаемой на основе примера последовательности посещений сайтов пользователями для предсказания вероятного продолжения последовательности: десятки решений такого рода описаны в специальной литературе. Применив такую модель к небольшой выборке сайтов, для которых существует экспертная оценка, можно построить последовательные расширяющиеся приближения двух групп сайтов: полезных и бесполезных. Каждое последующее приближение содержит все сайты из предыдущего и дополнено сайтами, посещение которых вероятно следом за ними. Достоверность каждого последующего приближения снижается, и в конечном итоге новые сайты начинают попадать сразу в обе группы - это предел статистической полноты модели.

Использование чуть более сложного алгоритма, основанного на непрерывных коэффициентах доверия, позволяет получить существенно более хороший результат, хотя основная идея остается такой же, как описано выше:

Оценка оставшихся 500 сайтов оказалась невозможна из-за статистической неполноты модели.

Этот результат уже имеет ощутимую "производственную" ценность: если использование изначально заявленных экспертами сайтов было исчезающе мало, то посещаемость эвристически найденных сайтов уже составляет заметную долю трафика, которую можно пустить по дорогому и хорошему каналу. Точные замеры не проводились, но приблизительные оценки показали, что большая часть этого трафика может быть объяснена служебной необходимостью.