Примечание редактора: узнайте больше о графиках и графической аналитике на лекции Выявление прогнозных закономерностей с помощью графических алгоритмов Neo4j на ODSC West 2019 в среду, 30 октября.
Поскольку данные становятся все более взаимосвязанными, а системы - все более сложными, важно использовать богатые и развивающиеся взаимосвязи в наших данных. Графы уникально подходят для этой задачи, потому что они очень просто математическое представление сети. Объекты, составляющие графы, называются узлами (или вершинами), а связи между ними называются отношениями (или ребрами).
[Другие статьи докладчиков ODSC West 2019 смотрите здесь!]
Модель графа свойств состоит из сущностей, часто называемых узлами, и связей между ними, часто называемых отношениями. Узлы и отношения также могут содержать свойства и атрибуты.
Алгоритмы графов созданы для работы с отношениями и исключительно способны находить структуры и выявлять закономерности в связанных данных. Это важно, потому что в реальных сетях обычно образуются очень плотные группы со структурой и «неровным» распределением. Мы наблюдаем такое поведение во всем: от ИТ и социальных сетей до экономических и транспортных систем. Традиционные статистические подходы не полностью используют топологию самих данных и часто «усредняют» распределения. Графическая аналитика отличается от обычного анализа расчетом показателей на основе взаимосвязей между вещами.
Графические алгоритмы
Алгоритмы графов используются, когда нам нужно понять структуры и отношения, чтобы ответить на вопросы о путях, по которым вещи могут идти, как они протекают, кто влияет на этот поток и как взаимодействуют группы. Это важно для таких задач, как прогнозирование поведения, понимание динамических групп или поиск прогностических компонентов и закономерностей.
Существует много типов алгоритмов графа, но три классические категории учитывают общий характер графа: поиск пути, центральность и обнаружение сообщества. Однако другие алгоритмы графа, такие как предсказание подобия и связи, рассматривают и сравнивают определенные узлы.
- Алгоритмы поиска пути имеют фундаментальное значение для анализа графов и исследования маршрутов между узлами.
- Алгоритмы централизации помогают нам понять влияние отдельных узлов на всю сеть. Они определяют наиболее влиятельные узлы и помогают нам понять групповую динамику.
- Алгоритмы сообщества находят сообщества, члены которых имеют больше отношений внутри группы, чем за ее пределами. Это помогает сделать вывод о подобном поведении или предпочтениях, оценить устойчивость и подготовить данные для других анализов.
- Алгоритмы подобия проверяют, насколько похожи отдельные узлы, путем сравнения свойств и атрибутов узлов.
- Алгоритмы прогнозирования связей учитывают близость узлов, а также структурные элементы, такие как потенциальные треугольники, для оценки образования новых отношений или существования недокументированных связей.
Пример борьбы с мошенничеством
Допустим, мы пытаемся бороться с мошенничеством при онлайн-заказах. Скорее всего, у нас уже есть информация профиля или поведенческие индикаторы, которые будут указывать на мошенничество. Однако бывает сложно отличить поведение, указывающее на незначительное правонарушение, необычную деятельность и мошенничество. Это может привести нас к безнадежному выбору: преследовать все подозрительные заказы - что дорого и замедляет бизнес - или позволить самой подозрительной активности пройти мимо. Более того, по мере развития преступной деятельности мы можем не замечать новые модели.
Графические алгоритмы, такие как модульность Лувена, могут использоваться для более продвинутого обнаружения сообществ, чтобы найти группы, взаимодействующие на разных уровнях. Например, в сценарии мошенничества мы можем захотеть связать тесно связанные группы учетных записей с определенным порогом возвращаемых продуктов. Или, возможно, мы хотим определить, какие учетные записи в каждой группе имеют больше всего входящих транзакций, включая косвенные пути, с помощью алгоритма PageRank.
Чтобы проиллюстрировать эти алгоритмы, ниже приведен снимок экрана с использованием Louvain и PageRank во втором сезоне Игры престолов. Он находит общественные группы и самых влиятельных персонажей с помощью нашего экспериментального инструмента Площадка для графических алгоритмов. Обратите внимание на то, как Джон имеет влияние в сообществе со слабыми связями, но не в целом, и что группа Дейенерис изолирована. Интересно, что было отмечено, что тесно связанные острова сообществ могут сигнализировать о мошенничестве в определенных финансовых сетях.
Заключение
Мы быстро рассмотрели, что такое графики и как алгоритмы графов уникально подходят для сегодняшних подключенных данных, однако мы лишь поверхностно коснулись того, что возможно. Если вы хотите погрузиться глубже, рассмотрите возможность посещения нашего тренинга « Выявление прогнозных закономерностей с помощью графических алгоритмов Neo4j » на ODSC West 2019 в среду, 30 октября. .
[Статья по теме: Создание нескольких визуализаций в одном блокноте Python]
Мы также рекомендуем загрузить бесплатную копию книги О’Рейли Графические алгоритмы: практические примеры в Apache Spark и Neo4j, пока она еще доступна. В этой книге рассматриваются практические примеры использования алгоритмов графов в Apache Spark и Neo4j, включая главу, посвященную машинному обучению.
Авторы:
Дженнифер Рейф
Дженнифер - инженер по связям с разработчиками в Neo4j, спикер конференции, блоггер, заядлый разработчик и решатель проблем. Она работала с различными коммерческими инструментами и инструментами с открытым исходным кодом и любит изучать новые технологии, иногда ежедневно! Ее страсть - найти способы организовать хаос и более эффективно доставлять программное обеспечение.
Эми Э. Ходлер
Эми - приверженец сетевой науки и программный директор по ИИ и графической аналитике в Neo4j. Эми является соавтором книги «Алгоритмы графа: практические примеры в Apache Spark и Neo4j». Она пишет в Твиттере @amyhodler
Прочтите больше статей по науке о данных на OpenDataScience.com, включая учебные пособия и руководства от новичка до продвинутого уровня! Подпишитесь на нашу еженедельную рассылку здесь и получайте последние новости каждый четверг.
