Apache Flink — это мощная платформа обработки потоков, поддерживающая операции с отслеживанием состояния потоковых данных. Управление состоянием имеет решающее значение для поддержания контекста и агрегирования данных во времени. Серверная часть состояния Flink предоставляет механизм для эффективного хранения и управления этим состоянием. В этой статье мы подробно рассмотрим, как работает серверная часть состояния Flink, изучим доступные варианты и обсудим преимущества и недостатки каждого из них.

Как работает серверная часть состояния Flink

Серверная часть состояния Flink управляет состоянием операций с отслеживанием состояния, таких как оконные агрегации или состояние с ключом в потоковых приложениях. Он служит распределенной и отказоустойчивой системой хранения состояния. Государственный сервер отвечает за:

Контрольные точки: создание моментальных снимков состояния и метаданных через регулярные промежутки времени, обеспечивающие отказоустойчивость и восстановление в случае сбоев.

Восстановление: восстановление состояния из контрольных точек после возникновения сбоя, обеспечивающее согласованность данных.

Состояние с возможностью запроса Разрешение приложениям запрашивать состояние для определенных ключей или диапазонов. Масштабирование Распределение состояния по нескольким узлам для обработки данных с высокой пропускной способностью.

Доступные параметры состояния серверной части

Flink предоставляет на выбор несколько вариантов состояния серверной части, каждый из которых имеет свои недостатки. Рассмотрим самые распространенные варианты:

1. Серверная часть состояния памяти

Преимущества: быстрые операции чтения/записи, подходящие для приложений с малой задержкой.
Недостатки: ограниченная емкость из-за нехватки памяти. Не подходит для больших размеров состояния или долгоживущих данных.

2. Фсстатебэкэнд

Преимущества: Надежное хранилище в файловой системе (HDFS, S3 и т. д.). Подходит для состояния среднего размера.
Недостатки: более медленные операции чтения/записи по сравнению с памятью. Может привести к дополнительной задержке.

3. RocksDBStateBackend

Преимущества: основано на хранилище ключей RocksDB. Сочетает скорость и долговечность. Подходит для больших размеров состояния.
Недостатки: повышенное потребление ресурсов из-за использования памяти RocksDB.

Выбор правильного состояния бэкэнда

MemoryStateBackend
Выберите этот вариант, если важны операции чтения/записи с малой задержкой и быстротой, а ваше состояние соответствует ограничениям памяти. Подходит для аналитики в реальном времени и приложений, требующих минимальных задержек обработки.

FsStateBackend
Выбирайте FsStateBackend, когда необходимы долговечность и надежное восстановление. Полезно для приложений с умеренными размерами состояния, где задержка не является основной проблемой.

RocksDBStateBackend
Используйте RocksDBStateBackend для приложений с большими размерами состояний или долгоживущими состояниями, которые могут не помещаться в памяти. Этот вариант обеспечивает баланс между скоростью и долговечностью, что делает его подходящим для различных вариантов использования.

Рекомендации и рекомендации

Размер состояния. Выберите серверную часть состояния, соответствующую размеру состояния вашего приложения. Рассмотрите возможность использования распределенной системы хранения (например, HDFS) для очень большого состояния.

Задержка. Если важна обработка с малой задержкой, выберите серверную часть состояния на основе памяти. Если долговечность важнее, рассмотрите возможность использования серверной части на основе файлов или RocksDB.

Использование ресурсов. Помните о потреблении памяти и дискового пространства выбранным вами сервером состояния. Контролируйте и корректируйте конфигурацию по мере необходимости.

Пример MINIO

version: '3.8'

services:
  flink-jobmanager:
    image: apache/flink:1.14.2
    ports:
      - "8081:8081" # Flink Web UI
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager
      - STATE_BACKEND=filesystem
      - CHECKPOINTS_DIRECTORY: s3a://flink-checkpoints/
    command: jobmanager

  flink-taskmanager:
    image: apache/flink:1.14.2
    depends_on:
      - flink-jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager
    command: taskmanager

  minio:
    image: minio/minio:latest
    ports:
      - "9000:9000"
    environment:
      - MINIO_ACCESS_KEY=minio-access-key
      - MINIO_SECRET_KEY=minio-secret-key
    volumes:
      - minio-data:/data

volumes:
  minio-data:

В приведенном выше примере я добавил переменные среды STATE_BACKEND и CHECKPOINTS_DIRECTORY в службу flink-jobmanager, чтобы настроить серверную часть состояния Flink для использования файловой системы и установить каталог контрольных точек для хранения в MinIO.

Замените minio-access-key и minio-secret-key вашими действительными ключами доступа MinIO и сделайте любой другие необходимые настройки в соответствии с вашей конкретной средой и настройками версии Flink. Кроме того, обязательно ознакомьтесь с документацией Apache Flink для получения дополнительной информации о настройке серверной части состояния и контрольных точек.

Пример ROCKSDB

version: '3.8'

services:
  flink-jobmanager:
    image: apache/flink:1.14.2
    ports:
      - "8081:8081" # Flink Web UI
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager
      - STATE_BACKEND=rocksdb
    command: jobmanager

  flink-taskmanager:
    image: apache/flink:1.14.2
    depends_on:
      - flink-jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager
    command: taskmanager

  rocksdb-statebackend:
    image: apache/flink-statebackend-rocksdb:1.14.2
    volumes:
      - flink-data:/data

volumes:
  flink-data:

В этой обновленной версии я добавил новый сервис rockdb-statebackend, который использует образ apache/flink-statebackend-rocksdb, содержащий серверную часть состояния RocksDB для Apache Flink. Базовые данные состояния будут храниться в томе flink-data.

Бэкенд состояния Flink — критически важный компонент, обеспечивающий отказоустойчивость, управление состоянием и масштабируемость в потоковых приложениях. Выбор правильного варианта серверной части состояния зависит от таких факторов, как требования к задержке, размер состояния и устойчивость. Понимая доступные варианты и их компромиссы, вы можете принимать обоснованные решения, которые оптимизируют ваши приложения Flink для повышения производительности и надежности.