Шаг 228.
Python: сборник рецептов. Конкурентность. Реализация системы сообщений "опубликовать/подписаться" (pub/sub)

    На этом шаге мы рассмотрим реализацию такой системы.

Задача

    У вас есть программа на базе коммуницирующих потоков, и вы хотите реализовать систему сообщений "опубликовать/подписаться".

Решение

    Чтобы реализовать систему сообщений "опубликовать/подписаться", обычно вам нужно добавить отдельный объект "пункт обмена" (exchange) или "шлюз" (gateaway), который действует как посредник для всех сообщений. Вместо прямой отсылки сообщений из одной задачи в другую сообщение посылается в пункт обмена, а он доставляет сообщение в одну или более прикрепленных задач. Вот пример очень простой реализации пункта обмена:

from collections import defaultdict


class Exchange:
    def __init__(self):
        self._subscribers = set()

    def attach(self, task):
        self._subscribers.add(task)

    def detach(self, task):
        self._subscribers.remove(task)

    def send(self, msg):
        for subscriber in self._subscribers:
            subscriber.send(msg)


# Словарь всех созданных пунктов обмена
_exchanges = defaultdict(Exchange)


# Вернуть экземпляр Exchange, ассоциированный с переданным именем
def get_exchange(name):
    return _exchanges[name]

    Пункт обмена - это просто объект, который хранит множество активных подписчиков и предоставляет методы для прикрепления, открепления и отсылки сообщений. Каждый "пункт обмена" идентифицируется по имени, а функция get_exchange() просто возвращает экземпляр Exchange, связанный с переданным именем.

    Вот простой пример, который демонстрирует использование пункта обмена:

if __name__ == '__main__':
    # Пример задачи. Любой объект с методом send()
    class Task:
        def __init__(self, name):
            self.name = name

        def send(self, msg):
            print('{} got: {!r}'.format(self.name, msg))


    task_a = Task('A')
    task_b = Task('B')

    # Пример получения пункта обмена
    exc = get_exchange('spam')

    # Пример подписывания задач на него
    exc.attach(task_a)
    exc.attach(task_b)

    # Пример отсылки сообщений
    exc.send('msg1')
    exc.send('msg2')

    # Пример отписки
    exc.detach(task_a)
    exc.detach(task_b)
    exc.send('msg3')
Архив с этим файлом можно взять здесь.

    Хотя есть много различных вариантов этой темы, общая идея остается одинаковой. Сообщения будут доставлены в "пункт обмена", а пункт обмена доставит их прикрепленным подписчикам.

Обсуждение

    Концепция задач или потоков, посылающих друг другу сообщения (часто через очереди), легко реализуется и весьма популярна. Однако преимущества использования вместо нее модели "опубликовать/подписаться" (pub/sub) нередко упускаются из вида.

    Во-первых, использование "пункта обмена" может упростить большую часть "грязной" работы, с которой нужно возиться при настройке общающихся потоков. Вместо того чтобы пытаться связать вместе потоки по множеству модулей программы, вам нужно только позаботиться о подсоединении их к известному "пункту обмена". В каком-то смысле это похоже на работу библиотеки logging. На практике это облегчает разделение различных задач в программе.

    Во-вторых, способность "пункта обмена" транслировать сообщения множеству подписчиков открывает возможности для создания новых паттернов коммуникации. Например, вы могли бы реализовать системы с избыточностью задач, системы для трансляций или системы с большим количеством соединений между объектами. Вы также можете построить инструменты для отладки и диагностики, которые прикрепляют себя к "пункту обмена" как обычные подписчики. Например, вот простой диагностический класс, который мог бы показывать отосланные сообщения:

class DisplayMessages:
    def __init__(self):
        self.count = 0

    def send(self, msg):
        self.count += 1
        print('msg[{}]: {!r}'.format(self.count, msg))

exc = get_exchange('name')
d = DisplayMessages()
exc.attach(d)

    И последний важный аспект этой реализации: она работает с различными "задачеподобными" объектами. Например, получатели сообщения могут быть акторами (как описано на 227 шаге), корутинами, сетевыми соединениями или просто чем угодно, что реализует правильный метод send().

    Потенциальная проблемная сторона "пункта обмена" - это правильное прикрепление и открепление подписчиков. Чтобы правильно управлять ресурсами, каждый прикрепленный подписчик рано или поздно должен быть откреплен. Это ведет к модели программирования, похожей на такую: e

xc = get_exchange('name')
exc.attach(some_task)
try:
    . . .
finally:
    exc.detach(some_task)

    В каком-то смысле это похоже на использование файлов, блокировок и других подобных объектов. Опыт показывает, что очень легко забыть о финальном шаге detach(). Чтобы упростить это, вам стоит подумать об использовании протокола менеджера контекста. Например, добавить метод subscribe() в "пункт обмена" таким образом:

from contextlib import contextmanager
from collections import defaultdict


class Exchange:
    def __init__(self):
        self._subscribers = set()

    def attach(self, task):
        self._subscribers.add(task)

    def detach(self, task):
        self._subscribers.remove(task)

    @contextmanager
    def subscribe(self, *tasks):
        for task in tasks:
            self.attach(task)
        try:
            yield
        finally:
            for task in tasks:
                self.detach(task)

    def send(self, msg):
        for subscriber in self._subscribers:
            subscriber.send(msg)


# Словарь всех созданных пунктов обмена
_exchanges = defaultdict(Exchange)


# Возвращает экземпляр Exchange, ассоциированный с переданным именем
def get_exchange(name):
    return _exchanges[name]


# # Пример использования метода subscribe()
if __name__ == '__main__':
    # Пример задачи. Любой объект с методом send()
    class Task:
        def __init__(self, name):
            self.name = name

        def send(self, msg):
            print('{} got: {!r}'.format(self.name, msg))


    task_a = Task('A')
    task_b = Task('B')

    exc = get_exchange('spam')
    with exc.subscribe(task_a, task_b):
        exc.send('msg1')
        exc.send('msg2')

    exc.send('msg3')
Архив с этим файлом можно взять здесь.

    В конце стоит отметить, что у идеи "пункта обмена" есть огромное количество возможностей для расширения. Например, "пункты обмена" могут реализовывать весь набор каналов обмена сообщениями или применять правила сопоставления с образцом (pattern matching) к именам "пунктов обмена". Пункты обмена также могут быть расширены до приложений распределенных вычислений (например, переправки сообщений задачам на разных компьютерах и т. п.).

    На следующем шаге мы рассмотрим использование генераторов в качестве альтернативы потокам.




Предыдущий шаг Содержание Следующий шаг