Шаг 229.
Python: сборник рецептов. Конкурентность. Использование генераторов в качестве альтернативы потокам. Постановка задачи и решение

    На этом шаге мы рассмотрим один из способов решения этой задачи.

Задача

    Вы хотите реализовать конкурентность, используя генераторы (корутины) в качестве альтернативы системным потокам. Такой подход иногда называют потоками на уровне пользователя, или зелеными потоками.

Решение

    Чтобы реализовать собственную конкурентность, используя генераторы, сначала вам нужно осознать фундаментальную идею функций-генераторов и инструкции yield. Если точнее, основа поведения yield - это то, что она заставляет генератор приостановить свое выполнение. Используя приостановку выполнения, можно написать планировщик, который обращается с генераторами как со своего рода "задачами", и изменять их выполнение, используя некое кооперативное переключение задач.

    Чтобы проиллюстрировать эту идею, рассмотрите две функции-генератора, использующие простой yield:

# Два простых генератора
def countdown(n):
    while n > 0:
        print("T-minus", n)
        yield
        n -= 1
    print("Blastoff!")


def countup(n):
    x = 0
    while x < n:
        print("Counting up", x)
        yield
        x += 1

    Эти функции, возможно, выглядят немного странно, потому что используют yield сами по себе. Однако рассмотрим следующий код, который реализует

простой планировщик задач:
from collections import deque


class TaskScheduler:
    def __init__(self):
        self._task_queue = deque()

    def new_task(self, task):
        '''
        Допускает новую запущенную задачу в планировщик
        '''
        self._task_queue.append(task)

    def run(self):
        '''
        Работает, пока не останется задач
        '''
        while self._task_queue:
            task = self._task_queue.popleft()
            try:
                # Работает до следующей инструкции yield
                next(task)
                self._task_queue.append(task)
            except StopIteration:
                # Генератор более не выполняется
                pass


# Пример использования
sched = TaskScheduler()
sched.new_task(countdown(10))
sched.new_task(countdown(5))
sched.new_task(countup(15))
sched.run()
Архив с этим файлом можно взять здесь.

    В этом коде класс TaskSheduler запускает коллекцию генераторов в стиле round-robin - каждый работает, пока они не достигнут инструкции yield. Например, вывод будет таким:

T-minus 10
T-minus 5
Counting up 0
T-minus 9
T-minus 4
Counting up 1
T-minus 8
T-minus 3
Counting up 2
T-minus 7
T-minus 2
Counting up 3
T-minus 6
T-minus 1
Counting up 4
T-minus 5
Blastoff!
Counting up 5
T-minus 4
Counting up 6
T-minus 3
Counting up 7
T-minus 2
Counting up 8
T-minus 1
Counting up 9
Blastoff!
Counting up 10
Counting up 11
Counting up 12
Counting up 13
Counting up 14

    В этой точке вы, по сути, реализовали маленькое ядро "операционной системы". Функции-генераторы - это задачи, а инструкция yield - это способ, с помощью которого задачи сигнализируют о том, что хотят приостановиться. Планировщик просто проходит по задачам в цикле, пока не останется ни одной выполняющейся.

    На практике вы, вероятно, не будете использовать генераторы для реализации конкуретности в такой простой форме, как показано выше. Вместо этого вы можете использовать генераторы, чтобы заменить потоки при реализации акторов (см. 227 шаг) или сетевые серверы.

    На следующем шаге мы продолжим изучение этого вопроса.




Предыдущий шаг Содержание Следующий шаг