Шаг 233.
Python: сборник рецептов.
Конкурентность. Запуск процесса-демона на Unix

    На этом шаге мы рассмотрим решение указанной задачи.

Задача

    Вы хотели бы написать программу, которая работает как настоящий процесс-демон на Unix или Unix-подобных системах.

Решение

    Создание правильного процесса-демона требует точного соблюдения последовательности системных вызовов и внимания к деталям. Приведенный ниже код показывает, как определить процесс-демон, который можно легко остановить после запуска:

#!/usr/bin/env python3
# daemon.py

import os
import sys
import atexit
import signal

def daemonize(pidfile, *, stdin='/dev/null',
                          stdout='/dev/null',
                          stderr='/dev/null'):

    if os.path.exists(pidfile):
        raise RuntimeError('Already running') 

    # Первый форк (отделяется от родителя)
    try:
        if os.fork() > 0:
            raise SystemExit(0)   # Завершение родительского процессаt
    except OSError as e:
        raise RuntimeError('fork #1 failed.')
    
    os.chdir('/')
    os.umask(0)
    os.setsid()
    # Второй форк (уступает лидерство в сессии)
    try:
        if os.fork() > 0:
            raise SystemExit(0)
    except OSError as e:
        raise RuntimeError('fork #2 failed.')
    
    # Сброс буферов ввода-вывода
    sys.stdout.flush()
    sys.stderr.flush()

    # Заменяет файловые дескрипторы для stdin, stdout и stderr
    with open(stdin, 'rb', 0) as f:
        os.dup2(f.fileno(), sys.stdin.fileno())
    with open(stdout, 'ab', 0) as f:
        os.dup2(f.fileno(), sys.stdout.fileno())
    with open(stderr, 'ab', 0) as f:
        os.dup2(f.fileno(), sys.stderr.fileno())

    # Записывает PID-файл
    with open(pidfile, 'w') as f:
        print(os.getpid(),file=f)

    # Устраиваем так, чтобы удалить PID-файл по выходу/сигналу
    atexit.register(lambda: os.remove(pidfile))

    # Обработчик сигнала для завершения (требуется)
    def sigterm_handler(signo, frame):
        raise SystemExit(1)

    signal.signal(signal.SIGTERM, sigterm_handler)

def main():
    import time
    sys.stdout.write('Daemon started with pid {}\n'.format(os.getpid()))
    while True:
        sys.stdout.write('Daemon Alive! {}\n'.format(time.ctime()))
        time.sleep(10)

if __name__ == '__main__':
    PIDFILE = '/tmp/daemon.pid'

    if len(sys.argv) != 2:
        print('Usage: {} [start|stop]'.format(sys.argv[0]), file=sys.stderr)
        raise SystemExit(1)

    if sys.argv[1] == 'start':
        try:
            daemonize(PIDFILE,
                      stdout='/tmp/daemon.log',
                      stderr='/tmp/dameon.log')
        except RuntimeError as e:
            print(e, file=sys.stderr)
            raise SystemExit(1)

        main()

    elif sys.argv[1] == 'stop':
        if os.path.exists(PIDFILE):
            with open(PIDFILE) as f:
                os.kill(int(f.read()), signal.SIGTERM)
        else:
            print('Not running', file=sys.stderr)
            raise SystemExit(1)

    else:
        print('Unknown command {!r}'.format(sys.argv[1]), file=sys.stderr)
        raise SystemExit(1)

    Чтобы запустить демон, пользователь должен использовать такую команду:

bash % daemon.py start 
bash % cat /tmp/daemon.pid 
2882
bash % tail -f /tmp/daemon.log 
Daemon started with pid 2882 
Daemon Alive! Fri Oct 12 13:45:37 2012 
Daemon Alive! Fri Oct 12 13:45:47 2012
.  .  .

    Процессы-демоны работают в бэкграунде, так что команда возвращается сразу же. Однако вы можете просмотреть его pid-файл и лог, как показано выше. Чтобы остановить демон, напишите:

bash % daemon.py stop 
bash %


Обсуждение

    В этом рецепте мы определяем функцию daemonize(), которая должна быть вызвана при запуске программы, чтобы заставить программу выполняться в качестве демона. Сигнатура daemonize() использует обязательные именованные аргументы, чтобы сделать назначение необязательных аргументов более ясным. Это заставляет пользователя применять такие вызовы:

daemonize('daemon.pid',
                  stdin='/dev/null',
                  stdout='/tmp/daemon.log',
                  stderr='/tmp/daemon.log')

    Такой вызов был бы более загадочным:

# Недопустимо. Необходимо использовать именованные аргументы
daemonize('daemon.pid',
                '/dev/null', '/tmp/daemon.log', '/tmp/daemon.log')

    Шаги создания демона достаточно малопонятны, но общая идея такова: во-первых, демон должен отделить себя от своего родительского процесса. Это цель первой операции os.fork() и немедленного завершения родителя.

    После того как потомок осиротел, вызов os.setsid() создает полностью новую сессию процесса и устанавливает потомка лидером. Это также устанавливает потомка лидером новой группы процессов и позволяет убедиться, что отсутствует контролирующий терминал. Если все это звучит для вас как магические заклинания, то просто знайте, что это связано с необходимостью правильно отделить демона от терминала и убедиться, что такие сущности, как сигналы, не мешают его работе.

    Вызовы os.chdir() и os.umask() меняют текущий рабочий каталог и сбрасывают маску режима файла. Изменить каталог - это обычно хорошая идея, поскольку демон не работает в каталоге, в котором он был запущен.

    Второй вызов os.fork() - намного более загадочная операция. Этот шаг заставляет процесс-демон отказаться от возможности получать новый контролирущий терминал и предоставляет даже большую изоляцию (по сути, демон отказывается от лидерства в сессии и более не имеет возможности открывать контролирующие терминалы). Хотя вы могли бы пропустить этот шаг, обычно рекомендуется этого не делать.

    Когда демон правильно отделен, он выполняет шаги, чтобы переинициализировать стандартные потоки ввода-вывода, чтобы они указывали на файлы, определенные пользователем. Эта часть достаточно сложна. Ссылки на файловые объекты, ассоциированные со стандартными потоками ввода-вывода, находятся во многих местах интерпретатора (sys.stdout, sys.__stdout__ и т. д.). Простое закрытие sys.stdout и переназначение вряд ли будет работать правильно, потому что нет способа узнать, поправили ли мы все места, где используется sys.stdout. Вместо этого открывается отдельный файловый объект, и вызов os.dup2() используется, чтобы заменить им файловый дескриптор, в настоящий момент используемый sys.stdout. Когда это произойдет, изначальный файл, связанный с sys.stdout, будет закрыт, а новый займет его место. Нужно подчеркнуть, что любая кодировка файла или обработка текста, уже примененные к стандартным потокам ввода-вывода, останутся на месте.

    Обычная вещь при работе с демонами - записывать ID процесса демона в файл, чтобы позже использовать его в других программах. Последняя часть функции daemonize() записывает этот файл, но также подготавливает все для удаления этого файла после завершения программы. Функция atextit.register() регистрирует функцию для выполнения при завершении интерпретатора Python. Определение обработчика сигнала для SIGTERM также требуется для аккуратного завершения. Обработчик сигнала всего лишь возбуждает SystemExit(), не более того. Это может выглядеть ненужным, но без этого сигнал на прекращение убьет интерпретатор без выполнения действий по очистке, зарегистрированных с помощью atextit.register(). Пример кода, который убивает демона, может быть найден в обработчике команды stop в конце программы.

    Больше сведений о написании демонов вы можете найти во втором издании Advanced Programming in the UNIX Environment (У. Ричард Стивенс и Стивен Э. Раго. Wesley, 2005). Хотя в книге обсуждается программирование на C, материал легко адаптировать к Python, поскольку все нужные POSIX-функции доступны в стандартной библиотеке.

    Со следующего шага мы начнем рассматривать полезные скрипты и системное администрирование.




Предыдущий шаг Содержание Следующий шаг