Тестирование приложений Django

Автоматическое тестирование является очень полезной методикой для современного веб разработчика. Вы можете использовать коллекцию тестов (пакет тестов) для решения, или исключения, ряда проблем:

  • Когда вы пишете новый код, вы можете использовать тесты для проверки того, что ваш код работает как ожидалось.
  • Когда вы рефакторите или модифицируете старый код, вы можете использовать тесты, чтобы гарантировать неизменность поведения вашего приложения после внесения изменений.

Тестирование веб приложений – это сложная задача, так как веб приложение создаётся с использованием нескольких слоёв логики: от HTTP уровня для обработки запросов до проверки и обработки форм, отображения шаблонов. Используя механизм Django для запуска тестов и дополнительные утилиты, вы можете имитировать запросы, вставлять тестовые данные, инспектировать вывод вашего приложения и в общем проверять, что ваш код делает именно то, что должен.

Ну и самое главное, всё это несложно.

Этот документ разбит на две основные части. В первой мы рассказываем как писать тесты для Django. Во второй мы объясняем как их использовать.

Создание тестов

Существует два основных способа создания тестов для Django, в соответствии с двумя тестовыми фреймворками, которые поставляются в стандартной библиотеке языка Python. Рассмотрим их:

  • Юнит тесты – тесты, которые представлены в виде методов класса, унаследованного от unittest.TestCase или от django.tests.TestCase. Пример:

    import unittest
    
    class MyFuncTestCase(unittest.TestCase):
        def testBasic(self):
            a = ['larry', 'curly', 'moe']
            self.assertEqual(my_func(a, 0), 'larry')
            self.assertEqual(my_func(a, 1), 'curly')
    
  • Док тесты – тесты, которые встраиваются в описание ваших функций и написаны в стиле эмуляции сессии интерактивного интерпретатора языка Python. Пример:

    def my_func(a_list, idx):
        """
        >>> a = ['larry', 'curly', 'moe']
        >>> my_func(a, 0)
        'larry'
        >>> my_func(a, 1)
        'curly'
        """
        return a_list[idx]
    

Мы обсудим выбор соответствующего фреймворка чуть позже. Но сразу скажем, что опытные разработчики предпочитают юнит тесты. Вы можете также использовать любые другие тестовые фреймворки для Python, мы про это тоже расскажем.

Создание юнит тестов

Юнит тесты Django используют модуль unittest стандартной библиотеки языка Python. Этот модуль определяет тесты в виде классов.

unittest2

Python 2.7 привнёс достаточно серьёзные изменения в библиотеку юнит тестов, добавив очень полезные возможности. Чтобы дать возможность каждому Django проекту использовать эти новые возможности, Django поставляется с копией unittest2 из Python 2.7, спортированной для работы с Python 2.5.

Django предоставляет модуль django.utils.unittest для доступа к этой библиотеке. Если вы используете Python 2.7 или если вы установили unittest2 локально, Django будет использовать оригинальную версию библиотеки. В остальных случаях Django будет использовать свою версию библиотеки.

Для использования этого модуля делайте так:

from django.utils import unittest

там где вы раньше использовали:

import unittest

Если вы желаете продолжить использовать базовую библиотеку unittest, то продолжайте. Вы просто не получите доступ к новым возможностям unittest2.

В приложении есть два места, которые проверяет test runner при запуске юнит тестов:

  • Файл models.py. Тест раннер ищет наследников класса unittest.TestCase в этом модуле.
  • Файл и именем tests.py в каталоге приложения, т.е. в каталоге, где находится файл models.py. И снова, тест раннер ищет наследников класса unittest.TestCase в этом модуле.

Ниже представлен пример такого класса:

from django.utils import unittest
from myapp.models import Animal

class AnimalTestCase(unittest.TestCase):
    def setUp(self):
        self.lion = Animal.objects.create(name="lion", sound="roar")
        self.cat = Animal.objects.create(name="cat", sound="meow")

    def test_animals_can_speak(self):
        """Animals that can speak are correctly identified"""
        self.assertEqual(self.lion.speak(), 'The lion says "roar"')
        self.assertEqual(self.cat.speak(), 'The cat says "meow"')

При выполнении ваших тестов, обычным поведением тестовой утилиты будет поиск всех тестов (т.е., потомков класса unittest.TestCase) в файлах models.py и tests.py, автоматическое построение тестового набора и выполнение этого набора.

Есть ещё один способ определения тестового набора для модуля: если в models.py или tests.py``будет определена функция ``suite(), то тест раннер будет использовать эту функцию для создания набора тестов для этого модуля. Это поведение соответствует договорённостям об организации для юнит тестов. Обратитесь к документации языка Python для получения информации о том, как создавать сложные тестовые наборы.

Для получения информации по unittest, обратитесь к документации на язык Python.

Создание доктестов

Доктесты используют стандартный модуль doctest языка Python, который выполняет поиск встроенной документации для элементов модуля, в которых имитируется сессия интерактивного интерпретатора. Подробное объяснение функционала doctest не входит в цели данного документа. Обратитесь к официальной документации на язык Python.

What’s a docstring?

Хорошее описание встроенной документации (docstrings) (и несколько инструкций по их эффективному использованию) можно найти в PEP 257:

Встроенная документация – это строка, которая находится на месте первого оператора в определении модуля, функции, класса или метода. Такая документация доступна через свойство __doc__ объекта.

Например, эта функция имеет встроенную документацию, которая объясняет её предназначение:

def add_two(num):
    "Return the result of adding two to the provided number."
    return num + 2

Так как тесты часто улучшают документацию, размещение тестов прямо во встроенной документации является эффективным способом документирования и тестирования вашего кода.

Аналогично юнит тестам, в случае приложения Django, тест раннер ищет встроенную документацию в двух местах:

  • Файл models.py. Вы можете определить встроенную документацию для модуля и/или встроенную документацию для отдельных моделей. Обычно на уровне модуля размещают тесты уровня приложения, а на уровне моделей тесты описывают во встроенной документации моделей.
  • В файде tests.py в каталоге приложения, т.е., в каталоге, где находится файл models.py. Этот файл является основным местом для всех доктестов, которые не относятся к моделям.

Этот пример аналогичен примеру из раздела юниттестов:

# models.py

from django.db import models

class Animal(models.Model):
    """
    An animal that knows how to make noise

    # Create some animals
    >>> lion = Animal.objects.create(name="lion", sound="roar")
    >>> cat = Animal.objects.create(name="cat", sound="meow")

    # Make 'em speak
    >>> lion.speak()
    'The lion says "roar"'
    >>> cat.speak()
    'The cat says "meow"'
    """
    name = models.CharField(max_length=20)
    sound = models.CharField(max_length=20)

    def speak(self):
        return 'The %s says "%s"' % (self.name, self.sound)

При запуске ваших тестов, тест раннер найдёт эту встроенную документацию (обратите внимание на то, что часть её выглядит как журнал сессии интерактивного интерпретатора Python) и выполнит эти строки, проверяя совпадение результатов.

При тестировании моделей, следует отметить, что тест раннер обеспечивает создание тестовой базы данных. Следовательно, любой тест, который взаимодействует с базой данных (например, создание и сохранение экземпляров модели) никак не повлияет на вашу базу данных. Тем не менее, тестовая база данных не обновляется при работе доктестов. Таким образом, если доктест требует определённого состояния базы данных, вы должны очистить базу или подгрузить фикстуры. (Обратитесь далее к разделу с описанием фикстур для получения подробной информации.) Следует отметить, что для использования данной возможности, пользователь базы данных, который используется Django, должен обладать правом CREATE DATABASE.

Для получения подробной информации о doctest обратитесь к документации на язык Python.

Что должен выбрать я?

Так как Django поддерживает оба стандартных тестовых фреймворка языка Python, выбор одного из них лежит на вас. Вы можете даже использовать *оба” одновременно.

Тем не менее, новичкам трудно сделать такой выбор. Поэтому мы приводим список ключевых различий, которые могут помочь вам сделать правильный выбор:

  • Если вы работали с Python достаточно продолжительное время, то doctest возможно будет более “питонским”. Он был создан, чтобы сделать написание тестов максимально простым, он не требует написания классов или методов. Вы просто располагаете тесты во встроенной документации (и корректируете саму документацию). Однако, доктесты хороши для простого кода, но не подходят для случая, когда вам надо создать либо сложные тесты или качественную документацию. Сбои во время тестов часто бывает непросто отладить, так как не всегда бывает очевидна причина. Таким образом, доктесты следует применять только для документирования примеров.
  • Библиотека unittest возможно будет более понятна для разработчиков, которые пришли из мира Java. Библиотека unittest была создана по примеру JUnit, что упрощает процесс вхождения для людей, имевших дело с любым тестовым фреймворком на его основе.
  • Если вам надо написать ряд тестов, которые используют одинаковый код, то вам понравится организация фреймворка unittest по классам и методам. Такой подход упрощает абстракцию общих задач в общие методы. Фреймвор также поддерживает явные процедуры настройки и очистки, которые предоставляют высокий уровень контроля над средой, в который происходит выполнение тестов.
  • Если вы пишете тесты для кода Django, то вы должны использовать unittest.

Выполнение тестов

Написав тесты, запустите их с помощью команды test утилиты manage.py вашего проекта:

$ ./manage.py test

По умолчанию, эта команда запустит все тесты каждого приложения, которые перечислены в параметре конфигурации INSTALLED_APPS. Если требуется запустить тесты только одного определённого приложения, то добавьте имя этого приложения в командную строку. Например если параметр конфигурации INSTALLED_APPS содержит 'myproject.polls' и 'myproject.animals', вы можете выполнить юниттесты из myproject.animals с помощью команды:

$ ./manage.py test animals

Следует отметить, что мы использовали animals, а не myproject.animals.

Вы даже можете указать конкретный тест для запуска. Для запуска одного теста из приложения (например, AnimalTestCase, который описан в разделе Создание юниттестов <writing unit tests>`_), добавите имя этого теста к имени приложения в командной строке:

$ ./manage.py test animals.AnimalTestCase

Можно пойти ещё дальше! Для запуска единственного метода из теста, добавьте его имя в командную строку:

$ ./manage.py test animals.AnimalTestCase.test_animals_can_speak
Добавлено в Django 1.2: The ability to select individual doctests was added.

Вы можете использовать те же правила и при использовании доктестов. Django использует тестовую метку в качестве пути к методу или классу, который вы желаете запустить. Если файлы models.py или tests.py приложения содержат функцию со встроенной документацией или класс с документацией, вы можете вызвать эти тесты, добавив имя метода или класса к метке:

$ ./manage.py test animals.classify

Если требуется запустить доктест для определённого метода в классе, добавьте имя метода к метке:

$ ./manage.py test animals.Classifier.run

Если вы используете словарь __test__ для определения доктестов для модуля, Django будет использовать метку как ключ словаря __test__ для определённых models.py и tests.py.

Добавлено в Django 1.2: You can now trigger a graceful exit from a test run by pressing Ctrl-C.

Если вы нажмёте Ctrl-C во время работы тестов, то раннер дождётся завершения работы текущего теста и аккуратно завершит свою работу. При завершении своей работы раннер выведет всю информацию о найденных ошибках, укажет сколько тестов было выполнено и как много ошибок и сбоев было обнаружено. Как обычно, в конце раннер удалит все тестовые базы данных. Таким образом, нажатие Ctrl-C может быть очень полезным, если вы забыли передать аргумент --failfast. Следует отметить, что некоторые тесты могут падать и это комбинация клавиш позволяет получить информацию от тестов, не дожидаясь завершения всего набора.

Если вам не надо дожидаться окончания работы текущего теста, вы можете нажать Ctrl-C во второй раз и тест будет прерван немедленно, без очистки. Никакой информации о пройденных тестах не будет выведено. Тестовые базы данных останутся нетронутыми.

Test with warnings enabled

Хорошей идеей будет запуск ваших тестов с включенным функционалом уведомлений языка Python: python -Wall manage.py test. Флаг -Wall указывает Python, что надо отображать напоминаний при использовании устаревшего функционала. Django, как и многие другие библиотеки языка Python, используют такие напоминания, чтобы уведомить пользователей об устаревшем функционале. Также этот механизм может помечать части вашего кода, которые не то, чтобы неправильные, но могли бы стать лучше.

Выполнение тестов без тест раннера

Если вам надо выполнять тесты без запуска ./manage.py test (например, из консоли), вам надо настроить тестовое окружение. Django предоставляет для этого удобный метод:

>>> from django.test.utils import setup_test_environment
>>> setup_test_environment()

Этот метод создаёт тестовую базу данных и переводит функционал Django в режимы, которые позволяют проводить повторяемое тестирование.

Вызов метода setup_test_environment() выполняется автоматически во время работы ./manage.py test. Без использования тест раннера вам придётся вызывать этот метод вручную.

Тестовая база данных

Тесты, которым необходима база данных (так называемые модельные тесты), не используют вашу “реальную” (продакшн) базу данных. Для тестов создаётся отдельная база данных.

Независимо от того, прошли тесты успешно или нет, тестовая база данных уничтожается в конце процесса тестирования

По умолчанию, тестовые базы данных получают свои имена, добавляя префикс test_ к значению параметра NAME баз данных, который определён в параметре конфигурации DATABASES. При использовании SQLite тесты по умолчанию будут использовать оперативную базу данных (т.е., база данных будет создана в оперативной памяти, диск вообще не используется!) Если вам надо использовать собственное имя для тестовой базы данных, определите TEST_NAME для нужной базы данных в параметре конфигурации DATABASES.

Во остальном, тест раннер будет использовать оригинальные настройки для базы данных: ENGINE, USER, HOST и так далее. Тестовая база данных создаётся от имени пользователя, который определён в USER, так чтовам потребуется дать ему соответствующие права, чтобы он мог это сделать.

Для точного контроля кодировкой символов в вашей тестовой базе данных, используйте параметр TEST_CHARSET. При использовании MySQL вы можете также использовать параметр TEST_COLLATION для управления сопоставлениями, используемыми базой данных. Обратитесь к документации по параметрам конфигурации проекта для получения информации по этим дополнительным параметрам.

Тестирование конфигураций мастер/ведомый

При тестировании конфигураций со множество баз данных с репликацией вида мастер/ведомый, такая стратегия создания тестовых баз данных приводит к проблеме. После создания тестовых баз данных никакой репликации выполнено не будет, соответственно, данные, созданные на мастере, не появятся на ведомой базе.

Для решения этой задачи Django позволяет вам определить, что база данных является тестовым зеркалом. Рассмотрим следующий (упрощённый) пример конфигурации базы данных:

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'myproject',
        'HOST': 'dbmaster',
         # ... plus some other settings
    },
    'slave': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'myproject',
        'HOST': 'dbslave',
        'TEST_MIRROR': 'default'
        # ... plus some other settings
    }
}

В такой конфигурации у нас есть два сервера баз данных: dbmaster, имеющий псевдоним default, и dbslave с псевдонимом slave. Как вы могли ожидать, dbslave настроен администратором баз данных как копия dbmaster. Таким образом, любая запись данных в default приведёт к их появлению на slave.

Если Django создаст две независимые тестовые базы данных, это приведёт к сбою любых тестов, которые ожидают проведения репликации. Однако, база данных slave настрена как тестовое зеркало (с помощью параметра конфигурации TEST_MIRROR), т.е., во время тестирования slave должен рассматриваться как зеркало default.

При настройке тестового окружения, тестовая версия slave не будет создана. Вместо этого, соединение к slave будет перенаправлено на default. В результате, запись в default будет приводить к появлению данных на slave. Но лишь потому что это одна и та же база данных, а не из-за репликации между двумя базами данных.

Управление порядком создания тестовых баз данных

По умолчанию, Django всегда создаёт базу данных default первой. Однако никак не гарантирует порядок создания остальных баз данных вашей конфигурации.

Если конфигурация ваших баз данных требует определённого порядка создания баз данных, вы можете указать эти зависимости с помощью параметра конфигурации TEST_DEPENDENCIES. Рассмотрим следующий (упрощенный) пример конфигурации баз данных:

DATABASES = {
    'default': {
         # ... db settings
         'TEST_DEPENDENCIES': ['diamonds']
    },
    'diamonds': {
        # ... db settings
    },
    'clubs': {
        # ... db settings
        'TEST_DEPENDENCIES': ['diamonds']
    },
    'spades': {
        # ... db settings
        'TEST_DEPENDENCIES': ['diamonds','hearts']
    },
    'hearts': {
        # ... db settings
        'TEST_DEPENDENCIES': ['diamonds','clubs']
    }
}

Используя эту конфигурацию, база данных diamonds будет создана первой, так как только у неё нет зависимостей. Базы данных default и clubs будут созданы далее (хотя порядок создания этой пары случаен). Затем будет создана hearts и в конце spades базы данных.

Если в параметре TEST_DEPENDENCIES будет определена циклическая зависимость, то будет вызвано исключение ImproperlyConfigured.

Другие условия тестирования

Независимо от значения параметра конфигурации DEBUG, Django выполняет все тесты, устанавливая DEBUG=False. Так делается для того, чтобы проверять код в условиях, аналогичных боевым.

Изучение вывода тестов

При запуске тестов, вы увидите ряд сообщений тест раннера. Вы можете управлять уровнем детализации этих сообщений с помощью аргумента verbosity командной строки:

Creating test database...
Creating table myapp_animal
Creating table myapp_mineral
Loading 'initial_data' fixtures...
No fixtures found.

Это показывает вам, что тест раннер создал тестовую базу данных, как мы об этом рассказали в предыдущем разделе.

После создания тестовой базы данных, Django запускает ваши тесты. Если всё идёт без ошибок, то вы увидите подобный вывод:

----------------------------------------------------------------------
Ran 22 tests in 0.221s

OK

Если во время выполнения тестов произошли ошибки, то вы увидите полную информацию по непройденным тестам:

======================================================================
FAIL: Doctest: ellington.core.throttle.models
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/dev/django/test/doctest.py", line 2153, in runTest
    raise self.failureException(self.format_failure(new.getvalue()))
AssertionError: Failed doctest test for myapp.models
  File "/dev/myapp/models.py", line 0, in models

----------------------------------------------------------------------
File "/dev/myapp/models.py", line 14, in myapp.models
Failed example:
    throttle.check("actor A", "action one", limit=2, hours=1)
Expected:
    True
Got:
    False

----------------------------------------------------------------------
Ran 2 tests in 0.048s

FAILED (failures=1)

Полный разбор этого вывода ошибки находится вне данного документа, но тест ошибки говорит сам за себя. Вы можете обратиться к документации на библиотеку unittest языка Python для получения подробной информации.

Следует отметить, что тест раннер возвращает 1 для любого количества ошибок. Если все тесты пройдены, будет возвращен 0. Эта особенность полезна в случае, когда вам надо запускать раннер из скриптов шелла, проверяя результат его работы.

Инструменты тестировщика

Django предоставляет небольшой набор инструментов, которые пригодятся при написании тестов.

Тестовый клиент

Тестовый клиент – это класс Python, который работает как простой веб браузер, позволяя вам тестировать ваши представления и взаимодействовать с вашим приложением программно.

Некоторые вещи, которые вы можете делать с помощью тестового клиента:

  • Симуляция GET и POST запросов на URL и просмотр ответа. Всё, от HTTP (включая заголовки и коды статуса) до содержимого страницы.
  • Проверять. что правильное представление было вызвано для указанного URL.
  • Проверять, что указанный запрос обработан определённым шаблоном, с шаблонным контекстом, который содержит нужные значения.

Следует отметить, что тестовый клиент не является заменой Selenium или другим “внутри браузерным” фреймворкам. Тестовый клиент имеет другое назначение. Если кратко, то:

  • Используйте тестовый клиент для уверенности, что правильное представление было вызвано и что представление создало контекст с нужным содержимым.
  • Используйте внутри браузерные фреймворки, такие как Selenium, для проверки созданных HTML и поведения веб страниц, особенно функционала реализуемого с помощью JavaScript. Django также предоставляет специальную поддержку для этих фреймворков. Обратитесь к разделу LiveServerTestCase для получения подробностей.

Всесторонний пакет тестирования должен использовать комбинацию подходов к тестированию.

Введение

Для того, чтобы начать использовать тестовый клиент, следует создать экземпляр django.test.client.Client и запросить веб страницы:

>>> from django.test.client import Client
>>> c = Client()
>>> response = c.post('/login/', {'username': 'john', 'password': 'smith'})
>>> response.status_code
200
>>> response = c.get('/customer/details/')
>>> response.content
'<!DOCTYPE html...'

Этот пример предполагает, что вы создаёте экземпляр Client в сессии интерактивного интерпретатора Python.

Следует отметить несколько важных особенностей работы тестового клиента:

  • Тестовый клиент не требует запуска веб сервера. В действительности, он будет отлично работать без всякого запущенного вебсервера! Так происходит, потому что клиент работает с Django напрямую, минуя HTTP. Такой подход помогает ускорить выполнение тестов.

  • При получении страниц, не забывайте указывать путь для URL, а не весь домен. Вот так будет правильно:

    >>> c.get('/login/')
    

    Вот так будет неправильно:

    >>> c.get('http://www.example.com/login/')
    

    The test client is not capable of retrieving Web pages that are not powered by your Django project. If you need to retrieve other Web pages, use a Python standard library module such as urllib or urllib2.

  • To resolve URLs, the test client uses whatever URLconf is pointed-to by your ROOT_URLCONF setting.

  • Although the above example would work in the Python interactive interpreter, some of the test client’s functionality, notably the template-related functionality, is only available while tests are running.

    The reason for this is that Django’s test runner performs a bit of black magic in order to determine which template was loaded by a given view. This black magic (essentially a patching of Django’s template system in memory) only happens during test running.

  • By default, the test client will disable any CSRF checks performed by your site.

    If, for some reason, you want the test client to perform CSRF checks, you can create an instance of the test client that enforces CSRF checks. To do this, pass in the enforce_csrf_checks argument when you construct your client:

    >>> from django.test import Client
    >>> csrf_client = Client(enforce_csrf_checks=True)
    

Making requests

Use the django.test.client.Client class to make requests. It requires no arguments at time of construction:

class Client

Once you have a Client instance, you can call any of the following methods:

get(path, data={}, follow=False, **extra)

Makes a GET request on the provided path and returns a Response object, which is documented below.

The key-value pairs in the data dictionary are used to create a GET data payload. For example:

>>> c = Client()
>>> c.get('/customers/details/', {'name': 'fred', 'age': 7})

...will result in the evaluation of a GET request equivalent to:

/customers/details/?name=fred&age=7

The extra keyword arguments parameter can be used to specify headers to be sent in the request. For example:

>>> c = Client()
>>> c.get('/customers/details/', {'name': 'fred', 'age': 7},
...       HTTP_X_REQUESTED_WITH='XMLHttpRequest')

...will send the HTTP header HTTP_X_REQUESTED_WITH to the details view, which is a good way to test code paths that use the django.http.HttpRequest.is_ajax() method.

CGI specification

The headers sent via **extra should follow CGI specification. For example, emulating a different “Host” header as sent in the HTTP request from the browser to the server should be passed as HTTP_HOST.

If you already have the GET arguments in URL-encoded form, you can use that encoding instead of using the data argument. For example, the previous GET request could also be posed as:

>>> c = Client()
>>> c.get('/customers/details/?name=fred&age=7')

If you provide a URL with both an encoded GET data and a data argument, the data argument will take precedence.

If you set follow to True the client will follow any redirects and a redirect_chain attribute will be set in the response object containing tuples of the intermediate urls and status codes.

If you had an url /redirect_me/ that redirected to /next/, that redirected to /final/, this is what you’d see:

>>> response = c.get('/redirect_me/', follow=True)
>>> response.redirect_chain
[(u'http://testserver/next/', 302), (u'http://testserver/final/', 302)]
post(path, data={}, content_type=MULTIPART_CONTENT, follow=False, **extra)

Makes a POST request on the provided path and returns a Response object, which is documented below.

The key-value pairs in the data dictionary are used to submit POST data. For example:

>>> c = Client()
>>> c.post('/login/', {'name': 'fred', 'passwd': 'secret'})

...will result in the evaluation of a POST request to this URL:

/login/

...with this POST data:

name=fred&passwd=secret

If you provide content_type (e.g. text/xml for an XML payload), the contents of data will be sent as-is in the POST request, using content_type in the HTTP Content-Type header.

If you don’t provide a value for content_type, the values in data will be transmitted with a content type of multipart/form-data. In this case, the key-value pairs in data will be encoded as a multipart message and used to create the POST data payload.

To submit multiple values for a given key – for example, to specify the selections for a <select multiple> – provide the values as a list or tuple for the required key. For example, this value of data would submit three selected values for the field named choices:

{'choices': ('a', 'b', 'd')}

Submitting files is a special case. To POST a file, you need only provide the file field name as a key, and a file handle to the file you wish to upload as a value. For example:

>>> c = Client()
>>> f = open('wishlist.doc')
>>> c.post('/customers/wishes/', {'name': 'fred', 'attachment': f})
>>> f.close()

(The name attachment here is not relevant; use whatever name your file-processing code expects.)

Note that if you wish to use the same file handle for multiple post() calls then you will need to manually reset the file pointer between posts. The easiest way to do this is to manually close the file after it has been provided to post(), as demonstrated above.

You should also ensure that the file is opened in a way that allows the data to be read. If your file contains binary data such as an image, this means you will need to open the file in rb (read binary) mode.

The extra argument acts the same as for Client.get().

If the URL you request with a POST contains encoded parameters, these parameters will be made available in the request.GET data. For example, if you were to make the request:

>>> c.post('/login/?visitor=true', {'name': 'fred', 'passwd': 'secret'})

... the view handling this request could interrogate request.POST to retrieve the username and password, and could interrogate request.GET to determine if the user was a visitor.

If you set follow to True the client will follow any redirects and a redirect_chain attribute will be set in the response object containing tuples of the intermediate urls and status codes.

head(path, data={}, follow=False, **extra)

Makes a HEAD request on the provided path and returns a Response object. Useful for testing RESTful interfaces. Acts just like Client.get() except it does not return a message body.

If you set follow to True the client will follow any redirects and a redirect_chain attribute will be set in the response object containing tuples of the intermediate urls and status codes.

options(path, data={}, follow=False, **extra)

Makes an OPTIONS request on the provided path and returns a Response object. Useful for testing RESTful interfaces.

If you set follow to True the client will follow any redirects and a redirect_chain attribute will be set in the response object containing tuples of the intermediate urls and status codes.

The extra argument acts the same as for Client.get().

put(path, data={}, content_type=MULTIPART_CONTENT, follow=False, **extra)

Makes a PUT request on the provided path and returns a Response object. Useful for testing RESTful interfaces. Acts just like Client.post() except with the PUT request method.

If you set follow to True the client will follow any redirects and a redirect_chain attribute will be set in the response object containing tuples of the intermediate urls and status codes.

delete(path, follow=False, **extra)

Makes an DELETE request on the provided path and returns a Response object. Useful for testing RESTful interfaces.

If you set follow to True the client will follow any redirects and a redirect_chain attribute will be set in the response object containing tuples of the intermediate urls and status codes.

The extra argument acts the same as for Client.get().

login(**credentials)

If your site uses Django’s authentication system and you deal with logging in users, you can use the test client’s login() method to simulate the effect of a user logging into the site.

After you call this method, the test client will have all the cookies and session data required to pass any login-based tests that may form part of a view.

The format of the credentials argument depends on which authentication backend you’re using (which is configured by your AUTHENTICATION_BACKENDS setting). If you’re using the standard authentication backend provided by Django (ModelBackend), credentials should be the user’s username and password, provided as keyword arguments:

>>> c = Client()
>>> c.login(username='fred', password='secret')

# Now you can access a view that's only available to logged-in users.

If you’re using a different authentication backend, this method may require different credentials. It requires whichever credentials are required by your backend’s authenticate() method.

login() returns True if it the credentials were accepted and login was successful.

Finally, you’ll need to remember to create user accounts before you can use this method. As we explained above, the test runner is executed using a test database, which contains no users by default. As a result, user accounts that are valid on your production site will not work under test conditions. You’ll need to create users as part of the test suite – either manually (using the Django model API) or with a test fixture. Remember that if you want your test user to have a password, you can’t set the user’s password by setting the password attribute directly – you must use the set_password() function to store a correctly hashed password. Alternatively, you can use the create_user() helper method to create a new user with a correctly hashed password.

logout()

If your site uses Django’s authentication system, the logout() method can be used to simulate the effect of a user logging out of your site.

After you call this method, the test client will have all the cookies and session data cleared to defaults. Subsequent requests will appear to come from an AnonymousUser.

Testing responses

The get() and post() methods both return a Response object. This Response object is not the same as the HttpResponse object returned Django views; the test response object has some additional data useful for test code to verify.

Specifically, a Response object has the following attributes:

class Response
client

The test client that was used to make the request that resulted in the response.

content

The body of the response, as a string. This is the final page content as rendered by the view, or any error message.

context

The template Context instance that was used to render the template that produced the response content.

If the rendered page used multiple templates, then context will be a list of Context objects, in the order in which they were rendered.

Regardless of the number of templates used during rendering, you can retrieve context values using the [] operator. For example, the context variable name could be retrieved using:

>>> response = client.get('/foo/')
>>> response.context['name']
'Arthur'
request

The request data that stimulated the response.

status_code

The HTTP status of the response, as an integer. See RFC 2616 for a full list of HTTP status codes.

templates

A list of Template instances used to render the final content, in the order they were rendered. For each template in the list, use template.name to get the template’s file name, if the template was loaded from a file. (The name is a string such as 'admin/index.html'.)

You can also use dictionary syntax on the response object to query the value of any settings in the HTTP headers. For example, you could determine the content type of a response using response['Content-Type'].

Exceptions

If you point the test client at a view that raises an exception, that exception will be visible in the test case. You can then use a standard try ... except block or assertRaises() to test for exceptions.

The only exceptions that are not visible to the test client are Http404, PermissionDenied and SystemExit. Django catches these exceptions internally and converts them into the appropriate HTTP response codes. In these cases, you can check response.status_code in your test.

Persistent state

The test client is stateful. If a response returns a cookie, then that cookie will be stored in the test client and sent with all subsequent get() and post() requests.

Expiration policies for these cookies are not followed. If you want a cookie to expire, either delete it manually or create a new Client instance (which will effectively delete all cookies).

A test client has two attributes that store persistent state information. You can access these properties as part of a test condition.

Client.cookies

A Python SimpleCookie object, containing the current values of all the client cookies. See the documentation of the Cookie module for more.

Client.session

A dictionary-like object containing session information. See the session documentation for full details.

To modify the session and then save it, it must be stored in a variable first (because a new SessionStore is created every time this property is accessed):

def test_something(self):
    session = self.client.session
    session['somekey'] = 'test'
    session.save()

Example

The following is a simple unit test using the test client:

from django.utils import unittest
from django.test.client import Client

class SimpleTest(unittest.TestCase):
    def setUp(self):
        # Every test needs a client.
        self.client = Client()

    def test_details(self):
        # Issue a GET request.
        response = self.client.get('/customer/details/')

        # Check that the response is 200 OK.
        self.assertEqual(response.status_code, 200)

        # Check that the rendered context contains 5 customers.
        self.assertEqual(len(response.context['customers']), 5)

The request factory

class RequestFactory

The RequestFactory shares the same API as the test client. However, instead of behaving like a browser, the RequestFactory provides a way to generate a request instance that can be used as the first argument to any view. This means you can test a view function the same way as you would test any other function – as a black box, with exactly known inputs, testing for specific outputs.

The API for the RequestFactory is a slightly restricted subset of the test client API:

  • It only has access to the HTTP methods get(), post(), put(), delete(), head() and options().
  • These methods accept all the same arguments except for follows. Since this is just a factory for producing requests, it’s up to you to handle the response.
  • It does not support middleware. Session and authentication attributes must be supplied by the test itself if required for the view to function properly.

Example

The following is a simple unit test using the request factory:

from django.utils import unittest
from django.test.client import RequestFactory

class SimpleTest(unittest.TestCase):
    def setUp(self):
        # Every test needs access to the request factory.
        self.factory = RequestFactory()

    def test_details(self):
        # Create an instance of a GET request.
        request = self.factory.get('/customer/details')

        # Test my_view() as if it were deployed at /customer/details
        response = my_view(request)
        self.assertEqual(response.status_code, 200)

TestCase

Normal Python unit test classes extend a base class of unittest.TestCase. Django provides a few extensions of this base class:

Hierarchy of Django unit testing classes (TestCase subclasses)

Hierarchy of Django unit testing classes

class TestCase

This class provides some additional capabilities that can be useful for testing Web sites.

Converting a normal unittest.TestCase to a Django TestCase is easy: just change the base class of your test from unittest.TestCase to django.test.TestCase. All of the standard Python unit test functionality will continue to be available, but it will be augmented with some useful additions, including:

  • Automatic loading of fixtures.
  • Wraps each test in a transaction.
  • Creates a TestClient instance.
  • Django-specific assertions for testing for things like redirection and form errors.

TestCase inherits from TransactionTestCase.

class TransactionTestCase

Django TestCase classes make use of database transaction facilities, if available, to speed up the process of resetting the database to a known state at the beginning of each test. A consequence of this, however, is that the effects of transaction commit and rollback cannot be tested by a Django TestCase class. If your test requires testing of such transactional behavior, you should use a Django TransactionTestCase.

TransactionTestCase and TestCase are identical except for the manner in which the database is reset to a known state and the ability for test code to test the effects of commit and rollback. A TransactionTestCase resets the database before the test runs by truncating all tables and reloading initial data. A TransactionTestCase may call commit and rollback and observe the effects of these calls on the database.

A TestCase, on the other hand, does not truncate tables and reload initial data at the beginning of a test. Instead, it encloses the test code in a database transaction that is rolled back at the end of the test. It also prevents the code under test from issuing any commit or rollback operations on the database, to ensure that the rollback at the end of the test restores the database to its initial state. In order to guarantee that all TestCase code starts with a clean database, the Django test runner runs all TestCase tests first, before any other tests (e.g. doctests) that may alter the database without restoring it to its original state.

When running on a database that does not support rollback (e.g. MySQL with the MyISAM storage engine), TestCase falls back to initializing the database by truncating tables and reloading initial data.

TransactionTestCase inherits from SimpleTestCase.

Примечание

The TestCase use of rollback to un-do the effects of the test code may reveal previously-undetected errors in test code. For example, test code that assumes primary keys values will be assigned starting at one may find that assumption no longer holds true when rollbacks instead of table truncation are being used to reset the database. Similarly, the reordering of tests so that all TestCase classes run first may reveal unexpected dependencies on test case ordering. In such cases a quick fix is to switch the TestCase to a TransactionTestCase. A better long-term fix, that allows the test to take advantage of the speed benefit of TestCase, is to fix the underlying test problem.

class SimpleTestCase

A very thin subclass of unittest.TestCase, it extends it with some basic functionality like:

If you need any of the other more complex and heavyweight Django-specific features like:

then you should use TransactionTestCase or TestCase instead.

SimpleTestCase inherits from django.utils.unittest.TestCase.

Default test client

TestCase.client

Every test case in a django.test.TestCase instance has access to an instance of a Django test client. This client can be accessed as self.client. This client is recreated for each test, so you don’t have to worry about state (such as cookies) carrying over from one test to another.

This means, instead of instantiating a Client in each test:

from django.utils import unittest
from django.test.client import Client

class SimpleTest(unittest.TestCase):
    def test_details(self):
        client = Client()
        response = client.get('/customer/details/')
        self.assertEqual(response.status_code, 200)

    def test_index(self):
        client = Client()
        response = client.get('/customer/index/')
        self.assertEqual(response.status_code, 200)

...you can just refer to self.client, like so:

from django.test import TestCase

class SimpleTest(TestCase):
    def test_details(self):
        response = self.client.get('/customer/details/')
        self.assertEqual(response.status_code, 200)

    def test_index(self):
        response = self.client.get('/customer/index/')
        self.assertEqual(response.status_code, 200)

Customizing the test client

TestCase.client_class

If you want to use a different Client class (for example, a subclass with customized behavior), use the client_class class attribute:

from django.test import TestCase
from django.test.client import Client

class MyTestClient(Client):
    # Specialized methods for your environment...

class MyTest(TestCase):
    client_class = MyTestClient

    def test_my_stuff(self):
        # Here self.client is an instance of MyTestClient...

Fixture loading

TestCase.fixtures

A test case for a database-backed Web site isn’t much use if there isn’t any data in the database. To make it easy to put test data into the database, Django’s custom TestCase class provides a way of loading fixtures.

A fixture is a collection of data that Django knows how to import into a database. For example, if your site has user accounts, you might set up a fixture of fake user accounts in order to populate your database during tests.

The most straightforward way of creating a fixture is to use the manage.py dumpdata command. This assumes you already have some data in your database. See the dumpdata documentation for more details.

Примечание

If you’ve ever run manage.py syncdb, you’ve already used a fixture without even knowing it! When you call syncdb in the database for the first time, Django installs a fixture called initial_data. This gives you a way of populating a new database with any initial data, such as a default set of categories.

Fixtures with other names can always be installed manually using the manage.py loaddata command.

Initial SQL data and testing

Django provides a second way to insert initial data into models – the custom SQL hook. However, this technique cannot be used to provide initial data for testing purposes. Django’s test framework flushes the contents of the test database after each test; as a result, any data added using the custom SQL hook will be lost.

Once you’ve created a fixture and placed it in a fixtures directory in one of your INSTALLED_APPS, you can use it in your unit tests by specifying a fixtures class attribute on your django.test.TestCase subclass:

from django.test import TestCase
from myapp.models import Animal

class AnimalTestCase(TestCase):
    fixtures = ['mammals.json', 'birds']

    def setUp(self):
        # Test definitions as before.
        call_setup_methods()

    def testFluffyAnimals(self):
        # A test that uses the fixtures.
        call_some_test_code()

Here’s specifically what will happen:

  • At the start of each test case, before setUp() is run, Django will flush the database, returning the database to the state it was in directly after syncdb was called.
  • Then, all the named fixtures are installed. In this example, Django will install any JSON fixture named mammals, followed by any fixture named birds. See the loaddata documentation for more details on defining and installing fixtures.

This flush/load procedure is repeated for each test in the test case, so you can be certain that the outcome of a test will not be affected by another test, or by the order of test execution.

URLconf configuration

TestCase.urls

If your application provides views, you may want to include tests that use the test client to exercise those views. However, an end user is free to deploy the views in your application at any URL of their choosing. This means that your tests can’t rely upon the fact that your views will be available at a particular URL.

In order to provide a reliable URL space for your test, django.test.TestCase provides the ability to customize the URLconf configuration for the duration of the execution of a test suite. If your TestCase instance defines an urls attribute, the TestCase will use the value of that attribute as the ROOT_URLCONF for the duration of that test.

For example:

from django.test import TestCase

class TestMyViews(TestCase):
    urls = 'myapp.test_urls'

    def testIndexPageView(self):
        # Here you'd test your view using ``Client``.
        call_some_test_code()

This test case will use the contents of myapp.test_urls as the URLconf for the duration of the test case.

Multi-database support

TestCase.multi_db

Django sets up a test database corresponding to every database that is defined in the DATABASES definition in your settings file. However, a big part of the time taken to run a Django TestCase is consumed by the call to flush that ensures that you have a clean database at the start of each test run. If you have multiple databases, multiple flushes are required (one for each database), which can be a time consuming activity – especially if your tests don’t need to test multi-database activity.

As an optimization, Django only flushes the default database at the start of each test run. If your setup contains multiple databases, and you have a test that requires every database to be clean, you can use the multi_db attribute on the test suite to request a full flush.

For example:

class TestMyViews(TestCase):
    multi_db = True

    def testIndexPageView(self):
        call_some_test_code()

This test case will flush all the test databases before running testIndexPageView.

Overriding settings

TestCase.settings()

For testing purposes it’s often useful to change a setting temporarily and revert to the original value after running the testing code. For this use case Django provides a standard Python context manager (see PEP 343) settings(), which can be used like this:

from django.test import TestCase

class LoginTestCase(TestCase):

    def test_login(self):

        # First check for the default behavior
        response = self.client.get('/sekrit/')
        self.assertRedirects(response, '/accounts/login/?next=/sekrit/')

        # Then override the LOGIN_URL setting
        with self.settings(LOGIN_URL='/other/login/'):
            response = self.client.get('/sekrit/')
            self.assertRedirects(response, '/other/login/?next=/sekrit/')

This example will override the LOGIN_URL setting for the code in the with block and reset its value to the previous state afterwards.

override_settings()

In case you want to override a setting for just one test method or even the whole TestCase class, Django provides the override_settings() decorator (see PEP 318). It’s used like this:

from django.test import TestCase
from django.test.utils import override_settings

class LoginTestCase(TestCase):

    @override_settings(LOGIN_URL='/other/login/')
    def test_login(self):
        response = self.client.get('/sekrit/')
        self.assertRedirects(response, '/other/login/?next=/sekrit/')

The decorator can also be applied to test case classes:

from django.test import TestCase
from django.test.utils import override_settings

class LoginTestCase(TestCase):

    def test_login(self):
        response = self.client.get('/sekrit/')
        self.assertRedirects(response, '/other/login/?next=/sekrit/')

LoginTestCase = override_settings(LOGIN_URL='/other/login/')(LoginTestCase)

Примечание

When given a class, the decorator modifies the class directly and returns it; it doesn’t create and return a modified copy of it. So if you try to tweak the above example to assign the return value to a different name than LoginTestCase, you may be surprised to find that the original LoginTestCase is still equally affected by the decorator.

On Python 2.6 and higher you can also use the well known decorator syntax to decorate the class:

from django.test import TestCase
from django.test.utils import override_settings

@override_settings(LOGIN_URL='/other/login/')
class LoginTestCase(TestCase):

    def test_login(self):
        response = self.client.get('/sekrit/')
        self.assertRedirects(response, '/other/login/?next=/sekrit/')

Примечание

When overriding settings, make sure to handle the cases in which your app’s code uses a cache or similar feature that retains state even if the setting is changed. Django provides the django.test.signals.setting_changed signal that lets you register callbacks to clean up and otherwise reset state when settings are changed. Note that this signal isn’t currently used by Django itself, so changing built-in settings may not yield the results you expect.

Emptying the test outbox

If you use Django’s custom TestCase class, the test runner will clear the contents of the test email outbox at the start of each test case.

For more detail on email services during tests, see Email services.

Assertions

Изменено в Django 1.2: Added msg_prefix argument.

As Python’s normal unittest.TestCase class implements assertion methods such as assertTrue() and assertEqual(), Django’s custom TestCase class provides a number of custom assertion methods that are useful for testing Web applications:

The failure messages given by most of these assertion methods can be customized with the msg_prefix argument. This string will be prefixed to any failure message generated by the assertion. This allows you to provide additional details that may help you to identify the location and cause of an failure in your test suite.

SimpleTestCase.assertRaisesMessage(expected_exception, expected_message, callable_obj=None, *args, **kwargs)

Asserts that execution of callable callable_obj raised the expected_exception exception and that such exception has an expected_message representation. Any other outcome is reported as a failure. Similar to unittest’s assertRaisesRegexp() with the difference that expected_message isn’t a regular expression.

SimpleTestCase.assertFieldOutput(self, fieldclass, valid, invalid, field_args=None, field_kwargs=None, empty_value=u'')

Asserts that a form field behaves correctly with various inputs.

Параметры:
  • fieldclass – the class of the field to be tested.
  • valid – a dictionary mapping valid inputs to their expected cleaned values.
  • invalid – a dictionary mapping invalid inputs to one or more raised error messages.
  • field_args – the args passed to instantiate the field.
  • field_kwargs – the kwargs passed to instantiate the field.
  • empty_value – the expected clean output for inputs in EMPTY_VALUES.

For example, the following code tests that an EmailField accepts “a@a.com” as a valid email address, but rejects “aaa” with a reasonable error message:

self.assertFieldOutput(EmailField, {'a@a.com': 'a@a.com'}, {'aaa': [u'Enter a valid e-mail address.']})
TestCase.assertContains(response, text, count=None, status_code=200, msg_prefix='', html=False)

Asserts that a Response instance produced the given status_code and that text appears in the content of the response. If count is provided, text must occur exactly count times in the response.

Set html to True to handle text as HTML. The comparison with the response content will be based on HTML semantics instead of character-by-character equality. Whitespace is ignored in most cases, attribute ordering is not significant. See assertHTMLEqual() for more details.

TestCase.assertNotContains(response, text, status_code=200, msg_prefix='', html=False)

Asserts that a Response instance produced the given status_code and that text does not appears in the content of the response.

Set html to True to handle text as HTML. The comparison with the response content will be based on HTML semantics instead of character-by-character equality. Whitespace is ignored in most cases, attribute ordering is not significant. See assertHTMLEqual() for more details.

TestCase.assertFormError(response, form, field, errors, msg_prefix='')

Asserts that a field on a form raises the provided list of errors when rendered on the form.

form is the name the Form instance was given in the template context.

field is the name of the field on the form to check. If field has a value of None, non-field errors (errors you can access via form.non_field_errors()) will be checked.

errors is an error string, or a list of error strings, that are expected as a result of form validation.

TestCase.assertTemplateUsed(response, template_name, msg_prefix='')

Asserts that the template with the given name was used in rendering the response.

The name is a string such as 'admin/index.html'.

You can use this as a context manager, like this:

# This is necessary in Python 2.5 to enable the with statement.
# In 2.6 and up, it's not necessary.
from __future__ import with_statement

with self.assertTemplateUsed('index.html'):
    render_to_string('index.html')
with self.assertTemplateUsed(template_name='index.html'):
    render_to_string('index.html')
TestCase.assertTemplateNotUsed(response, template_name, msg_prefix='')

Asserts that the template with the given name was not used in rendering the response.

You can use this as a context manager in the same way as assertTemplateUsed().

TestCase.assertRedirects(response, expected_url, status_code=302, target_status_code=200, msg_prefix='')

Asserts that the response return a status_code redirect status, it redirected to expected_url (including any GET data), and the final page was received with target_status_code.

If your request used the follow argument, the expected_url and target_status_code will be the url and status code for the final point of the redirect chain.

TestCase.assertQuerysetEqual(qs, values, transform=repr, ordered=True)

Asserts that a queryset qs returns a particular list of values values.

The comparison of the contents of qs and values is performed using the function transform; by default, this means that the repr() of each value is compared. Any other callable can be used if repr() doesn’t provide a unique or helpful comparison.

By default, the comparison is also ordering dependent. If qs doesn’t provide an implicit ordering, you can set the ordered parameter to False, which turns the comparison into a Python set comparison.

Изменено в Django 1.4: The ordered parameter is new in version 1.4. In earlier versions, you would need to ensure the queryset is ordered consistently, possibly via an explicit order_by() call on the queryset prior to comparison.
TestCase.assertNumQueries(num, func, *args, **kwargs)

Asserts that when func is called with *args and **kwargs that num database queries are executed.

If a "using" key is present in kwargs it is used as the database alias for which to check the number of queries. If you wish to call a function with a using parameter you can do it by wrapping the call with a lambda to add an extra parameter:

self.assertNumQueries(7, lambda: my_function(using=7))

If you’re using Python 2.5 or greater you can also use this as a context manager:

# This is necessary in Python 2.5 to enable the with statement, in 2.6
# and up it is no longer necessary.
from __future__ import with_statement

with self.assertNumQueries(2):
    Person.objects.create(name="Aaron")
    Person.objects.create(name="Daniel")
SimpleTestCase.assertHTMLEqual(html1, html2, msg=None)

Asserts that the strings html1 and html2 are equal. The comparison is based on HTML semantics. The comparison takes following things into account:

  • Whitespace before and after HTML tags is ignored.
  • All types of whitespace are considered equivalent.
  • All open tags are closed implicitly, e.g. when a surrounding tag is closed or the HTML document ends.
  • Empty tags are equivalent to their self-closing version.
  • The ordering of attributes of an HTML element is not significant.
  • Attributes without an argument are equal to attributes that equal in name and value (see the examples).

The following examples are valid tests and don’t raise any AssertionError:

self.assertHTMLEqual('<p>Hello <b>world!</p>',
    '''<p>
        Hello   <b>world! <b/>
    </p>''')
self.assertHTMLEqual(
    '<input type="checkbox" checked="checked" id="id_accept_terms" />',
    '<input id="id_accept_terms" type='checkbox' checked>')

html1 and html2 must be valid HTML. An AssertionError will be raised if one of them cannot be parsed.

SimpleTestCase.assertHTMLNotEqual(html1, html2, msg=None)

Asserts that the strings html1 and html2 are not equal. The comparison is based on HTML semantics. See assertHTMLEqual() for details.

html1 and html2 must be valid HTML. An AssertionError will be raised if one of them cannot be parsed.

Email services

If any of your Django views send email using Django’s email functionality, you probably don’t want to send email each time you run a test using that view. For this reason, Django’s test runner automatically redirects all Django-sent email to a dummy outbox. This lets you test every aspect of sending email – from the number of messages sent to the contents of each message – without actually sending the messages.

The test runner accomplishes this by transparently replacing the normal email backend with a testing backend. (Don’t worry – this has no effect on any other email senders outside of Django, such as your machine’s mail server, if you’re running one.)

django.core.mail.outbox

During test running, each outgoing email is saved in django.core.mail.outbox. This is a simple list of all EmailMessage instances that have been sent. The outbox attribute is a special attribute that is created only when the locmem email backend is used. It doesn’t normally exist as part of the django.core.mail module and you can’t import it directly. The code below shows how to access this attribute correctly.

Here’s an example test that examines django.core.mail.outbox for length and contents:

from django.core import mail
from django.test import TestCase

class EmailTest(TestCase):
    def test_send_email(self):
        # Send message.
        mail.send_mail('Subject here', 'Here is the message.',
            'from@example.com', ['to@example.com'],
            fail_silently=False)

        # Test that one message has been sent.
        self.assertEqual(len(mail.outbox), 1)

        # Verify that the subject of the first message is correct.
        self.assertEqual(mail.outbox[0].subject, 'Subject here')

As noted previously, the test outbox is emptied at the start of every test in a Django TestCase. To empty the outbox manually, assign the empty list to mail.outbox:

from django.core import mail

# Empty the test outbox
mail.outbox = []

Skipping tests

The unittest library provides the @skipIf and @skipUnless decorators to allow you to skip tests if you know ahead of time that those tests are going to fail under certain conditions.

For example, if your test requires a particular optional library in order to succeed, you could decorate the test case with @skipIf. Then, the test runner will report that the test wasn’t executed and why, instead of failing the test or omitting the test altogether.

To supplement these test skipping behaviors, Django provides two additional skip decorators. Instead of testing a generic boolean, these decorators check the capabilities of the database, and skip the test if the database doesn’t support a specific named feature.

The decorators use a string identifier to describe database features. This string corresponds to attributes of the database connection features class. See BaseDatabaseFeatures class for a full list of database features that can be used as a basis for skipping tests.

skipIfDBFeature(feature_name_string)

Skip the decorated test if the named database feature is supported.

For example, the following test will not be executed if the database supports transactions (e.g., it would not run under PostgreSQL, but it would under MySQL with MyISAM tables):

class MyTests(TestCase):
    @skipIfDBFeature('supports_transactions')
    def test_transaction_behavior(self):
        # ... conditional test code
skipUnlessDBFeature(feature_name_string)

Skip the decorated test if the named database feature is not supported.

For example, the following test will only be executed if the database supports transactions (e.g., it would run under PostgreSQL, but not under MySQL with MyISAM tables):

class MyTests(TestCase):
    @skipUnlessDBFeature('supports_transactions')
    def test_transaction_behavior(self):
        # ... conditional test code

Live test server

class LiveServerTestCase

LiveServerTestCase does basically the same as TransactionTestCase with one extra feature: it launches a live Django server in the background on setup, and shuts it down on teardown. This allows the use of automated test clients other than the Django dummy client such as, for example, the Selenium client, to execute a series of functional tests inside a browser and simulate a real user’s actions.

By default the live server’s address is ‘localhost:8081’ and the full URL can be accessed during the tests with self.live_server_url. If you’d like to change the default address (in the case, for example, where the 8081 port is already taken) then you may pass a different one to the test command via the --liveserver option, for example:

./manage.py test --liveserver=localhost:8082

Another way of changing the default server address is by setting the DJANGO_LIVE_TEST_SERVER_ADDRESS environment variable somewhere in your code (for example, in a custom test runner):

import os
os.environ['DJANGO_LIVE_TEST_SERVER_ADDRESS'] = 'localhost:8082'

In the case where the tests are run by multiple processes in parallel (for example, in the context of several simultaneous continuous integration builds), the processes will compete for the same address, and therefore your tests might randomly fail with an “Address already in use” error. To avoid this problem, you can pass a comma-separated list of ports or ranges of ports (at least as many as the number of potential parallel processes). For example:

./manage.py test --liveserver=localhost:8082,8090-8100,9000-9200,7041

Then, during test execution, each new live test server will try every specified port until it finds one that is free and takes it.

To demonstrate how to use LiveServerTestCase, let’s write a simple Selenium test. First of all, you need to install the selenium package into your Python path:

pip install selenium

Then, add a LiveServerTestCase-based test to your app’s tests module (for example: myapp/tests.py). The code for this test may look as follows:

from django.test import LiveServerTestCase
from selenium.webdriver.firefox.webdriver import WebDriver

class MySeleniumTests(LiveServerTestCase):
    fixtures = ['user-data.json']

    @classmethod
    def setUpClass(cls):
        cls.selenium = WebDriver()
        super(MySeleniumTests, cls).setUpClass()

    @classmethod
    def tearDownClass(cls):
        super(MySeleniumTests, cls).tearDownClass()
        cls.selenium.quit()

    def test_login(self):
        self.selenium.get('%s%s' % (self.live_server_url, '/login/'))
        username_input = self.selenium.find_element_by_name("username")
        username_input.send_keys('myuser')
        password_input = self.selenium.find_element_by_name("password")
        password_input.send_keys('secret')
        self.selenium.find_element_by_xpath('//input[@value="Log in"]').click()

Finally, you may run the test as follows:

./manage.py test myapp.MySeleniumTests.test_login

This example will automatically open Firefox then go to the login page, enter the credentials and press the “Log in” button. Selenium offers other drivers in case you do not have Firefox installed or wish to use another browser. The example above is just a tiny fraction of what the Selenium client can do; check out the full reference for more details.

Примечание

LiveServerTestCase makes use of the staticfiles contrib app so you’ll need to have your project configured accordingly (in particular by setting STATIC_URL).

Примечание

When using an in-memory SQLite database to run the tests, the same database connection will be shared by two threads in parallel: the thread in which the live server is run and the thread in which the test case is run. It’s important to prevent simultaneous database queries via this shared connection by the two threads, as that may sometimes randomly cause the tests to fail. So you need to ensure that the two threads don’t access the database at the same time. In particular, this means that in some cases (for example, just after clicking a link or submitting a form), you might need to check that a response is received by Selenium and that the next page is loaded before proceeding with further test execution. Do this, for example, by making Selenium wait until the <body> HTML tag is found in the response (requires Selenium > 2.13):

def test_login(self):
    from selenium.webdriver.support.wait import WebDriverWait
    ...
    self.selenium.find_element_by_xpath('//input[@value="Log in"]').click()
    # Wait until the response is received
    WebDriverWait(self.selenium, timeout).until(
        lambda driver: driver.find_element_by_tag_name('body'), timeout=10)

The tricky thing here is that there’s really no such thing as a “page load,” especially in modern Web apps that generate HTML dynamically after the server generates the initial document. So, simply checking for the presence of <body> in the response might not necessarily be appropriate for all use cases. Please refer to the Selenium FAQ and Selenium documentation for more information.

Using different testing frameworks

Clearly, doctest and unittest are not the only Python testing frameworks. While Django doesn’t provide explicit support for alternative frameworks, it does provide a way to invoke tests constructed for an alternative framework as if they were normal Django tests.

When you run ./manage.py test, Django looks at the TEST_RUNNER setting to determine what to do. By default, TEST_RUNNER points to 'django.test.simple.DjangoTestSuiteRunner'. This class defines the default Django testing behavior. This behavior involves:

  1. Performing global pre-test setup.
  2. Looking for unit tests and doctests in the models.py and tests.py files in each installed application.
  3. Creating the test databases.
  4. Running syncdb to install models and initial data into the test databases.
  5. Running the unit tests and doctests that are found.
  6. Destroying the test databases.
  7. Performing global post-test teardown.

If you define your own test runner class and point TEST_RUNNER at that class, Django will execute your test runner whenever you run ./manage.py test. In this way, it is possible to use any test framework that can be executed from Python code, or to modify the Django test execution process to satisfy whatever testing requirements you may have.

Defining a test runner

Изменено в Django 1.2: Prior to 1.2, test runners were a single function, not a class.

A test runner is a class defining a run_tests() method. Django ships with a DjangoTestSuiteRunner class that defines the default Django testing behavior. This class defines the run_tests() entry point, plus a selection of other methods that are used to by run_tests() to set up, execute and tear down the test suite.

class DjangoTestSuiteRunner(verbosity=1, interactive=True, failfast=True, **kwargs)

verbosity determines the amount of notification and debug information that will be printed to the console; 0 is no output, 1 is normal output, and 2 is verbose output.

If interactive is True, the test suite has permission to ask the user for instructions when the test suite is executed. An example of this behavior would be asking for permission to delete an existing test database. If interactive is False, the test suite must be able to run without any manual intervention.

If failfast is True, the test suite will stop running after the first test failure is detected.

Django will, from time to time, extend the capabilities of the test runner by adding new arguments. The **kwargs declaration allows for this expansion. If you subclass DjangoTestSuiteRunner or write your own test runner, ensure accept and handle the **kwargs parameter.

Your test runner may also define additional command-line options. If you add an option_list attribute to a subclassed test runner, those options will be added to the list of command-line options that the test command can use.

Attributes

DjangoTestSuiteRunner.option_list

This is the tuple of optparse options which will be fed into the management command’s OptionParser for parsing arguments. See the documentation for Python’s optparse module for more details.

Methods

DjangoTestSuiteRunner.run_tests(test_labels, extra_tests=None, **kwargs)

Run the test suite.

test_labels is a list of strings describing the tests to be run. A test label can take one of three forms:

  • app.TestCase.test_method – Run a single test method in a test case.
  • app.TestCase – Run all the test methods in a test case.
  • app – Search for and run all tests in the named application.

If test_labels has a value of None, the test runner should run search for tests in all the applications in INSTALLED_APPS.

extra_tests is a list of extra TestCase instances to add to the suite that is executed by the test runner. These extra tests are run in addition to those discovered in the modules listed in test_labels.

This method should return the number of tests that failed.

DjangoTestSuiteRunner.setup_test_environment(**kwargs)

Sets up the test environment ready for testing.

DjangoTestSuiteRunner.build_suite(test_labels, extra_tests=None, **kwargs)

Constructs a test suite that matches the test labels provided.

test_labels is a list of strings describing the tests to be run. A test label can take one of three forms:

  • app.TestCase.test_method – Run a single test method in a test case.
  • app.TestCase – Run all the test methods in a test case.
  • app – Search for and run all tests in the named application.

If test_labels has a value of None, the test runner should run search for tests in all the applications in INSTALLED_APPS.

extra_tests is a list of extra TestCase instances to add to the suite that is executed by the test runner. These extra tests are run in addition to those discovered in the modules listed in test_labels.

Returns a TestSuite instance ready to be run.

DjangoTestSuiteRunner.setup_databases(**kwargs)

Creates the test databases.

Returns a data structure that provides enough detail to undo the changes that have been made. This data will be provided to the teardown_databases() function at the conclusion of testing.

DjangoTestSuiteRunner.run_suite(suite, **kwargs)

Runs the test suite.

Returns the result produced by the running the test suite.

DjangoTestSuiteRunner.teardown_databases(old_config, **kwargs)

Destroys the test databases, restoring pre-test conditions.

old_config is a data structure defining the changes in the database configuration that need to be reversed. It is the return value of the setup_databases() method.

DjangoTestSuiteRunner.teardown_test_environment(**kwargs)

Restores the pre-test environment.

DjangoTestSuiteRunner.suite_result(suite, result, **kwargs)

Computes and returns a return code based on a test suite, and the result from that test suite.

Testing utilities

To assist in the creation of your own test runner, Django provides a number of utility methods in the django.test.utils module.

setup_test_environment()

Performs any global pre-test setup, such as the installing the instrumentation of the template rendering system and setting up the dummy SMTPConnection.

teardown_test_environment()

Performs any global post-test teardown, such as removing the black magic hooks into the template system and restoring normal email services.

The creation module of the database backend (connection.creation) also provides some utilities that can be useful during testing.

create_test_db([verbosity=1, autoclobber=False])

Creates a new test database and runs syncdb against it.

verbosity has the same behavior as in run_tests().

autoclobber describes the behavior that will occur if a database with the same name as the test database is discovered:

  • If autoclobber is False, the user will be asked to approve destroying the existing database. sys.exit is called if the user does not approve.
  • If autoclobber is True, the database will be destroyed without consulting the user.

Returns the name of the test database that it created.

create_test_db() has the side effect of modifying the value of NAME in DATABASES to match the name of the test database.

destroy_test_db(old_database_name[, verbosity=1])

Destroys the database whose name is the value of NAME in DATABASES, and sets NAME to the value of old_database_name.

The verbosity argument has the same behavior as for DjangoTestSuiteRunner.