Generator Expressions

In Python, generators provide a convenient way to implement the iterator protocol. Generator is an iterable created using a function with a yield statement.

The main feature of generator is evaluating the elements on demand. When you call a normal function with a return statement the function is terminated whenever it encounters a return statement. In a function with a yield statement the state of the function is “saved” from the last call and can be picked up the next time you call a generator function.

>>> def my_gen(): ... for x in range(5): ... yield x

Generator expression allows creating a generator on a fly without a yield keyword. However, it doesn’t share the whole power of generator created with a yield function. The syntax and concept is similar to list comprehensions:

>>> gen_exp = (x ** 2 for x in range(10) if x % 2 == 0) >>> for x in gen_exp: ... print(x) 0 4 16 36 64

In terms of syntax, the only difference is that you use parentheses instead of square brackets. However, the type of data returned by list comprehensions and generator expressions differs.

>>> list_comp = >>> gen_exp = (x ** 2 for x in range(10) if x % 2 == 0) >>> print(list_comp) >>> print(gen_exp) at 0x7f600131c410>

The main advantage of generator over a list is that it takes much less memory. We can check how much memory is taken by both types using sys.getsizeof() method.

Note: in Python 2 using range() function can’t actually reflect the advantage in term of size, as it still keeps the whole list of elements in memory. In Python 3, however, this example is viable as the range() returns a range object.

>>> from sys import getsizeof >>> my_comp = >>> my_gen = (x * 5 for x in range(1000)) >>> getsizeof(my_comp) 9024 >>> getsizeof(my_gen) 88

We can see this difference because while `list` creating Python reserves memory for the whole list and calculates it on the spot. In case of generator, we receive only ”algorithm”/ “instructions” how to calculate that Python stores. And each time we call for generator, it will only “generate” the next element of the sequence on demand according to “instructions”.

On the other hand, generator will be slower, as every time the element of sequence is calculated and yielded, function context/state has to be saved to be picked up next time for generating next value. That “saving and loading function context/state” takes time.

Final Thoughts

The very first thing that might scare or discourage a newbie programmer is the scale of educational material. The trick here is to treat each concept as an option offered by language, you’re not expected to learn all the language concepts and modules all at once. There are always different ways to solve the same task. Take it as one more tool to get the job done.

Сегодня я расскажу о таком типе данных, как списки , операциях над ними и методах, о генераторах списков и о применении списков.

Что такое списки?

Списки в Python - упорядоченные изменяемые коллекции объектов произвольных типов (почти как массив, но типы могут отличаться).

Чтобы использовать списки, их нужно создать. Создать список можно несколькими способами. Например, можно обработать любой итерируемый объект (например, ) встроенной функцией list :

Список можно создать и при помощи литерала:

Как видно из примера, список может содержать любое количество любых объектов (в том числе и вложенные списки), или не содержать ничего.

И еще один способ создать список - это генераторы списков . Генератор списков - способ построить новый список, применяя выражение к каждому элементу последовательности. Генераторы списков очень похожи на цикл .

Возможна и более сложная конструкция генератора списков:

Но в сложных случаях лучше пользоваться обычным циклом for для генерации списков.

Функции и методы списков

Создать создали, теперь нужно со списком что-то делать. Для списков доступны основные , а также методы списков.

Таблица "методы списков"

Нужно отметить, что методы списков, в отличие от , изменяют сам список, а потому результат выполнения не нужно записывать в эту переменную.

И, напоследок, примеры работы со списками:

Изредка, для увеличения производительности, списки заменяют гораздо менее гибкими

Представим себе ситуацию - вам необходимо извлечь все элементы списка и присвоить каждый из них своей определенной переменной. Например, у нас есть список описывающий человека и содержащий следующие элементы:

Person_data = ["John", "Smith", 23, "programmer"]

User_name, user_surname, user_age, user_occupation = person_data

После этого мы сможем использовать отдельно каждую созданную переменную.

Обратите внимание, что количество создаваемых переменных должно соответствовать количеству элементов в списке, иначе вы получите ошибку.

Как пользоваться генераторами в Python.

Генераторами списков в Python называются однострочные конструкции, которые позволяют создавать новые списки.

Синтаксис генераторов списков такой:

# самый простой генератор new_list =

В итоге new_list будет содержать числа от 0 до 9. Понятно, что для того чтобы создать такой список незачем пользоваться генератором. Достаточно просто воспользоваться функцией range()

# пример посложнее word = "hello" new_list =

Теперь new_list будет выглядеть так:

["h","e","l","l","o"]

Так же в генераторы списков можно вставлять конструкцию if:

# Создаем список из чисел кратных трем new_list =

В итоге получим:

Наконец, в генераторе можно использовать несколько списков и переменных:

# создание колоды карт при помощи генератора списков # масти suits = "HDCS" # ранги ranks = "23456789TJQKA" # генерируем колоду deck =

Получим следующий результат:

Представьте, сколько времени мы сэкономили, написав всего одну строчку вместо нескольких циклов .

Как извлечь элементы из подсписков в Python.

Так же, часто возникает ситуация, когда необходимо извлечь элементы из подспиков списка.

Например имеем такой список:

Outer = [, , ]

Задача создать отдельный список содержащий все элементы подсписков данного списка. Выполнить эту задачу можно при помощи все того же генератора списков:

New_list =

Таким образом получаем список со всеми элементами:

На этом на сегодня все. Удачи в освоении Python !

>>> lst =
>>> lst

>>>

>>>

Посмотрим на код более внимательно. ВНачале был создан список чисел "1,2,3,4,5", после чего следует форма записи генератора. Запись генератора списков береться в квадратные скобки. Вначале указывается действие для переменной, куда цикл помещает элементы на каждом шаге итерации, зачем следует классическая форма записи объявления цикла "for", куда передается созданный список чисел. Генератор списка возвращает список чисел, которые были сгенерированы в процессе указанного действия внутри генератора, а именно, взять элемент на каждом шаге итерации и умножить его на 2. Врезультате чего, получаем список чисел из списка "lst", Где каждый элемент умножен на 2. При использовании классического цикла "for", эта запись выглядит следующим образом:

>>> lst =
>>> lst

>>> lst2 =
>>> for i in lst:
... lst2.append(i*2)
...
>>> lst2

>>>

Согласитесь, запись в виде генератора списка, была куда более краткой. На первый взгляд, приемущества генератора списков очевидны далеко не сразу, но давайте смоделируем несколько ситуаций, где мы можем применить генератор списка, который позволит сократить количество написанного кода, а главное, позволит сократить код не в ущерб производительности и сопровождению. Кпримеру, у нас есть файл, с которого нам необходимо достать список строк. Файл находится в кодировке "utf-8" и в процессе доставания, нам необходимо декодировать строки в юникод, параллельно убрав эскейп последовательность "\n", в конце каждой строки.

>>> text = for s in open(ur"d:\dev\price.txt")]
>>> print text

>>>

Полюбуйтесь на этот код! Мы выполнили поставленную задачу в одну строку кода. Впринципе, код достаточно очевидный. Мы обратились к файлу непосредственно в цикле "for", что передало циклу объект-итератор файла. Далее цикл пробежался по строкам, и выполнил действие, которое мы указали ему вначале нашего генератора, Т.Е. Перевел каждую строку в юникод и вернул ее со срезом [:-1], что позволило удалить эскейп последовательность "\n". Собственно получившийся список, мы присвоили переменной "text", которая и содержит список обработанных строк:

>>> for i in text:
... print i
...
Прайс на чебурашек, чубурашек и чибураторов.




Чубурашка, цвет синий, характер мерзкий, цена 200 грн;
Чубурашка, цвет голубой, характер доставучий, цена 250 грн;
Чубурашка, цвет малиновый, характер клубничный, цена 300 грн;
Чибуратор, цвет хаки, характер нордический, цена 400 грн;
Чибуратор, цвет мутный, характер мутный, цена 400 грн;
Чибуратор, цвет шоколадный, характер мармеладный, цена 500 грн;
Чибуратор, цвет полосатый, характер сонный, цена 600 грн;
>>>

Это действительно удобно, причем, как я и говорил, не затрудняет чтение кода и положительно сказывается на общей производительности.

Генератор списков с условием "if"

>>> lst =
>>> lst

>>>

>>>

Мы расширили синтаксис генератора списков условием "if", которое имеет выражение ">= 5". Генератор вернет список только тех значений, которые будут обрабатываться на шаге итерации, при котором "if" будет получать "True". Соответственно, нам вернется список чисел, которые соответствуют утверждению ">= 5".
Мы можем еще более расширить генератор списка, воспользовавшись тернарной записью "if else":

>>> 1 if 3>2 else 0
1
>>> 1 if 3 < 2 else 0
0
>>>

Напомню, что тернарная запись "if else", возвращает результат слева, если выражение после "if", возвращает "True". В противном случае, возвращается результат справа. Теперь посмотрим, как мы можем соединить это с генератором списка, решив предыдущую задачу, но поставив условие, что, как только нам встречается число в списке меньше пяти, мы возвращаем его, но прибавив к нему +5:

>>> lst

>>>

>>>

Давайте решим еще одну, менее синтетическую задачу, на основании этого синтаксиса. Возьмем нашь файлик "price.txt" и вернем в список только те строки, которые начинаются со слова "Чебурашка", а для остальных результатов, вернуть "None":

>>> text = for string in open(ur"d:\dev\price.txt")]
>>> for i in text:
... print i
...
None
Чебурашка, цвет зеленый, характер унылый, цена 100 грн;
Чебурашка, цвет красный, характер агрессивный, цена 150 грн;
Чебурашка, цвет коричневый, характер чебурашечный, цена 150 грн;
Чебурашка, цвет белый, характер настырный, цена 200 грн;
None
None
None
None
None
None
None
>>>

(Строчный метод "startswith", возвращает "True", если строка начинается с переданного в метод префикса)

Генератор словарей

>>> lst

>>> {i:i*2 for i in lst}
{1: 2, 2: 4, 3: 6, 4: 8, 5: 10}
>>>

Все выражение генератора мы заключаем в фигурные скобочки, а в начале, в виде действия, указываем синтаксис записи пары "ключ/значение" для словаря.

Генератор множеств

>>> lst =
>>> lst

>>> {i*2 for i in lst}
set()
>>>

Будте внимательны, генератор множеств, также, как и генератор словарей, заключается в фигурные скобочки, разница лишь в синтаксисе. Для генератора множеств, мы не указываем вид пары "ключ/значение", его синтаксис схож с генератором списков, но заключен в фигурные скобочки. Именно такой синтаксис, говорит Python, что это генератор множеств.

Генераторы и итераторы представляют собой инструменты, которые, как правило, используются для поточной обработки данных. В уроке рассмотрим концепцию итераторов в Python , научимся создавать свои итераторы и разберемся как работать с генераторами.

Итераторы в языке Python

Во многих современных языках программирования используют такие сущности как итераторы. Основное их назначение – это упрощение навигации по элементам объекта, который, как правило, представляет собой некоторую коллекцию (список, словарь и т.п.). Язык Python , в этом случае, не исключение и в нем тоже есть поддержка итераторов. Итератор представляет собой объект перечислитель, который для данного объекта выдает следующий элемент, либо бросает исключение, если элементов больше нет.

Основное место использования итераторов – это цикл for . Если вы перебираете элементы в некотором списке или символы в строке с помощью цикла for , то,фактически, это означает, что при каждой итерации цикла происходит обращение к итератору, содержащемуся в строке/списке, с требованием выдать следующий элемент, если элементов в объекте больше нет, то итератор генерирует исключение, обрабатываемое в рамках цикла for незаметно для пользователя.

Приведем несколько примеров, которые помогут лучше понять эту концепцию. Для начала выведем элементы произвольного списка на экран.

Как уже было сказано, объекты, элементы которых можно перебирать в цикле for , содержат в себе объект итератор, для того, чтобы его получить необходимо использовать функцию iter() , а для извлечения следующего элемента из итератора – функцию next() .