RAID-5, ребилд, 12 SAS-дисков и восстановление данных

Восстановление информации в Бишкеке | Data Recovery Bishkek
RAID-5 массив, поступивший к нам в работу

В Международный Женский День 8 марта к нам обратилась одна из крупных организаций города Бишкека с отказавшим RAID-массивом. Массив из 11 SAS-дисков емкостью 900 Гбайт каждый, и в дополнение — двенадцатый диск горячей замены (hot spare). На 11 дисках был собран RAID-5 (странно, но, как говорится, выбор сисадмина священен). Массив перестал работать в ночь на 7 марта, обслуживающий его персонал ожидал сутки в надежде на то, что тот поднимется сам, но чуда не случилось. Массив остался неисправен, так как для запуска ребилда в нем банально уже не хватало участников.

Предстояло выяснить следующее:

  1. Порядок, в котором «уходили» и «приходили» диски массива, поскольку в полке (а массив физически был собран в стандартном blade-server) имелся диск горячей замены.
  2. Последнюю рабочую конфигурацию массива.
  3. Причину выхода массива из строя.

Основная конфигурация массива, к счастью, оказалась доступной через управляющее приложение RAID. Поэтому с размером страйпа (порции данных в секторах, распределяемой по дискам), типом массива и некоторыми другими характеристиками все было ясно исходно. Проблему составлял только состав массива: какие именно диски исключались, какие включались в его состав, и в каком составе он окончательно вышел из строя.

Восстановление информации Бишкек | Data Recovery Bishkek
Этикетка сервера.

Работу начали с поиска метаданных массива. Современные дисковые массивы, собранные на серьезных контроллерах, часто несут массу служебной информации, необходимой для функционирования RAID, прямо на дисках. Эта информация может быть как зашифрованной, так и находиться на дисках в открытом виде. Но, в любом случае, она исключительно полезна и должна использоваться в работе по восстановлению данных.

В нашем случае эта информация оказалась частично открытой, частично ее пришлось расшифровывать. Порядок дисков в метаданных хранился в открытом виде, по серийным номерам; статус дисков (активный, не активный, горячая замена) был зашифрован битовыми флагами.

На основании метаданных удалось выяснить, что массив относительно недавно пережил ребилд: из массива был исключен один из дисков, и на его место встал диск горячей замены. Ребилд завершился успешно, и массив продолжил свою работу.

После этого из массива «ушел» еще один диск. С этого момента массив начал работать в весьма рискованном для данных состоянии degraded (деградирован). Что это означает?

RAID-5 — это дисковые массивы с контролем четности, допускающие потерю одного участника массива. При этом блоки четности (XOR-блоки) распределяются на всех дисках массива по определенному алгоритму, как правило — равномерно. Если один из дисков массива исчезает (по любой причине — например, ломается), данные с этого диска восстанавливаются по блокам четности контроллером массива, и массив продолжает работать. Если в массиве предусмотрен диск горячей замены, контроллер включит его в состав массива, при этом будет запущена процедура ребилда — восстановления содержимого исключенного члена массива на основании блоков четности с других дисков.

Однако если диска горячей замены нет, массив начинает работать в деградированном состоянии. Это означает, что исключенный из массива диск воссоздается контроллером на основании блоков четности с остальных дисков, но запаса прочности у массива уже нет — если выйдет из строя еще хотя бы один диск, контроллеру не хватит информации из блоков четности для воссоздания потерянных дисков, целостность данных нарушится, и массив перестанет существовать — контроллер должен будет перевести его в состояние offline.

Восстановление информации Бишкек | Data Recovery Bishkek
Фрагмент метаданных поступившего в работу массива

В нашем случае в массив включался один диск, а исключалось из него три. Для корректного восстановления информации требовалось определить, вместо какого диска встал в массив накопитель горячей замены (таким образом определялось, какой диск покинул массив первым); затем следовало определить, какой из двух оставшихся исключенных накопителей был исключен раньше.

С диском горячей замены проблем не было: он оказался в метаданных массива, ведь он был включен в него штатно и, следовательно, был также штатно прописан в метаданные. По его положению в массиве мы определили, какой из исходных дисков был исключен из массива первым. Этот диск был исключен и из анализа.

Статистика (включая карту энтропий) участников массива, фрагмент.
Трехмерная визуализация энтропии одного из дисков массива, в двух разных проекциях.

Для определения наиболее актуального участника массива мы воспользовались наиболее достоверным методом — анализом энтропии. Разные инструменты представляют энтропию данных по разному. В спорных случаях оптимальнее всего использовать несколько методов визуализации энтропии, так как традиционный «плоский» метод может оказаться малоинформативен. Наш случай оказался как раз таким, спорным — так как исключение дисков из массива происходило в течение небольшого времени.

Поэтому, кроме традиционного «плоского» метода визуализации энтропии (гистограммы), мы использовали также трехмерную визуализацию, дающую гораздо более детальную картину распределения данных внутри анализируемого объекта. Результат: менее актуальный диск определен, диски выстроены в массиве в правильном порядке, массив собран и данные доступны.

Данный массив, ввиду того, что все диски массива оказались исправны, был собран нами по цене копирования, по акции «соберем RAID по цене копирования».

Восстановление информации с карты памяти CFast 2.0

Профессиональные карты памяти CFast стандарта 2.0 появились на рынке относительно недавно (более-менее массово их стали использовать в профессиональных камерах, главным образом Canon, с 2016 года). Не смотря на это, они начали попадать в поле нашего зрения практически сразу после выпуска — но всегда с логическими проблемами (удаленные файлы или карта была отформатирована).

Но все течет, все изменяется — и вот в наших руках первая карта CFast 2.0, неисправная физически. Карта не отдает свой ID, не показывает емкость и вообще ведет себя довольно тихо. Увы, другого выхода, кроме как выпаивать NAND-микросхемы и вычитывать их дампы с последующей сборкой образа, у нас нет.

Тут следует сказать пару слов о том, что такое CFast 2.0. Для многих это просто карта памяти Compact Flash, пусть и с другим коннектором. Однако по факту это твердотельный диск (SSD) со стандартным SATA-соединением. Правда, разъем питания отличается от SATA, но это не мешает устройству по факту оставаться SSD в SATA-исполнении.

Что это значит для нас? Стандартная сборка дампов для этого накопителя невозможна, необходимо использовать алгоритмы, характерные для SSD.

Карта памяти CFast 2.0 Lexar 128 GB, поступившая к нам в работу

Пришедшая в работу карта CFast 2.0 Lexar 128 GB построена на довольно проблемном контроллере SM2246XT — сборка данных на этом контроллере имеет свои сложности, и довольно часто — фатальные для данных. Особенно, когда микросхемы памяти вычитаны с проблемами.

В нашем случае память прочиталась хорошо, а битовые ошибки были почти полностью скорректированы механизмами ЕСС. Мы получили «чистые» дампы в количестве 16 штук (в нашей карте 4 NAND-микросхемы, в каждой микросхеме по 4 банка) по 4 Гбайт каждый.

Карта CFast 2.0 Lexar 128 GB внутри
Коннектор карты CFast 2.0
NAND-микросхема из карты памяти CFast 2.0 Lexar 128 GB (BGA 152)

Для восстановления информации с этой карты пришлось комбинировать два инструмента. Дампы памяти считывались с использованием PC-3000 Flash через специализированный адаптер (BGA-152/132). В этом же комплексе производилась первоначальная обработка дампов (коррекция с использованием ЕСС и перечитывание нескорректированного). После этого дампы были перенесены в PC-3000 SSD, где проводились дальнейшие работы по восстановлению данных.

Семинар 2 — 8 февраля 2020 г.

Дорогие друзья!

Со 2-го по 8-е февраля 2020 г. наш офис в г. Бишкек будет закрыт, мы отбываем в Европу на очередной семинар по восстановлению информации, который будет происходить в офисе одного из наших партнеров.

Во время нашего отсутствия Вы можете связаться с нами по электронной почте, WhatsApp, Telegram или Viber.

Восстановление информации в Бишкеке | Professional Data Recovery Bishkek

2020. Первые заказы

Восстановление информации в Бишкеке | Bishkek Data Recovery

Еще даже не закончилась праздничная неделя нового года, а нам уже пришлось восстанавливать информацию. Да, приходится работать даже в выходные и праздники. Как сказал бы Мандалорец, «таков путь».

В первые дни 2020 к нам обратились со следующими устройствами: 3 жестких диска, две флешки и один iPhone. Расскажу кратко о каждом.

Первый жесткий диск привезли из города Ош — информация нужна была быстро, так как без нее встала работа целой организации. Пришлось подсуетиться и между тостами за праздничным столом (диск приехал 31 декабря еще прошлого года) произвести замену блока магнитных головок и вычитывание диска. Работу удалось выполнить в стахановском режиме всего за сутки, ровно в новогодние праздники: 31 декабря 2019 и 1 января 2020.

Второй жесткий диск — ноутбучная Toshiba. Ноутбук упал во время работы, и диску хорошо досталось. Восстановление данных оказалось возможным, хотя также, как и в первом случае, потребовало хирургии: замена блока магнитных головок.

Третий диск, хвала богам, физически не пострадал. Это оказалась также, как и в предыдущем случае, ноутбучная Toshiba, доставшаяся ее текущему владельцу по наследству от умершего родственника. Требовалось выяснить, какие файлы были удалены после того, как владелец компьютера отошел в мир иной, когда это было сделано, и по возможности восстановить эти файлы. Работа не простая, но вполне выполнимая.

Теперь об iPhone. Очень интересный случай. Аппарат абсолютно исправен, но при обновлении не смог обновиться и выдал соответствующую ошибку. Владелец запаниковал и побежал в ЦУМ, где ему произвели самый простой и доступный в этом случае тип сервиса: обновление прошивки через компьютер («восстановление»). Но поскольку первоначально обновление закончилось ошибкой, ЦУМовский «специалист» просто стер аппарат и перепрошил его как новый. Естественно, все данные при этом были утеряны безвозвратно. Пришлось восстанавливать аппарат из резервной копии, которая была создана программой iTunes на компьютере пользователя перед тем, как он начал обновлять свой iPhone. Почему он сам не восстановил телефон из резерва? Выше я написал — он запаниковал, и напрочь забыл о том, что у него есть эта резервная копия =).

Первая флешка в Новом году оказалась 32 Гб монолитом производства HIKVISION. Увы, монолит оказался абсолютно мертв, и без распайки или разводки его на Spider Board восстановление данных с него невозможно. Заказчик забрал флешку до лучших времен — восстановление с нее информации — дело не из дешевых, так как и производитель еще малоизвестен (а значит, пинаут монолита придется выяснять опытным путем), и само исполнение (монолит) требует использования дорогостоящего оборудования.

Вторая флешка 2020 оказалась попроще: microSD с удаленными файлами. Их удалось восстановить почти все.

Поздравляем вас с наступившим Новым годом и желаем не терять ваши данные!

Резервное копирование мобильного телефона: суровая необходимость

Резервное копирование телефона — зачем это?

Мобильный телефон очень для многих сейчас заменяет практически все компьютерные устройства: это и фотокамера, и склад фотографий, и калькулятор, и мессенджер (причем не один), и средство доступа к банковским счетам, и средство платежа, и многое другое. Собственно, как телефон — средство связи — он сейчас используется намного меньше, чем все остальное. Просто проанализируйте: как часто вы делаете телефоном фотографии и как часто вы совершаете им же звонки. Разница будет разительной.

Именно поэтому резервное копирование вашего телефона превращается в задачу насущной необходимости, ведь очень часто пользователь не помнит ни логинов, ни паролей, которые когда-то давно ввел в своем телефоне для десятков приложений; не помнит пин-кодов, номеров телефонов наиболее важных контактов, и т.п. Потеря телефона или данных с него будет в этом случае равносильна потере связки ключей: от квартиры, от машины, от гаража… И если другой такой связки у вас нет, то придется вызывать специалистов для взлома дверей, а потом все это ремонтировать и восстанавливать.

Для того, чтобы подобных вещей не происходило, мобильный телефон время от времени требуется резервировать. Это не так сложно, как кажется. Мы рекомендуем производить резервное копирование вашего аппарата еженедельно — тем более, что для этого не потребуется много времени.

Разбиваем резервное копирование телефона на части

Давайте для начала решим, что будем резервировать. Это отнюдь не праздный вопрос — ведь от того, какой тип резервирования вы выберете, будет зависеть то, насколько быстро в случае проблем вы сможете вернуть назад функционал вашего мобильника.

Очевидно, что наиболее ценными данными являются данные приложений (явки, пароли, настройки), контакты, заметки и переписка. Вслед за ними — медиаданные (фотографии и видео). Последний уровень ценности — музыка и другой развлекательный контент. Все остальное принципиальной ценности обычно не имеет.

Таким образом, первое, что следует резервировать — это данные приложений, контакты, переписку. Затем — фотографии, видео. И, наконец, в последнюю очередь (если нужно) — музыку.

Лайфхак: резервируем фотографии в облако. Все, бесплатно и навсегда

Очевидно, что фотографии и видеофайлы — это самый «тяжелый» кусок данных телефона. И их резервирование будет занимать массу времени. Но есть красивое и легкое решение: Яднекс Диск для мобильного телефона.

Установив Яндекс Диск (это можно сделать из Google Play Market если у вас телефон под управлением Android или из App Store если у вас iPhone или iPad), достаточно войти в ваш Яндекс-аккаунт (если у вас такого нет, то его можно создать в процессе открытия приложения) и разрешить автозагрузку фотографий и видеофайлов в облако. Все. Процесс загрузки файлов в облако начнется незамедлительно, и через некоторое время (в зависимости от того, как много данных такого типа хранится в вашем телефоне на момент включения этой опции) все ваши фото и видео будут закачаны на Яндекс Диск. Все, что вам нужно, чтобы не потерять к ним доступ — помнить логин и пароль от этого сервиса.

Автозагрузка фото и видео на Яндекс Диск хороша еще и тем, что сервис делает это автоматически. Как только вы отсняли новый материал, и условия сети позволяют залить файлы в облако (возможно две опции — заливать только по Wi-Fi, или использовать любую сеть), они будут туда залиты. Потерять при этом фото довольно проблематично.

Кроме того, Яндекс обещает безлимитное хранение фото и видео в своем облаке. То есть вы можете не думать о том, сколько там еще места осталось в вашем облаке.

Не бойтесь подключать на один аккаунт Яндекс Диска несколько устройств. Фотографии будут закачиваться в облако со всех телефонов.

Резервирование Apple iPhone: так просто, как это может быть

Резервирование Apple iPhone — очень простая операция. Для того, чтобы полностью зарезервировать ваш телефон, вам понадобятся три вещи: сам телефон, компьютер и кабель для соединения телефона с компьютером.

Установите на компьютер программу Apple iTunes. Скачать ее можно с сайта apple.com. После этого подключите ваш iPhone (или iPad) через кабель к компьютеру. Телефон распознается автоматически; скорее всего, он потребует разрешить или запретить доверять компьютеру. Выберите «Доверять». После этого телефон будет открыт в программе iTunes. Подождите некоторое время, пока программа загрузит с телефона всю необходимую информацию. После этого в верхней левой части программы, около значка «Музыка», появится пиктограмма вашего телефона. Нажмите на нее, и откроется меню управления аппаратом. Выберите «Обзор»; тут и находятся волшебные кнопки управления резервированием. Выберите то, что вам удобнее (я обычно создаю локальную копию, это быстрее; не забудьте выбрать и галочку о шифровании локальной копии), а затем нажмите кнопку «Создать копию сейчас». Процесс резервирования займет некоторое время.

Вернуть телефон к состоянию, на которое сделана резервная копия, можно с помощью кнопки выше — «Восстановить iPhone».

Apple iTunes. Меню управления резервным копированием

Резервирование телефона под управлением Android: используем встроенные инструменты

Для того, чтобы создать резервную копию телефона под управлением Android, также не требуется никакой особой подготовки. В подавляющем большинстве случаев достаточно встроенных в операционную систему инструментов.

Инструменты резервного копирования в телефонах под управлением Android всегда расположены в блоках меню личных данных. Возможно два типа резервного копирования: в облако (на сервера Google) и на внешний носитель (в версиях Android начиная с 6.0; для асти телефонов может быть реализовано в более ранних версиях; в некоторых телефонах может быть не реализовано).

При копировании в облако восстановление телефона возможно только при его инициализации: когда вы введете установочные данные вашего Google-аккаунта, система просканирует его на предмет наличия резервных копий и, в случае их обнаружения, предложит восстановление из резерва. В отличие от этого, восстановление из локальной копии возможно в любое время.

Заключение. Пара советов и пара выводов

Как видите, резервирование мобильного телефона — задача вполне посильная даже для неискушенного в компьютерных делах пользователя. Выводы из этой статьи чрезвычайно просты: выполнение резервирования телефона целиком (а не отдельных его частей) наверняка гарантирует отсутствие головной боли при восстановлении доступа к вашим аккаунтам, переписке, контактам и т.п. в случае непредвиденной утери аппарата или данных с него; сама процедура резервного копирования телефона что в облако, что на локальный компьютер или карту памяти настолько удобны и просты, что пренебрегать этим нелогично и неправильно.

Ну и пара советов.

Совет 1. Как определить, когда требуется зарезервировать ваш телефон? Тут все просто. Когда объем критичных для вас данных после последнего резервирования уже таков, что потеря этих данных окажется невосполнимой. Можно поступить просто и настроить периодичные резервирования — скажем, один раз в неделю. В этом случае, если резервирование происходит в облако, вы даже о нем не узнаете.

Совет 2. Периодически проверять, производятся ли резервирования. Доверять автоматике полностью не стоит: если в системе случился какой-то сбой, то резервирования в автоматическом режиме могут и прекратиться.

SMR. Просто о сложном

Типичный представитель дисков с технологией SMR — Seagate Mobile HDD

Вместо предисловия

Когда-то давно (относительно, конечно) в индустрии производства накопителей на жестких магнитных дисках настал переломный момент: для того, чтобы увеличить емкость выпускаемых дисков, производители перешли от параллельной магнитной записи к записи перпендикулярной. Технология появилась 12 лет назад и ее единственной задачей было продлить век жесткого диска, сделать его конкурентноспособным за счет увеличения емкости и уменьшения цены. Надо сказать, что с задачей технология справилась на славу: емкость жестких дисков за эти годы выросла почти в 10 раз, а цена упала до смешного: за 1 Тбайт дискового пространства нынче просят меньше 50 долларов США.

Однако и технологии NAND, на которых строятся твердотельные диски, не стояли на месте. Появились ёмкие SSD (100 Тбайт) с очень высокой производительностью. Жесткие диски оказались позади аж по целым двум показателям: по емкости (потолок того, что можно сейчас купить на рынке — 18 Тбайт; производители обещают в скором времени диски емкостью 20 Тбайт, но по сравнению со 100 Тбайт это звучит, мягко говоря, не очень оптимистично) и по производительности (современный жесткий диск ограничен пропускной способностью интерфейса SATA или SAS, тогда как твердотельные диски последних поколений работают на скоростях шины PCI Express).

Единственный (и, надо сказать, пока еще определяющий выбор покупателя) плюс жестких дисков — их цена. Накопитель HDD на 1 Тбайт стоит в 3 — 5 раз дешевле твердотельного диска той же емкости, ну а повышение емкости SSD кратно одному Тбайту повышает его цену в некоторых случаях на порядок.

За то время, что развивалась технология перпендикулярной записи, ее возможности были практически исчерпаны, и перед производителем встала новая задача: как продолжать наращивать емкость? Для этого существует три пути: уменьшить толщину магнитных пластин и, как следствие, сделать возможным установить их в гермоблок жесткого диска больше (при этом по очевидным причинам страдает надежность); уменьшить величину записываемого участка (увеличить плотность на треке) и сделать возможным записать больше данных на трек (развиваются две технологии — MAMR и HAMR); изменить метод записи для более плотного расположения непосредственно треков. Вот об этом, последнем, пути увеличения емкости мы и поговорим.

Производители ведут разработки, естественно, во всех направлениях. Одним из революционных изобретений последних лет стала технология SMR — Shingled Magnetic Recording, черепичная магнитная запись. Про нее эта статья.

Что такое SMR

Черепичная запись — принцип организации записи треков так, чтобы они частично перекрывались. Соответственно, упаковка треков в этом случае максимальная — фактически они лежат так плотно, что головка чтения-записи уже не может работать с каким-то одним треком, ей приходится работать сразу с несколькими. Это заметно увеличивает скорость чтения и записи (пишем-то сразу несколько треков, как и читаем), но только в том случае, если запись или чтение производится последовательно. Если нам нужно работать с большим количеством мелких файлов, а тем более — начать перезапись данных внутри уже имеющихся (например, удалить один маленький файл и записать на его место другой), скорость записи и чтения может проваливаться всерьез и надолго — вплоть до значений, близких к единичным IOPS на несколько минут.

Схема упаковки треков при PMR-записи
Схема упаковки треков при SMR-записи

На рисунках выше мы показали разницу между PMR (причем не важно, параллельной или перпендикулярной) и SMR записью.

Как видим, писать-читать SMR-головки могут только порциями треков, причем довольно солидными, на ширину головки. Эти порции треков называются лентами (ленты могут быть и шире однократного прохода головки, но всегда кратны ему). Если старый добрый жесткий диск с PMR-записью оперировал треками, то новый, с записью SMR, оперирует уже лентами (хотя треками, естественно, оперировать он тоже умеет — но об этом ниже).

Как работает SMR-диск

Давайте представим, как это работает. Пользователь решил записать на SMR-диск какой-то файл. Система передала его на интерфейс, из которого он загрузился в буфер диска. Здесь уже логика жесткого диска определила, на какую ленту (или на какие ленты) этот файл положить. Если лента до этого была пустая — прекрасно, значит просто кладем туда данные, и дело в шляпе. А вот если там уже что-то лежало, то диску предстоит целый набор нетривиальных действий: считать то, что уже лежит на ленте; загрузить считанное в буфер; объединить с тем, что добавляется на ленту; положить весь кусок (старое и новое) туда, куда требуется. Если же укладываются не последовательно большие порции данных, то процесс может реально занимать немало времени — именно поэтому у SMR-дисков большой объем буферного ОЗУ. Хоть как-то процесс ускорить.

При последовательной записи картина обратная. На скриншоте ниже показана запись 2 Тбайт данных на SMR-диск с интерфейсом USB 3.0 производства Western Digital емкостью 4 Тбайт. Как видим, скорость весьма приличная, хотя и не максимальная. Если бы пересылались большие файлы (в нашем примере идет передача огромного количества фотографий), скорость записи была бы еще больше.

Копирование 2 ТБайт данных на внешний накопитель (SMR, 4 Tбайт, Western Digital) с интерфейсом USB 3.0

Возникает вопрос: а как тогда работает такой диск, если требуется многократная перезапись небольших файлов в разных местах диска, ведь получается, что диску предстоит перелопатить кучу лент и это, естественно, займет немало времени?

Да, это сложная задача, с которой программисты прошивок SMR-дисков постарались справиться двумя способами. Первый — это наличие у диска стандартных PMR-областей, а второй — введение в микропрограмму фоновых процессов реорганизации лент, сходных с обычной дефрагментацией (собственно, в микропрограмме она так и называется — фоновая дефрагментация).

PMR-области используются в тех случаях, когда буферное ОЗУ переполняется, и требуется быстро освободить его под новые очереди задач; также эти области используются для процессов фоновой дефрагментации.

Фоновая дефрагментация: корень всех зол или благо?

Теперь немного подробнее о самой дефрагментации. В те моменты, когда SMR-диск не имеет задач от операционной системы, микропрограмма автоматически запускает процессы реорганизации лент. Диск сканирует ленты, определяет, где данные следует перенести для оптимизации скорости чтения, и производит перенос: считывается вся лента (или несколько лент), выкладывается в буфер (и дублируется на другой части диска, в SMR- или PMR-области), затем данные переставляются в нужном порядке, лишнее удаляется, и лента (или ленты) кладется обратно. И так в цикле, пока не будет реорганизован весь массив данных.

Соответственно, чем больше на диске данных (и чем больше их было записано недавно и, соответственно, беспорядочно), тем больше диску требуется времени на фоновую дефрагментацию. Поскольку довольно часто сейчас SMR-диски используются во внешних накопителях, может возникнуть ситуация, когда ваш внешний диск начинает жутко «тормозить». Если при этом он не издает посторонних звуков, не был замечен в падениях или ударах и является относительно свежекупленным, мы рекомендуем подождать. Почти наверняка в нем идут фоновые процессы реорганизации информации, и через некоторое время диск завершит их и перейдет в нормальный режим работы. Если же вы будете пытаться в это время записать в него новые данные, то это просто приведет к значительной потере времени: данные вы, конечно, запишете. Но заметно дольше, чем могли бы.

Логика работы SMR-дисков. Двойной транслятор, шифрование и TRIM

Логика SMR-диска устроена по-другому, не как PMR-диск. Если в стандартных PMR-дисках имеется только одна система трансляции (физическая адресация сектор — трек — головка в логическую адресацию LBA), то у SMR-дисков систем трансляции две. Это классический транслятор «сектор — трек -головка в LBA» и новый транслятор «сектор — трек — головка в ленте», причем оба этих транслятора взаимосвязаны. Потеря любого из них приведет к полной потере данных (на этом, кстати, построены технологии «быстрого стирания» SMR-дисков — обнуляем один из трансляторов и все, данных нет). Восстановление будет возможно лишь в том случае, если получится восстановить утерянный транслятор. Это уже задача для компаний по восстановлению информации, на текущий момент — достаточно сложная и дорогостоящая.

Кроме того, не стоит забывать и про шифрование. Оно уже давно и прочно обосновалось в устройствах хранения информации — ну а в SMR-дисках его использование время от времени преподносит пользователям своеобразные и далеко не всегда приятные сюрпризы.

Третья особенность SMR-дисков — TRIM. Гораздо проще и быстрее не перестраивать структуру лент, если это не требуется, а менять транслятор: удалили данные — ленты помечаются как пустые, и, соответственно, при запросе данных возвращают заполненные нулями сектора. Это, с одной стороны, удобно. А с другой — даже простой логический заказ (удаленные данные) после отработки TRIM может оказаться уже сложным, с необходимостью поднимать транслятор диска и извлекать данные из помеченных как очищенные лент. Поэтому прежде чем удалять информацию с SMR-диска — убедитесь, что эти данные вам больше не нужны. Иначе можно серьезно пострадать.

И как все это использовать?

Вполне закономерный вопрос, между прочим. Если вы дочитали до этого места, то уже поняли: SMR-диски очевидно лучше использовать под определенные задачи — по крайней мере, пока технология не обкатается и не будут решены описанные выше сложности. Ведь не спроста производители вдруг начали делить диски по типу использования: Survellance (для систем видеонаблюдения, то есть — для непрерывной потоковой записи), NAS (для дисковых массивов, то есть — для постоянной случайной записи и чтения), Gaming (для игр, то есть — для быстрого чтения больших объемов данных и предчтения их в буфер), Computing (для обычных персональных компьютеров, то есть — для стандартного повседневного использования).

Выбирая диск, обращайте внимание на его назначение, и покупайте именно такой, который максимально отвечает планируемому его использованию. Микропрограммы и физическая организация дисков могут оказаться (и обычно оказываются) оптимизированы под целевое использование, и диск для систем видеонаблюдения может оказаться совсем не подходящим для использования в бытовом компьютере.

В целом можно констатировать, что на текущий момент наиболее оптимально использовать SMR-диски в задачах, где производится последовательная запись и стирание данных — особенно больших объемов. С такими задачами в силу механизмов функционирования эти диски будут справляться намного лучше и быстрее PMR-дисков. Например, диски в системах видеонаблюдения, архивирования данных (системы резервного копирования, которые записывают резервную копию в виде одного файла), внешние накопители для хранения информации, и т.п. SMR-диски нежелательно использовать под установку операционной системы, под работу ПО (особенно, связанную с многочисленными постоянными переносами данных — например, в системах видеомонтажа или верстки документов типографского качества) и пр. Для этих задач мы рекомендуем или SSD, или HDD в традиционном PMR-исполнении.

SSD. Время перемен. Часть 2. Модернизируем ноутбук

В первой части этой статьи мы поговорили о том, какими положительными и отрицательными качествами обладают твердотельные диски, и пришли к выводу, что эти диски, не смотря на все еще относительно высокую цену, являются достойной заменой жестким дискам.

Во второй части этой статьи мы предлагаем конкретные примеры модернизации компьютеров с использованием SSD. Это наш личный опыт, поэтому рекомендации не являются голым теоретизированием, а подкреплены практикой.

Итак, поехали.

Lenovo B570e

Ноутбук, скажем так, далеко не первой свежести. Исходная конфигурация: HDD 1 TB Hitachi, ОЗУ 2 Гбайт DDR3, процессор Core i3-2350M 2,3 GHz; видеоподсистема представлена двумя графическими ядрами: встроенное в чипсет Intel HM65, а также «внешняя» видеокарта NVidia N12M (1 Гбайт памяти). Возраст устройства: около 10 лет.

Как мы можем видеть из приведенной конфигурации, у этого мобильного компьютера имеется три слабых места: процессор, ОЗУ и жесткий диск. Предустановленная операционная система (Windows 7 Home) в оригинальной конфигурации загружается 44 секунды. Для открытия ресурсоемкого приложения Adobe Photoshop CC требуется 32 секунды. Компьютер можно охарактеризовать одним словом: тормоз.

Lenovo B570E: заменяемые узлы

C учетом того, что материнская плата ноутбука не поддерживает процессоры старше Core i5-2520, не сильно отличающийся от установленного Core i3-2350 (фактически отличия лишь в том, что процессор пятого поколения может быть сильнее разогнан, чем процессор третьего; ну и, естественно, другой производственный процесс), модернизировать процессор не требуется.

Таким образом, требуется замена жесткого диска на твердотельный и наращивание ОЗУ. Владелец ноутбука очень требователен к количеству свободного места на своих дисках — твердотельный диск необходимой емкости превышает по стоимости сам ноутбук, поэтому в дисковую подсистему было принято решение добавить дополнительный жесткий диск, подключенный вместо оптического привода.

Модули памяти для ноутбука Lenovo B570e, общий объем 16 Гбайт

Итак, что у нас получилось. Вместо модуля памяти SODIMM DDR3 2 GB было установлено 2 модуля памяти SODIMM DDR3 8 GB, суммарный объем ОЗУ увеличен с 2 Гбайт до 16. Стоимость двух модулей памяти составила 60 долларов США.

Вместо жесткого диска HDD Hitachi 1 TB был установлен SSD ADATA SU-800 емкостью 512 Гбайт; вместо оптиеского привода был установлен second caddy, в который смонтирован жесткий диск Seagate Mobile HDD емкостью 2 Тбайт. Суммарная емкость дисковой подсистемы увеличена с 1 Тбайт до 2,5 Тбайт. Стоимость составила: SSD — 65 долларов США, second caddy — 9 долларов США, HDD — 80 долларов США. Итоговая сумма, потребовавшаяся на модернизацию устройства: 214 долларов США.

Second caddy и диск Seagate Mobile HDD 2 TB, установленные в ноутбук Lenovo B570e.

Довольно солидная сумма, но то мы в итоге получили?

Загрузка операционной системы Windows 7 Home: 5 секунд (против 44 в исходной конфигурации). Загрузка ПО Adobe Photoshop CC: 3 секунды (против 32 в исходной конфигурации). Прирост производительности, как мы видим, примерно в 10 (ДЕСЯТЬ!!!) раз.

Стоит ли такой прирост производительности этих расходов? Бесспорно. Работа без тормозов на этом ноутбуке теперь совершенно точно обеспечена.

HP Pavilion 15-e057sr

Также, как и предыдущий пример — довольно старый ноутбук, произведен в 2015 году. Конфигурация несколько лучше, чем у предыдущего: HDD 1 TB Samsung, ОЗУ 6 Гбайт DDR3, процессор Core i5-3230M 2,6 GHz; видеоподсистема представлена двумя графическими ядрами: встроенное в чипсет Intel HM76, а также «внешняя» видеокарта AMD Radeon HD 8670M (1 Гбайт памяти).

Очевидно, что с процессором в данном устройстве пока еще все более-менее хорошо; объем ОЗУ также вполне удовлетворительный. Однако скорость загрузки операционной системы (Windows 8.1 x64 Professional) составляет 29 секунд, а скорость запуска приложения Adobe Photoshop CC — 20 секунд. Результаты намного лучше, чем в исходной конфигурации предыдущего устройства, однако, как мы понимаем, могут быть заметно улучшены.

Модернизируемые узлы ноутбука HP Pavilion 15-e57sr

Принято решение модернизировать объем ОЗУ (в этом ноутбуке ОЗУ организовано в виде двух слотов SODIMM DDR3; в заводской конфигурации поставляется с двумя предустановленными планками SODIMM: 4 GB и 2 GB). Вместо планки на 2 Гбайт мы установим планку 4 Гбайт. Большого прироста производительности это не даст, но все же…

Жесткий диск будет меняться на SSD Samsung 850 EVO емкостью 256 Гбайт. Для устройства не требуется большой объем дискового пространства, поэтому данный объем является оптимальным и для функционирования операционной системы и установленных приложений, и для хранения некоторого объема необходимых данных (после установки ОС и ПО на диске остается не менее 150 Гбайт свободного места, которое можно использовать).

Модули SODIMM DDR3 для ноутбука HP Pavilion 15-e057sr

Итоговая сумма за модернизацию: SODIMM DDR3 4 GB — 30 долларов США, SSD — 70 долларов США; вся модернизация обошлась в 100 долларов США. Насколько мы выиграли при этом в производительности?

Загрузка операционной системы — 5 секунд. Загрузка ПО Adobe Photoshop CC — 3 секунды. Среднее увеличение производительности относительно исходной конфигурации минимум в 5 раз — солидный показатель, не так ли? За 100 долларов США получить компьютер в 5 раз быстрее старого — это более чем приятно.

Выводы

Очевидно, что самый главный вывод из этого материала будет очень простым: замена НЖМД на SSD в мобильном компьютере приводит к увеличению его производительности в разы, а если заменить не только жесткий диск, но еще и нарастить ОЗУ, то производительность может увеличиться на порядок.

Очевидно, что такой прирост производительности стоит всех вложенных в него денег до последнего цента.

Второй вывод: настало время для модернизаций. Стоимость SSD заметно снизилась, и теперь ваше до этого довольно медлительное устройство на жестком диске может обрести высокую скорость работы, при этом объем инвестиций не будет критически большим.

Рекомендации

Для того, чтобы провести модернизацию вашего ноутбука, вам нужно знать его характеристики: какой тип накопителя в нем установлен, поддерживает ли BIOS компьютера интерфейс AHCI (одна из важнейших характеристик интерфейса AHCI — MultiQueue, или многопоточная очередь задач, позволяющая использовать SSD в несколько потоков — за счет чего, собственно, и увеличивается производительность), какая в нем стоит ОЗУ, и пр. Если вы не уверены в том, что обладаете корректной информацией — вы всегда можете уточнить ее на сайте производителя или позвонить нам для бесплатной консультации.

Как вы уже поняли, для того, чтобы SSD функционировал на полную мощность, AHCI должен быть включен. Это легко можно сделать в BIOS устройства.

Наконец, последняя рекомендация. Если вы держите на своем ноутбуке важную информацию, приобретите внешний накопитель для резервного копирования или настройте облако (с теми же целями). А в идеале пусть у вас будет и то, и другое.

Следите за новостями — скоро будет опубликована третья часть этой статьи, в которой мы расскажем о том, как модернизировать настольный компьютер.

SSD. Время перемен. Часть 1. Преимущества и недостатки

Чуть больше 10 лет назад, когда первые твердотельные диски (SSD: solid state drive) появились в массовом использовании (сначала в 2007 году в нетбуке Asus EEE PC-701, а затем в 2008 году корейская компания Mtron Storage Technology выпускает SSD уже как отдельное устройство), им прочили великое будущее. И, как мы можем видеть сейчас, не ошиблись.

Преимущества SSD

Как устройства хранения информации (или, по классической схеме компьютера фон Неймана, запоминающее устройство (память)), твердотельные диски обладают перед жесткими дисками (HDD — hard disk drive) рядом преимуществ, а именно: высокая производительность, высокая устойчивость к физическим воздействиям, бесшумность, низкое энергопотребление и, соответственно, небольшой нагрев во время работы.

Высокая производительность.

Узкое место любого жесткого диска — система считывания и записи информации. Это головка чтения-записи. Увеличение производительности этой подсистемы возможно тремя способами: уменьшение времени поиска (или времени позиционирования на треке/секторе) программными и аппаратными средствами; увеличение скорости вращения шпиндельного двигателя для уменьшения времени поиска; установка нескольких независимых актуаторов для того, чтобы в процессе поиска данных участвовала не одна, а несколько головок. Первые два способа повышения производительности жесткого диска фактически исчерпаны, третий — пока находится на стадии разработок и тестирования; хотя он был анонсирован довольно давно, коммерческих моделей жестких дисков с двойным актуатором в продаже пока не появилось.

Таким образом, производительность жесткого диска ограничена пропускной способностью и производительностью головок чтения-записи, практически уже достигшей предела.

Твердотельные диски, в отличие от жестких, не имеют таких ограничений. Доступ к данным может быть организован (и организуется) в несколько независимых потоков. Фактически для SSD в SATA-исполнении верхней границей производительности является максимальная пропускная способность SATA-интерфейса (для SATA-3 это 6000 Mbit/s), для SSD, подключаемых на шину PCI Express — это максимальная пропускная способность PCIe (для наиболее распространенного на текущий момент PCIe x4 — 7,88 Гбайт/с; для наиболее быстрого на данный момент PCIe x16 — 63 Гбайт/с). Это совершенно фантастчиеские цифры для дисковой подсистемы.

Высокая устойчивость к физическим воздействиям

Жесткие диски — достаточно хрупкие устройства. Очень часто достаточно небольшого физического воздействия (легкий удар, падение с небольшой высоты и т.п.), чтобы жесткий диск перестал нормально функционировать. Более того — в результате такого воздействия можно полностью потерять доступ к данным, довольно часто — необратимо. Причина — выход из строя магнитных головок и/или повреждение поверхности. Продаваемые сейчас в массе внешние жесткие диски на базе 2.5-дюймовых НЖМД, хотя и позиционируются как противоударные, также не лишены этого недостатка.

Твердотельный диск, поскольку не имеет в своей конструкции движущихся частей, может выдерживать серьезные физические воздействия. Это послужило основанием для того, чтобы заменить в «черных ящиках» самолетов магнитную ленту или проволоку на SSD-диски. Таким образом, твердотельному диску не страшно то, что может полностью уничтожить жесткий диск. В целом, физическая устойчивость твердотельного диска практически полностью зависит от его корпуса: чем крепче корпус, тем более устойчив диск.

Бесшумность

В твердотельном накопителе, в отличие от жесткого диска, нет движущихся частей — следовательно, нечему издавать звуки. В отличие от традиционных жестких дисков, SSD работают абсолютно бесшумно.

Наиболее важным это свойство видится нам в ключе построения систем хранения данных (дисковых массивов и data-серверов). Если современный дисковый массив на базе SAS-накопителей производит много шума (шумят вентиляторы охлаждения и сами диски), то такой же массив на базе SSD будет намного тише, так как шум будет производить только система охлаждения.

Низкое энергопотребление

Жесткие диски для настольных ПК (даже произведенные в последние годы) имеют довольно высокие показатели энергопотребления: в зависимости от режима работы и того, куда они установлены, они могут потреблять до 25 — 30 Ватт электроэнергии. Диски для портативных компьютеров потребляют ощутимо меньше, но все же их среднее энергопотребление составляет 4 — 5 Ватт.

Твердотельные диски в этом плане намного выгоднее — их энергоэффективность минимум в 3 раза лучше, чем у НЖМД форм-фактора 2.5′, и примерно в 15 раз лучше, чем у 3,5′ дисков.

Низкие значения нагрева во время работы

Очевидно, что при низком энергопотреблении уменьшается и тепловыделение, а, следовательно, и нагрев. Это особенно важно в замкнутых системах (портативных компьютерах, планшетах, трансформерах и пр.). Нагрев — это бессмысленное рассеивание энергии, соответственно, чем он меньше, тем более энергоэффективным является устройство.

Недостатки SSD

К сожалению, устройств без недостатков не бывает. Не лишены недостатков и твердотельные диски. Это: относительно высокая цена и ограниченный ресурс.

Цена SSD

За то время, что твердотельные накопители эволюционировали, их стоимость, естественно, падала — и продолжает падать до сих пор. В некоторых случаях стоимость SSD уже всего лишь в 2 раза выше стоимостью HDD той же емкости. Например, SSD Crucial емкостью 480 Гбайт стоит в среднем 55 долларов США; жесткий диск аналогичной емкости стоит около 30 долларов США. SSD некоторых производителей (SmartBuy, KingSpec и пр.) могут стоить почти столько же, сколько и жесткий диск аналогичной емкости (однако они заметно проигрывают в производительности и надежности более известным брэндам).

Между тем не стоит сравнивать жесткие диски с твердотельными из нижнего ценового диапазона, так как в нем находятся не самые надежные и производительные устройства. Давайте сравним жесткие диски известного производителя (например, Western Digital) и твердотельные диски известного бренда (скажем, Samsung).

Стоимость жесткого диска WD Slim емкостью 500 Гбайт составляет 35 долларов США, диск для настольного компьютера WD Survellance емкостью 1 Тбайт стоит 42 доллара США. SSD Samsung аналогичной емкости будут стоить 120 и 200 долларов США соответственно — то есть примерно в 4 — 5 раз дороже. Согласитесь, это серьезный недостаток.

Ресурс твердотельного диска

Это, пожалуй, основной недостаток SSD, не позволяющий на текущий момент безоговорочно доверять этим устройствам.

Как известно, существует определенное значение циклов перезаписи, на которое рассчитан твердотельный диск. Для современной MLC-памяти это значение в среднем составляет 3000. В грубейшем приближении это означает, что мы можем полностью переписать SSD 3 тысячи раз, после чего его ресурс будет выработан. На практике все намного сложнее, и диск выходит из строя раньше окончания этого цикла. Проблема в том, что операционная система использует часть пространства диска весьма интенсивно — например, ядро ОС, файл подкачки, сброшенные на диск части буферной памяти и пр. Это приводит к критическому износу небольшой части поверхности. Пока у диска есть резервные сектора, это не страшно, однако после их окончания диск начинает, что называется, «сыпаться», и в итоге выходит из строя.

Не будем голословными, а обратимся к исследованиям серьезных организаций.

Компания Google совместно с университетом Торонто провели исследование используемых в их серверах SSD и пришли к выводу, что чем старше твердотельный диск, тем больше он содержит ошибок. Вывод вполне естественный: с возрастом изнашивается любое устройство, причем для части из них совсем не обязательно при этом работать (например, от долгого стояния приходят в негодность резиновые части автомобиля).

Гораздо более интересным в этом ключе выглядит исследование журнала Tech Report о том, насколько в действительности хватает ресурса SSD на прямую перезапись данных. Журналом были выбраны диски только известных брендов, и заголовок статьи, в которой опубликовано исследование, говорит сам за себя: They’re all dead (они все мертвы). Тестировались диски емкостью 250 Гбайт, только половина из которых выдержала запись 1000 терабайт данных; другая половина вышла из строя при записи от 700 до 900 Тбайт. Может показаться, что это огромные цифры, однако только в процессе работы со swap-файлом операционная система ежедневно переписывает гигабайты (а в случае с компьютерными играми — десятки и даже сотни гигабайт) данных — из этого и складывается износ.

Выводы из первой части

Какие следует сделать выводы из всего, сказанного выше?

Первый, и самый главный, вывод: технический прогресс идет вперед, и очень скоро стоимость твердотельного диска сравняется со стоимостью жесткого. Я помню времена примерно 10 лет назад, когда SSD OCZ на 256 Гбайт стоил 750 евро; сейчас даже Samsung такой же емкости стоит уже 60 — 70 долларов, то есть цена за 10 лет упала более чем в 10 раз. Это хорошая тенденция, настраивающая на то, что пора подумать о постоянном использовании твердотельных накопителей.

Второй вывод: не смотря на все минусы, твердотельные диски выгодно отличает высокая производительность, низкое энергопотребление и теплоотдача. Кроме того, эти диски устойчивы к физическим воздействиям.

Ну и вывод третий. Во второй части этой статьи я расскажу вам, как организовать использование твердотельного диска в вашем компьютере и обезопасить себя от потенциальной потери данных.

Новые горизонты SED: еще более жесткая привязка шифрования и электроники HDD

В 2007 г. корпорацией Seagate были представлены Self Encrypting Drives (самошифрующиеся диски). Позже эта технология была имплементирована и в диски других производителей (Western Digital, Toshiba, HGST и т.п.). Большинство твердотельных накопителей (если не все) также являются самошифрующимися.

Суть технологии достаточно проста. В схему обработки данных устройства встраивается аппаратный модуль шифрования, отвечающий за зашифровывание и расшифровывание данных на лету. В качестве стандарта шифрования используется AES c длиной ключа 128 или 256 бит.

Основной функцией SED является моментальное стирание диска по команде извне. Если для стирания данных ранее требовалось записать в каждый сектор определенные данные, то теперь достаточно просто изменить ключ шифрования. Данные, которые были на диске, уже не получится прочитать, ведь они будут аппаратно дешифровываться жестким диском уже с новым ключем. Соответственно, на выходе будут получаться не работающие файлы, а бессмысленный набор байт.

Казалось бы, вот она — надежная схема! Открытый ключ лежит на поверхности диска, но он зашифрован. В открытом виде он появляется только в аппаратной части диска (в той самой шифрующей микросхеме) — следовательно, его невозможно ни перехватить, ни подсмотреть. Однако, как оказалось, это не так.

Сначала компания АСЕ Lab, а потом и другие компании, выпускающие ПО и ПАК для восстановления данных, научились вытаскивать ключи шифрования из служебной или пользовательской зон жесткого диска. SED-шифрование накопителей Western Digital и Seagate перестало быть трудной задачей восстановления информации.

Тогда производители жестких дисков пошли дальше. Они заблокировали доступ к служебной области, где хранятся ключи шифрования. Некоторое время извлечение данных с таких накопителей представляло проблему — но, в итоге, и это было решено, и решение появилось в продуктах для восстановления информации.

Заметим, что до текущего года данные с самошифруемых дисков можно было восстановить и с использованием чужой (донорской) платы электроники. Скажем, часто для дисков, имеющих распаянный на плате электроники USB-разъем, подбиралась совместимая SATA-плата.

Очевидно, что производители HDD не могли мириться с тем, что их технология SED, позиционировавшаяся как очень надежная (АНБ США даже признало AES с длиной ключа 128 — 256 бит достаточной для защиты государственной тайны уровней secret и top secret). И вот этот момент, наконец, наступил.

Примерно с середины 2019 года жесткие диски, поддерживающие технологию SED (а это подавляющее большинство выпускаемых на рынок моделей), перешли на принципиально новый алгоритм обработки шифрования. Теперь ключ шифрования не будет работать на сторонней плате электроники. Ключи шифрования, что называется, намертво прибиваются гвоздями к уникальному ID микроконтроллера — без него расшифровать диск просто не получится, даже если удастся как-то достать ключи.

Это означает, что если у вас диск, произведенный с 2019 г., у которого активирована и работает функция самошифрования, выходит из строя, то восстановление с него информации будет возможно тогда и только тогда, когда сохранена его оригинальная плата электроники. Поставить «чужую» плату пока еще возможно — но лишь для того, чтобы получить доступ в служебную зону. Доступ к пользовательским данным может обеспечить только «родная» плата электроники — родной микроконтроллер. Если он по каким-либо причинам сгорел — данные на современном этапе развития технологий восстановления информации, увы, уже не восстановить.

Возможно, что в будущем будет решена и эта проблема — и скорее всего, так и будет. Однако сложность задачи очень высокая, и когда появится такое решение — никому неизвестно.

Поэтому мы дадим вам два простых совета.

  1. Старайтесь запитывать ваш жесткий диск максимально аккуратно, чтобы не произошел электрический шок устройства.
  2. Если ваш диск по каким-либо причинам вышел из строя, обращайтесь только к профессиональным специалистам, которые знают, что делать с самошифрующимися дисками нового поколения.

ST500LM030: восстановить данные с жесткого диска

Задача. Восстановить данные с жесткого диска ST500LM030.

Описание проблемы. Накопитель не определяется, при подключении к компьютеру издает щелкающие звуки.

Результаты диагностики. Диагностика проведена с использованием ламинарного шкафа класса 100. Выявлена неисправность блока магнитных головок

Необходимые для восстановления информации процедуры.

  1. Подбор и адаптация донорского устройства.
  2. Подготовка пациента к запуску в технологическом режиме.
  3. Замена блока магнитных головок.
  4. Запуск накопителя в технологическом режиме.
  5. Создание посекторной копии диска-пациента.
  6. Извлечение пользовательских данных из полученного образа.

Результат.

Данные восстановлены полностью.

Особенности заказа.

В целом накопители семейства Rosewood, к которому относится наш пациент, обычно бывают более высоких емкостей: 1 и 2 Тбайт. Диски емкостью 500 Гбайт начали поступать в работу относительно недавно; очевидно, эти диски являются результатом работы маркетологов компании Seagate: спрос на накопители емкостью 500 Гбайт достаточно велик, и терять эту нишу, очевидно, корпорация не намерена.



Мы принимаем к оплате | We accept payments


Мы стажировались и работали в странах | We worked or practiced in following countries