Вирусы-шифровальщики: как избежать потерь, и что делать, если ваши файлы зашифрованы?

Каждый третий звонок, который мы получаем, касается вирусов-шифровальщиков. Пользователь обнаруживает потерю данных слишком поздно, когда данные уже зашифрованы, и обращается к нам за помощью с расшифровкой. Увы, помочь мы можем не всегда. Однако, как говорится, профилактика лучше лечения – потому сегодня мы поговорим с вами о криптовирусах, как они работают, чем опасны, в каких случаях можно расшифровать данные и как обезопасить себя от их негативного воздействия.

Что такое вирус-шифровальщик?

С появлением стойких алгоритмов шифрования шифрование как услуга или опция стало весьма популярно. Зашифрованные разделы с данными (BitLocker в Windows, FileVault в Mac и пр.), зашифрованные массивы данных (к примеру, сквозное шифрование Viber или WhatsApp), зашифрованные файлы (встроенное шифрование MS Office, WinRar и пр.) – все это примеры полезного применения функции шифрования. Да что там говорить – шифруются целые устройства (к примеру, iPhone под управлением iOS выше 10 версии или внешние жесткие диски Western Digital My Passport).

Однако стойкие алгоритмы шифрования привели к появлению прослойки граждан, решивших, что шифрование файлов может принести хороший нелегальный доход. Данные пользователя шифруются без его согласия, после чего пользователю предлагается заплатить денег за расшифровку. На заре возникновения этой заразы она не была популярной, так как узким местом в ее реализации была оплата: при желании правоохранительные органы легко вычисляли злоумышленника, что влекло неотвратимое и суровое наказание. Однако развитие технологий привело к возникновению криптовалют. Отследить, кому вы сделали перевод в биткоинах, крайне сложно, а использовать виртуальные деньги очень легко, поэтому, как только криптовалюты прочно вошли в нашу жизнь, в нее также прочно вошли криптовирусы.

Вирус-шифровальщик – это зловредная программа, которая разработана с единственной целью – зашифровать ваши данные. После того, как вирус выполнит свою работу, он даст вам об этом знать: либо покажет на экране при следующем запуске системы сообщение о том, что ваши файлы зашифрованы, либо положит в корень каждой папки с зашифрованными файлами соответствующий файлик с объяснением (обычно это текстовичок с пугающим названием «FILES ARE ENCRYPTED.txt» или подобным). В принципе вы и сами поймете, что с вашими файлами что-то не так, когда попробуете открыть один из них.

Несколько слов о шифровании

История шифрования восходит корнями к античности, и ее основное применение было на протяжении многих тысячелетий связано почти исключительно с военным делом. Зашифрованные военные или разведывательные депеши заставляли ломать головы контрразведчиков многих государств – достаточно вспомнить хрестоматийную историю с немецкой шифровальной машиной «Энигма» и окружающие взлом ее кода легенды. Однако важно понимать, что до 50-х годов прошлого века все шифрование крутилось вокруг аналоговых данных, и, в силу этого, для взлома такого шифра требовалось достаточно небольшое количество попыток, или, как говорят математики, итераций. То есть фактически любой аналоговый код оказывался весьма уязвимым для расшифровки и не мог считаться абсолютно устойчивым (надежным).

Другое дело – цифровые методы шифрования. Естественно, начало этим методам положили методы аналоговые, но очень скоро разработчики компьютерных кодов поняли, что у них практически нет ограничений по объему используемых алгоритмов, ведь компьютер может производить сотни тысяч операций в секунду и оперировать громадными объемами данных. Поэтому от имитации аналоговых методов шифрования типа подмены одного символа другим (или другими в каком-то цикле), исключения символа или повторения символа в закодированной последовательности, разработчики методов шифрования быстро перешли к более надежным методам цифрового шифрования. Первым из них, и наименее стойким, оказалось простое наложение. Суть этого метода проста: на определенные данные накладываются другие данные, а взаимодействия между этими данными описывает какое-то математическое действие. Соответственно, для того, чтобы получить исходные данные, требуется определить, какое именно математическое действие произведено над ними и какое число на эти данные наложили. Имея эту информацию, вернуть данным первоначальный вид ничего не стоит.

Поясню на примере.

Скажем, у вас есть массив данных вида: 1 2 3 4 5.

Для их шифрования применяется число 1, а алгоритм шифрования – сложение. Тогда после зашифровки вы получите данные вида: 2 3 4 5 6 (1+1, 2+1, 3+1, 4+1, 5+1).

Для того, чтобы вернуть данным первоначальный вид, вы должны определить, что использовано число 1, которое складывалась с первоначальными данными. Просто отняв от текущих данных единицу, мы снова получим незашифрованные данные.

Логично, что этот метод оказался слишком простым для расшифровки, поэтому его начали модифицировать. Одна из модификаций – XOR, когда на данные накладывается битовая маска с определенным периодом (скажем, на первые 100 байт данных накладывается, затем 20 байт – нет, потом 200 байт снова да, и так в цикле), а суть наложения – получение результата логического оператора XOR в тех местах, куда маска наложена для определенного набора символов.

Вроде бы, сложно? Но на самом деле, как оказалось, нет. Тут же были написаны соответствующие программы, которые искали эти цикличности в массивах данных, и по ним расшифровывали алгоритмы наложения и математических трансформаций.

В настоящее время распространено шифрование с использованием ключа. При этом сам алгоритм шифрования для стойкости зашифровки не имеет большого значения – значение имеет только ключ. Чем он длиннее, тем больше возможных комбинаций и тем больше времени требуется на то, чтобы определить, какая именно комбинация «откроет» доступ к данным. В настоящее время ключ длины 128 бит «ломается» примерно за час, минимальная длина ключа для обеспечения достаточно стойкого шифрования составляет 1024 бит, а большинство хакеров использует в криптовирусах ключ длиной 2048 бит и больше (атакой «в лоб», простым перебором, такой ключ будет подбираться несколько миллиардов лет).

Как избежать заражения криптовирусом

Существует заблуждение, что хороший (или платный) антивирус обязательно убережет вас от воздействия шифровальщика. Увы, но это именно заблуждение. Новейшие типы вирусов-шифровальщиков легко (и это ключевое слово) преодолевают защиту даже самых современных антивирусов с наисвежайшими базами и полностью активированной защитой. Я настолько часто вижу жертв воздействия криптовирусов, имеющих официальную подписку на антивирусы известных брендов, что давно уже скептически смотрю на всю эту антивирусную «защиту».

Единственный надежный метод уберечься от шифрования ваших данных злоумышленником – не пустить вирус на ваш компьютер. И, как следует из абзаца выше, антивирус в этом может и не помочь, то есть надеяться приходится только на себя и на свое внимание.

Как криптовирус попадает на ваш компьютер

1. Наиболее распространенный способ — вы получаете электронное письмо с вложением. Это вложение и есть или собственно вирус, или программа, которая запускает его скачивание и установку на ваш компьютер. Вложение имеет вид или документа, или картинки, с двойным расширением (хотя может быть и не спрятано, а представлять собой программу сразу же). Например, это замаскированный под pdf исполняемый файл. Злоумышленник меняет иконку файла так, что он выглядит как pdf, но стоит вам его запустить, как оказывается, что это что-то другое. Файлы с двойным расширением запускать категорически нельзя, пусть даже в названии присутствует «я в купальнике на пляже» (да даже если и без купальника…). Двойное расширение – это всегда ловушка.

2. Через социальные сети и мессенджеры. Второй по степени риска путь получить зловреда. Социальные сети и мессенджеры (WhatsApp, Viber, Skype и пр.) – это огромный массив разных данных, от фотографий до документов, но наиболее опасны для пользователя переходы на внешние ссылки. По внешней ссылке вас может ожидать не только картинка приятного содержания или блок новостей, но и инсталлятор зловреда. Поэтому любые переходы по внешним ссылкам лучше делать только тогда, когда вы на 100% уверены в безопасности этого. К примеру, если вас направляют для просмотра новости по ссылке, начинающейся с www.bbc.com, то тут нет никаких проблем, и доверять сайту можно. А вот если вместо этого вы видите www.bbci.com, то идти туда не стоит. Также – если вам предлагают ссылку на один сайт, а на деле выходит ссылка на другой. Это легко проверяется: наведите на ссылку мышкой и посмотрите (в зависимости от браузера, либо над самой ссылкой, либо в нижней части окна) реальный адрес, куда она ведет. Если он совпадает с тем, что нужно – нажимайте. Если нет – лучше не рисковать, так как перед вами обман, и по адресу, куда вас на самом деле перенаправят, может не быть ничего, кроме неприятностей.

3. Через закладки на сайтах. Время от времени злоумышленники получают контроль над теми или другими Интернет-ресурсами. Времена, когда они просто развлекались, «взломав» сайт и разместив на его главной странице картинку пошлого содержания, давно прошли – теперь полученный контроль используется с максимальной выгодой. К примеру, на новостной ресурс в части ссылок размещается вредоносный код, который начинает загрузку и исполнение вируса. Однако такой способ распространения вирусов достаточно дорогостоящ, ведь сайт еще надо взломать, а это – время (которое, как известно, деньги), поэтому используется нечасто.

Есть и другие, менее распространенные и более экзотичные методы атак вирусов-шифровальщиков, однако все они так или иначе завязаны на сетевой безопасности, о которой — чуть ниже.

Как обезопасить себя от криптовирусов

Полагаю, вы уже догадались, что первое и самое главное правило безопасности – внимательность.

1) Получая электронные письма, не запускайте вложение, пока не убедились, что это именно то, что должно быть – то есть у картинки имеется расширение картинки, а у документа – документа, а не исполняемого файла.

2) Получая электронные письма со ссылками на ресурсы в сети интернет, равно как переходя по ссылкам в социальной сети или мессенджере, вначале убедитесь, что ссылка ведет вас именно туда, куда нужно, а не является замаскированной ссылкой на левый ресурс. Переходите по ссылке только тогда, когда убедились, что она безопасна.

3) Не разрешайте устанавливаться на своем компьютере никаким программам, которые разные сайты хотят у вас установить (всякие даунлоадеры и акселераторы). Такие программы обычно «поставляют» вам целый букет компьютерных заболеваний, одним из которых вполне может оказаться и шифровальщик.

Однако надеяться только на свою внимательность довольно наивно, ведь ее уровень падает в течение дня в разы, и то, что вы легко заметили бы утром, можете совершенно легко пропустить днем. Поэтому программная защита необходима.

Но как же быть, если антивирусы не имеют той степени надежности, которая нужна для вашей безопасности?

Не все антивирусы одинаково бесполезны в борьбе с шифровальщиками =). Есть несколько, которые включают так называемую «сетевую защиту», одна из функций которой – отслеживать, что скачивает ваш компьютер из сети и определять, опасно это или нет. В случае малейших подозрений такой антивирус заблокирует исполнение файла и предупредит пользователя, что в его епархию пытается проникнуть зловред (или какая-то другая программа, по поведению похожая на зловред). Правда, эти «антивирусы» называются уже по-другому – экраны сетевой защиты (или сетевые экраны), то есть формально это уже не антивирус.

К сожалению, даже такие экраны не всегда обладают нужной степенью параноидальности, и могут пропустить хорошо замаскированное вредоносное приложение. Оно запустится и произведет свое черное дело.

Как быть, чтоб избежать потерь?

Есть два простых и очень надежных решения – резервное копирование и firewall, программа, функция которой не в отслеживании и отлове вирусов и подозрительных программ, а в контроле работы программного обеспечения системы. Одним из наиболее известных продуктов на рынке таких программ является Agnitum Outpost.

Установив такую программу, отключите режим самообучения. Программа начнет запрашивать разрешения на запуск установленных в системе приложений, на те или иные акции, которые приложения выполняют в системе (изменение памяти, прослушивание портов и т.п.). Тем приложениям, которым вы доверяете, вы можете разрешить активность на постоянной основе, отметив специальную галочку – при этом при повторном запуске firewall уже не будет спрашивать, что делать с тем приложением, которому вы уже доверяете. Суть использования этой программы очень проста: она реагирует на запуск любого приложения, которое исполняется в системе. И если firewall вдруг запросит у вас разрешение на исполнение программы, о которой вы ничего не знаете, которая имеет подозрительное название или требует странные действия (например, изменить содержимое жесткого диска) – смело запрещайте любую активность этой программы.

Это единственный на текущий момент, реально работающий способ эффективно обезопасить себя от вредоносного воздействия вирусов-шифровальщиков. Собственно, и не только их. Используя firewall, вы обезопасите себя от DDoS атак, попыток взлома вашей системы извне (прослушивание портов, атака через открытый порт и т.п.), использования троянцев или майнеров (о них будут отдельные статьи) и т.п.

Что делать, если ваши файлы зашифрованы

Это самый печальный вариант развития событий. Если вы не использовали firewall, не имеете резервных копий и достаточно вольно используете Интернет – он вполне возможен. Итак, вы обнаружили, что ваши файлы зашифрованы.

Первое. Нужно определить, каким именно вирусом зашифрованы ваши данные, и есть ли для него расшифровщик. Мировое сообщество программистов довольно плотно работает над методами «раскола» криптовирусов, и, как ни странно, для многих из них есть инструменты для расшифровки. Как узнать, поддается ли расшифровке ваш случай? Заходите на страничку сообщества по борьбе с программами-вымогателями и следуйте описанным там инструкциям. Вы очень быстро узнаете, чем зашифрованы ваши файлы и есть ли против этого лекарство.

Второе. Если ваш вирус поддается расшифровке, следуйте инструкциям на указанном выше сайте. В этом случае вам повезло.

Третье. Вирус не поддается расшифровке в настоящее время. Это обычное явление для новых модификаций зловредов, которые еще не «расколола» международная группа борцов с этим злом. У вас есть три опции. Первая и наименее правильная – это пробовать договориться со злоумышленником. Практика показывает, однако, что злоумышленнику плевать на ваши данные и, получив от вас деньги, он может навсегда исчезнуть с горизонта, не дав вам дешифратор (что вполне естественно, так как если дешифратор утечет от него в сеть, его барыши тут же закончатся). Вторая – ждать. Сохранить все ваши зашифрованные файлы где-то, и проверять время от времени, не появился ли расшифровщик.

Наконец, третья опция. Пробовать восстановить ваши данные из теневых копий и из удаленных файлов. Дело в том, что при зашифровке обычно исходный файл не переписывается, а создается новый; после окончания процедуры шифрования новый (зашифрованный) файл остается, а старый (исходный, незашифрованный) удаляется. При большой фрагментации данных и большом количестве папок шансы на извлечение с диска части удаленных исходных файлов довольно велики. Однако к этому процессу нужно подходить очень осторожно, поэтому делать такие операции самостоятельно мы не рекомендуем – обратитесь к профессионалам в области восстановления информации, это значительно увеличит шансы на восстановление хотя бы части утерянных данных.

Станислав Корб, ©2018

Вирус в прошивке: реальность или вымысел?

Что такое компьютерный вирус? Странный вопрос, скажете вы – это вредоносная программа. Она ничего хорошего не делает, и если компьютер заражен, неприятности неизбежны.

Да, сейчас – именно так. А вот на заре вирусописания вирусы делались, чтоб посмеяться, а не вредить. Помнится, был такой вирус, который ровно в полночь начинал выдвигать и задвигать лоток привода CR-ROM. А знаменитый вирус, который внезапно показывал во весь экран страшную морду зомби и заливал экран кровью?

Первый массовый вред от вируса случился, когда в свет выпустили зловреда Win9x.CIH, который называли еще «Чернобыль». Вирус повреждал или уничтожал данные на жестких дисках зараженного компьютера, у части компьютеров он также стирал содержимое микросхемы BIOS. По современным данным, в то время (1998 год) от вируса пострадало не менее полумиллиона компьютеров.

Начиная с «Чернобыля», зловредность зловредов стала расти. Компьютерные злоумышленники изобретали все новые способы использования вредоносного кода, и все новые способы его распространения. Удаление данных стало детской игрушкой по сравнению с тем, что данные начали зашифровывать, а за расшифровку – требовать денег. Различные модификации вирусов в настоящее время уже не используются для банального «напугать пользователя» — сейчас из них извлекается масса корысти. Это и майнинг криптовалют, и распределенные вычисления (когда Ваш компьютер используется для каких-то сложных расчетов, которые производит большой массив зараженных компьютеров – например, взлом пароля), и шпионаж (многочисленные трояны и бэкдоры), и т.п. И, конечно, шифрование.

Против вирусов борется огромное количество антивирусного и антишпионского ПО, наиболее известное: Kaspersky Antivirus, Dr Web, NOD, F-Secure и т.п. Однако, как показывает практика, антивирусы очень часто не успевают за развитием вирусов, и «пропускают» голы с их стороны. Поэтому, как бы банально это ни звучало, но самый надежный метод не попадать под вредоносное воздействие вирусов – не заражаться.

До недавнего времени вирусописатели прятали свои творения в информации пользователя – в виде файлов или закладок в файловых системах. Такие вирусы так или иначе, но можно удалить – начиная от очистки памяти и стирания вируса с диска, и заканчивая самыми радикальными способами – форматирование раздела или тотальное стирание диска. Однако желание «утрамбовать» вирус так, чтобы его невозможно было удалить в принципе, всегда витало в воздухе, которым дышат злоумышленники.

Современные компьютерные устройства работают под управлением сложных микропрограмм, написанных обычно на языках высокого уровня (С, С++, Delphi и т.п.); раньше, на заре компьютерных технологий, ввиду сильно ограниченного размера микросхем памяти, микропрограмма писалась на ассемблере, что сильно экономило место. Сейчас экономить микросхемный объем уже не нужно, и микропрограммы пишут, что называется, с удобством и размахом.

Однако у написанных на языках высокого уровня программ есть один недостаток: их код довольно громоздок, что приводит к тому, что в нем часто возникают ошибки и находятся уязвимости. Теоретически эти уязвимости могут быть использованы злоумышленниками для заражения микропрограммы устройства. И это, увы, уже реальность.

Сообщество Equation не так давно разработало вирус, способный перепрограммировать прошивку жесткого диска так, что вирус становится практически неубиваем – вы можете убрать его с помощью антивируса из памяти вашей операционной системы, но на следующем старте он снова запишет себя в память вашей машины из прошивки накопителя. Вирус прописывается в микропрограмму диска, и при каждом старте устройства проверяет свое наличие в памяти, и, если его там нет – просто «кладет» себя в память и начинает (или продолжает) работать. Такой вирус опасен тем, что убрать его может только высококлассный специалист со специальным оборудованием, дающим доступ в системную область диска; второй вариант избавиться от зловреда – выбросить диск и купить новый.

Насколько реально заразиться таким вирусом, который «поселяется» в прошивке жесткого диска? Для оценки такой вероятности нужно определить основные пути, которыми зловред может попасть в прошивку. Итак:

1) Заражение с обновлением прошивки. Для многих дисков на сайтах производителя доступны файлы обновлений, скачав которые, пользователь сам обновляет прошивку своего устройства. Заражение через прошивку возможно двумя способами: первый – заразить сам файл прошивки, что, как нам представляется, весьма и весьма непросто, так как сайты производителей жестких дисков пишут и поддерживают тоже не дураки. Поэтому наиболее вероятен второй вариант – вирус ждет, пока вы начнете прошивку, и когда вы начали ее – перехватывает управление или внедряет какие-то свои функции, и происходит заражение.

Метод заражения, бесспорно, хорош, но маловероятен, так как для реализации первой возможности требуется взломать сайт производителя (а он очень хорошо защищен и его взлом или крайне маловероятен, или слишком дорогостоящ), а для осуществления второй возможности требуется ждать, причем пользователь может и не захотеть обновлять прошивку своего диска – то есть ожидание может оказаться напрасным, а сам тип заражения – слишком низкоэффективным, что ни одного уважающего себя хакера не устроит.

2) Заражение специальным модулем. Для того, чтобы активировать ту или иную возможность, скрытую в микропрограмме жесткого диска, требуется активация технологического режима. Это делается специальной командой, после чего пользователю становится доступным набор инструкций, позволяющих сделать с жестким диском практически все, что угодно: от изменения каких-то свойств устройства до полной перезаписи или даже стирания служебной информации диска. Эти команды сейчас уже не секрет (их легко можно экстрагировать даже из заводских файлов обновления прошивки), а программистов, способных работать с физическими портами устройств, пачками готовят специализированные ВУЗы. Почему такие вирусы еще не получили массового распространения? Во-первых, набор команд для работы со служебной зоной разных накопителей различен, и вирус, таким образом, будет действовать только на ограниченный круг дисков. Во-вторых, сам код получается достаточно громоздким, а сделать его работу незаметной для средств защиты системы практически невозможно (согласитесь, даже самый примитивный антивирус немедленно заблокирует программу, которая вдруг начинает «ломиться» в жесткий диск на уровне «железа» и пытаться внести на этом уровне какие-то изменения). И в-третьих, для написания по-настоящему эффективного зловреда злоумышленнику понадобятся годы исследований, так как структура микропрограммы накопителя – тайна за семью печатями, и для ее использования ему придется «вскрывать» ее самому.

Однако именно этот способ проникновения в прошивку, не смотря на все очевидные трудности, в настоящее время получает распространение. Логично предположить, что злоумышленникам, при всей очевидности сложности заражения и дороговизны разработок, не интересны домашние компьютеры – их усилия направлены на заражение серверов для извлечения максимальной выгоды. А в серверах используется уже не такой широкий круг накопителей, как у домашних пользователей – следовательно, заразить их проще и дешевле. В частности, не так давно по сети прокатилась волна новостей о том, что группировка хакеров NSA заразила некоторые SAS-диски серверного класса производства Seagate вирусом типа Stuxnet.

Кстати, таким же способом можно заражать не только жесткие диски, но и вообще любые устройства, для которых существуют низкоуровневые протокола взаимодействия с системой. Например, заражение UEFI-BIOS так называемыми «UEFI-закладками» уже давно широкая хакерская практика. Правда, удалить такой вирус намного проще, чем вирус в прошивке жесткого диска – достаточно обновить прошивку BIOS. Проблема лишь в том, что UEFI-закладку очень сложно детектировать.

3) Заражение непосредственно на производстве. Исключить возможность такого заражения нельзя, так как внедрить своего человека на завод с целью массового заражения выпускаемых устройств, сейчас довольно легко. Скажу больше – практически наверняка такие шпионские закладки внедряются во многие типы компьютерного оборудования намеренно, но не хакерами, а спецслужбами.

4) Заражение с загрузкой системы. Наиболее «экзотический» способ, однако, достаточно вероятный в силу того, что многие пользователи в своей работе используют не оригинальные версии операционных систем, а версии взломанные. Никто и никогда не знает заранее, каким образом эти системы готовились, и что заложено в их дистрибутивах. Замечу, что именно в исталляторах операционных систем можно расположить код для проникновения в микропрограмму накопителя практически любого объема, а время установки ОС и незащищенность самого процесса (никакой антивирус во время установки не работает) дает очень высокие шансы для незаметного заражения прошивки. Поэтому использование оригинальных операционных систем – не только хорошо для вашей кармы, но и обезопасит вас от весьма вероятного использования вашего компьютера злоумышленниками для известных им одним целей.

Логично, что для управления ячейками памяти в настолько многослойных структурах (подача питания, считывание, запись) требуется подвести к каждому слою проводники и управляющие электронные компоненты. Раньше все это хозяйство напылялось на каждый слой отдельно, от этого страдали размеры чипа (до 50% его объема занимала вспомогательная электроника). Новые QLC-чипы сделаны по-другому, в них применяется технология СuA (CMOS under the Array) – вся управляющая схемотехника расположена отдельным слоем под многослойным «небоскребом» ячеек памяти. Это позволило уменьшить размер чипа минимум на 25%.

Недавно в прессе начали появляться статьи о том, что все без исключения компьютеры имеют встроенные программные закладки, аналогичные вирусам типа «троянский конь», которые устанавливаются спецслужбами с целью обеспечения тотального контроля за людьми. Оставим эти истории на совести журналистов, но отметим, что такая возможность вполне вероятна.

Чем нам грозит «вирус в прошивке»? Основная проблема – это его неубиваемость. Убрать вирус, который встроен в микропрограмму устройства, можно только в случае его полной перепрошивки, или с помощью специального оборудования, позволяющего скачать из устройства прошивку, удалить из нее все лишнее, и залить обратно. Третьего пути нет.

Станислав Корб, ©2018

Новое поколение NAND-микросхем открывает новые горизонты емкости одного чипа: QLC

Устройства на базе NAND-памяти давно заняли почетное место незаменимых в нашем мире. Флешки, SSD, сотовые телефоны, MP3-плейеры, диктофоны, камеры и многое другое – все это не может функционировать без NAND-микросхем. Производители давно бьются за увеличение емкости и производительности этих чипов, двигаясь, в общем-то, пока только в одном направлении: многослойность.

Типы NAND-микросхем

В настоящее время используются NAND-чипы трех основных типов:

SLC – Single Layer Cell, однослойная ячейка; в одной ячейке хранится 1 бит данных.

MLC – Multi Layer Cell, многослойная ячейка; в одной ячейке хранится 2 бита данных.

TLC – Triple Layer Cell, трехслойная ячейка; в одной ячейке хранится 3 бита данных.

Ячейки этих типов памяти могут упаковываться в трехмерные структуры по технологии 3D-NAND – кристалл формируется не только вертикальными, но и горизонтальными слоями; при этом плотность упаковки данных значительно возрастает, что сильно увеличивает емкость микросхемы. Современный предел многослойности в 3D-NAND структурах – 96 слоев.

Почти все современные устройства большой емкости, в особенности, выпущенные корпорациями Samsung и Intel, сделаны по технологии 3D-NAND; количество слоев в микросхеме до недавнего времени ограничивалось максимальными 64 слоями (сейчас их может быть до 96).

Плотность, емкость и компактность: борьба за рынок

Современный рынок гаджетов движется в двух, казалось бы, взаимоисключающих направлениях: миниатюризация и максимизация. Пример – iPhone. Помните, каким был iPhone 4? iPhone 5 был немного больше. iPhone 6 и 7 – еще больше; современные iPhone X, XS, XR и особенно их Max разновидности по размеру уже сравнимы с китайскими «лаптями» от Meizu и Xiaomi. Да, размеры гаджетов увеличиваются, но при этом уменьшаются размеры чипов, которые в них используются. Материнская плата мобильного телефона несет (за очень редкими исключениями) только один чип NAND-памяти. Его емкость и ограничивает емкость «внутренней памяти» телефона.


Разные поколения iPhonе

Мы все помним, что те же iPhone 4 производились с минимальной емкостью 8 GB; для iPhone 5 это уже 16. Современные аппараты этого производителя «начинаются» от 128 или 256 Гбайт – это вполне логично, ведь микросхемы этого объема доступны на рынке за относительно небольшие деньги. В дальнейшем емкости будут только расти.

Не менее логично и то, что чем большего объема чипы NAND-памяти будут доступны на рынке, тем более емкими будут изготавливаться основные гаджеты. Это очевидная закономерность.

Соответственно, количество слоев в микросхемах NAND-памяти, по этой логике, должно со временем возрастать.

Что такое QLC

Корпорация Micron совместно с Intel разработала новый стандарт построения ячеек NAND-микросхем: QLC.

QLC (quad level cell) – это четырехслойная структура, позволяющая хранить в одной ячейке памяти 4 бита данных. Такой принцип построения ячейки позволяет увеличить плотность записи в NAND-микросхему на 33%, уменьшить энергопотребление, увеличить компактность. Это, без сомнений, новый прорыв в конструировании флеш-устройств.

Однако, как у любого прорыва, у этого есть свои слабые места. Прежде всего, это надежность. Чем больше слоев, тем больше вероятность того, что какой-то из них может выйти из строя, что приведет к недоступности всей ячейки и, как следствие, к потерям данных.

Следующая проблема, вытекающая из более плотной упаковки ячеек – это ресурс. При использовании боле компактных структур ресурс падает довольно сильно, для QLC памяти заявлено всего лишь 1000 циклов перезаписи в ячейку. Понятное дело, что проблемы с ресурсом будут решаться огромными массивами избыточных 3D-NAND структур, используемых в качестве запаса для саморемонта микросхемы.

Еще одна проблема – удорожание технологии производства. Ожидать, что новая, более емкая, память, будет дешевле, не приходится. С увеличением емкости чипа его стоимость будет возрастать. Отрадно лишь то, что соотношение объем/цена все-таки уменьшается, т.е. стоимость одного гигабайта емкости для конечного пользователя будет меньше. Но общая стоимость устройств, использующих NAND-память, существенно не «пострадает».

96 слоев: что дальше?

Логично, что для управления ячейками памяти в настолько многослойных структурах (подача питания, считывание, запись) требуется подвести к каждому слою проводники и управляющие электронные компоненты. Раньше все это хозяйство напылялось на каждый слой отдельно, от этого страдали размеры чипа (до 50% его объема занимала вспомогательная электроника). Новые QLC-чипы сделаны по-другому, в них применяется технология СuA (CMOS under the Array) – вся управляющая схемотехника расположена отдельным слоем под многослойным «небоскребом» ячеек памяти. Это позволило уменьшить размер чипа минимум на 25%.

Правда, производитель ничего не говорит о том, что с уменьшением размера микросхемы и увеличением его многослойности должно увеличиться тепловыделение. Но, очевидно, на текущем этапе развития технологии это не так критично.

Ждет ли нас дальнейшее увеличение многослойности NAND-кристаллов? Совершенно однозначно, да. Использование технологии CuA открывает новые перспективы в деле упаковки 3D-NAND структур. Я уверен, что не за горами технологические процессы, позволяющие упаковывать в один ряд более 100 слоев.

Что нас ждет?

Помните, что было с рынком, когда на него попали первые жесткие диски емкостью 1 Тбайт? Диски расхватывали, как горячие пирожки; каждый хотел иметь такой диск. А помните, что случилось потом?

Да-да. Муха ЦеЦе (Seagate Barracuda 7200.11 и 7200.12) и «скребущий лишай» (WD Green Caviar). Диски такой емкости оказались настолько сырыми, что начали отказывать в массовых масштабах: означенные выше Seagate страдали «мухой ЦеЦе» — самоблокированием микропрограммы, которое могло быть инициализировано практически любым «неприятным» для диска событием. При этом в терминал диск выдавал сообщение LED CC (именно из-за этого СС болезни и дали название той самой мухи, которая переносит опаснейшее заболевание). Но, в отличие от дисков WD, эта болезнь лечилась относительно легко.

С WD все было сложнее. В один «прекрасный» момент диск начинал «скрести головками» — издавать шебуршащие звуки при попытке старта компьютера или при любом обращении к диску; при этом система зависала навсегда. Как ни странно, но природа этого поведения и природа «мухи ЦеЦе» одинаковы – и в том, и в другом случае виновата так называемая «фоновая активность» (как пример такой активности приведем работу программы самотестирования SMART). Микропрограмма занимается своими делами как бы между делом, и пока она способна это делать – накопитель здоров. Но как только фоновая активность возрастает, диск перестает отвечать на запросы и «зависает». При этом микропрограмма фоновой активности активно (простите за тавтологию) двигает головками, перемещая информацию в рамках этой самой активности.

К чему я все это рассказал? Уверен, что с учетом вышесказанного о надежности и ресурсе нового типа памяти, нас ждет примерно тоже самое, что и в случае с терабайтными дисками: череда эпических фейлов производителей, начавших использовать эту память в массовом производстве. Можно даже предугадать, какие именно фейлы нас ждут: во-первых, заметные тормоза при работе таких устройств после преодоления основным количеством рабочих ячеек порога ресурса перезаписи, а во-вторых, заметная потеря производительности в высокоскоростных устройствах. Наконец, нас ожидают устройства на базе QLC-памяти с сильно возросшим количеством дефектных секторов (как это было в самом начале использования TLC-микросхем).

Но, как это обычно бывает, после обкатки технологии и процессов производства кристаллов, более новые поколения устройств станут более надежными и менее дорогостоящими.

Поэтому я, пожалуй, подожду годик, прежде чем куплю устройство, сделанное на базе микросхем QLC.

А между тем, корпорация Micron уже выпустила первый 96-слойный NAND-чип на базе технологий QLC и CuA объемом 1 Тб. В спину Micron жарко дышит Samsung с его технологией V-NAND (по сути тот же QLC) – их чипы аналогичной емкости активно используются в корпоративных SSD емкостью 60 Тб. Ну и, конечно, Toshiba.

Добро пожаловать в новый мир, мир терабайтных микросхем. И что-то мне подсказывает, что скоро будет анонсирован новый iPhone с терабайтом памяти на борту.

Станислав Корб, ©2018

Почему нельзя делать восстановление данных на тот же диск.

Довольно часто встречаюсь с проблемами, когда пользователь решает, что может самостоятельно восстановить данные с помощью программ из интернета. Обычно это происходит тогда, когда был случайно отформатирован или удален раздел, установлена новая операционная система, и т.п.

Дисковое пространство делится на две области: недоступная пользователю в обычном режиме служебная область, которая содержит сервисную информацию диска (SMART, систему трансляции, оверлеи, адаптивные параметры, подстроечные таблицы и т.п. – все, что необходимо диску для нормальной работы), и пользовательская область, где лежат, соответственно, данные пользователя. В упрощенном виде пользовательская область на отформатированном диске состоит из области файловых таблиц, в которых имеются записи о файлах, лежащих на диске, и из области данных, где, собственно, эти файлы и лежат.

Самостоятельное восстановление данных чревато серьезными последствиями, связанными с перезаписью данных. Многие пользователи заблуждаются, полагая, что операционная система будет записывать их данные в «пустые» (неиспользованные до того момента) места диска. Это не так. Система использует диск весьма рационально, данные записываются по порядку от нулевого сектора (LBA 0) и до конца последовательно. Соответственно, если диск для системы пустой, то она начнет его использовать заново с наименьшего доступного адреса. Вроде бы, все хорошо – ведь если данные записывались последовательно, то при очистке диска и последующей записи данные должны лечь также последовательно, и, соответственно, должны быть рабочими. Но на деле все сложнее. При работе операционной системы происходит неизбежное удаление части файлов. Удаленный файл обычно не удаляется физически (если, конечно, не активирована технология TRIM), удаляется только соответствующая запись в файловых таблицах. Однако при следующем запросе на запись файла система просканирует файловую таблицу, найдет освободившееся место максимально близко к началу диска, и будет записывать новый файл именно туда; при этом будет сформирована новая запись в файловой таблице. А теперь представьте, что эта «дырка» в старых данных, которая была освобождена предыдущим удалением, для нового файла мала: он банально больше. Что сделает операционная система? Она разобьет файл на фрагменты, которые запишет в несколько таких дырок по порядку их наличия от младшего сектора к старшему. Соответственно будет записана и информация об этом файле в файловой таблице: фрагмент 1 лежит тут, фрагмент 2 лежит там. При обращении к файлу система соберет эти фрагменты по адресам, указанным в файловой таблице, и файл будет работать нормально. Это называется фрагментацией.

При форматировании раздела, соответственно, мы потеряем не только информацию о расположении файлов, но и об их фрагментации. К счастью, большинство файловых систем при форматировании не стирают файловые таблицы (так как они банально могут быть очень большими, занимать несколько гигабайт), а лишь меняют заголовок файловой таблицы, в котором указывается количество записей и адрес первой записи (на отформатированном диске, соответственно, количество записей близко к нулю, и адрес первой записи – также). Если мы начинаем использовать отформатированный диск, в область данных файлы начнут записываться с наименьшего доступного LBA, а в области файловых таблиц начнут формироваться новые записи.

Рассмотрим все это на простом примере.

Представим себе файловую систему, в которой имеется 4 файла, один из которых фрагментирован (разбит на 2 фрагмента). Соответственно, имеется 4 записи в файловых таблицах (одна из которых содержит информацию о фрагментированном файле), и 5 участков в области данных, соответствующих нашим четырем файлам.

Форматируем диск. Заголовок файловой системы обнуляется, файловые записи перестают учитываться; соответственно, вся область данных диска теперь помечена как пустая, пригодна для записи. Однако физически и записи в файловой таблице, и данные на диске все еще имеются и могут быть легко восстановлены.

Запускаем программу для восстановления данных. Программа просканирует поверхность, найдет «потерянные» записи и соберет по ним заново файловую систему в памяти компьютера. Теперь данные можно скопировать. Если копировать их на заведомо чистый носитель, то все данные, которые программе удалось найти, за исключением очень старых и многократно переписанных, будут работать; то есть все актуальные данные будут спасены.

Что произойдет, если мы начнем записывать восстановленные данные на тот же диск?

Программа даст системе команду на запись файла. Система просмотрит файловую таблицу, обнаружит, что в ней еще нет записей, и будет использовать наименьший доступный LBA для записи первого сектора файла. Соответственно, система создаст нулевую запись в файловой таблице для нового файла (и сотрет ту, что там была до этого).

Вслед за этим будет записываться второй файл (файл номер 1 для файловой системы). Естественно, создается новая запись в файловой таблице, и поскольку файл записывается для системы «в первый раз», то он ложится аккурат в следующий сектор после окончания первого файла. Но у нас в оригинальной файловой системе этот файл был разбит на два фрагмента – соответственно, программа объединит их в один файл, а система запишет. Пока вроде все нормально, оба записанных файла будут работать. Но вот на третьем файле уже начнутся проблемы. Ведь то место, куда мы записали (вполне успешно) фрагменты 1 и 2 второго файла, частично использовалось старой системой под хранение третьего файла.

При записи третьего файла (файл номер 2 для файловой системы) система также будет использовать первый свободный сектор после окончания последнего записанного (второго) файла. Однако данные о расположении этого файла не изменились, и она возьмет с диска именно тот кусок, где должны лежать данные файла номер 2: то есть кусок только что записанного файла номер 1. И положит его на новое место, переписав то, что там было до этого.

Также будет и с четвертым файлом: программа считает то, место, где лежал этот файл, и положит его туда, куда укажет операционная система – после окончания третьего файла.

Чем более фрагментированной была исходная файловая система, тем больше будут перемешиваться данные при их повторной записи на тот же диск, и тем хуже будет результат такого «восстановления».

Если вы не уверены в том, что не испортите свои данные при их восстановлении – лучше не рисковать. Мы всегда готовы помочь, даже в самых сложных и, казалось бы, безнадежных случаях. Но, увы, восстановить полностью перезаписанные данные не сможем даже мы.

Станислав Корб, ©2018

iOS 12: новая операционная система от Apple для вашего гаджета

17 сентября состоялся релиз новой операционной системы от Apple: iOS 12. Систему можно установить на любой гаджет компании, который поддерживает обновление, начиная с iPhone 5S (год выпуска не младше 2013). Новая операционка позиционируется как стабильная, надежная, быстродействующая; кроме того, заявлен целый ряд новых возможностей, таких как групповой чат в Face Time, функция ярлыков (с помощью которых можно персонализировать работу всей системы или отдельных приложений), функция уведомлений по приложениям (с возможностью закрыть всю группу уведомлений сразу, а не ходить по приложениям, как было раньше), и т.д.

Обновив операционную систему и немного ей попользовавшись, можем сказать следующее.

Дизайн не изменился никак по сравнению с iOS 11. Ярлыки, кнопки, Siri – все тоже.

Сразу же – о Siri. Компания Apple анонсировала, что Siri в этой ОС сильно поумнеет. Для проверки работы искусственного интеллекта мы задали ей несколько вопросов, ответы на которые были временами неплохими. В частности, мы спросили у Siri, где нам можно побухать (использовав именно это слово), и знаете, куда она нас отправила? В один из баров города Москвы :D.

По поводу производительности и быстродействия. Заявлено, что все будет работать сильно быстрее. На деле новая операционная система работает примерно также, как предыдущая, замедления работы на старых устройствах (тестировалось на iPhone 5s) я не увидел, как и ускорения работы, поэтому обладатели старого оборудования могут обновляться смело.

Теперь поговорим о новых функциях iOS 12. Про Siri я сказал выше – если у нее и изменился интеллект, то это не очень заметно. Ярлыкам найти какое-то полезное применение я не смог.

В программе «Фото» появилась возможность оставлять подсказки для каждого фото или ролика, а также улучшен поиск. Эти функции, бесспорно, полезны только тем, кто хранит в своей медиатеке тысячи снимков; такие функции не дадут в них запутаться. Если ваша медиатека не так велика, то эту функцию можно смело забыть.

В новой ОС обновились некоторые приложения; пропустим Акции, которые большинству пользователей просто не нужны, и расскажем немного о других. Первое – это диктофон. У него немного поменялся дизайн, а также он стал синхронизироваться с iCloud. Качество записи звука при этом не изменилось. Приложение «Книги» (Apple Books, раньше называлось iBooks) изменилось в основном дизайном, изменений в движке программы я не заметил.

Для того, чтобы посмотреть еще на одно обновившееся приложение iOS 12 – Новости – вам придется переключить свой регион в настройках аппарата на США. Язык при этом не пострадает. Новости (News), увы, будут на английском, но сам аггрегатор работает хорошо, собирая новости по вашему местонахождению (он обязательно попросит разрешения на использование службы геолокации – согласитесь с этим). Навигация в «Новостях» проста и понятна.

Довольно удобной оказалась функция группировки уведомлений. Когда вам некогда или нет желания просматривать их по одному, достаточно просто закрыть всю группу.

Приложение «Экранное время» позволяет оценить время, которое провел пользователь гаджета в той или иной программе. Это особенно полезно для контроля того, как используется устройство детьми. Любопытно, что теперь можно устанавливать лимиты по типам приложений (используя программу «Экранное время» как источник данных) – это сильно упростит борьбу с интернет-зависимостью у подростков.

В iOS 12 были заявлены и такие интересные введения, как Animoji (анимированные emoji) и Memoji (эмодзи, созданные с помощью вашей камеры). Оказалось, что обе эти функции доступны только на флагманских моделях iPhone (Phone X и XS). Жаль, я думал об Apple намного лучше :D.

В целом переход на новую iOS, как минимум, ничем неприятным не грозит. Обновляться можно и нужно.

Станислав Корб, ©2018

Особенности эксплуатации дисков Seagate Mobile HDD: страх и ужас семейства Rosewood.

На рынке устройств для хранения данных жесткие диски для ноутбука стандартного типоразмера (толщиной до 9.5 мм) емкостью 2 ТБ на текущий момент производят лишь два производителя. Наиболее продаваемые диски сейчас – Seagate Mobile HDD; они бывают не только 2 ТБ, выпускаются и модели емкостью 1 и 1.5 ТБ. Эти диски имеют уменьшенную толщину (7 мм), в диск такой толщины помещается до двух пластин и 4 головок соответственно. Внутреннее название дисков этого типа, данное компанией Seagate, Rosewood. И многие считают, что это один из самых неудачных дисков от Seagate. Но так ли это?

Особенности этих дисков:

1) черепичная запись (SMR); это следующая после параллельной и перпендикулярной технология записи, когда сектора укладываются один за другим с некоторым перекрыванием по принципу черепицы; эта технология по сравнению с перпендикулярной записью позволяет увеличить плотность записи на 25%;

2) Записывающая часть головки чтения-записи физически больше читающей части; это сделано для того, чтобы обеспечить функционирование SMR-записи;

3) наличие у диска медиа-кэша; технология кэширования данных, используемых более часто (например, записей MFT) в служебной зоне накопителя; служебная зона накопителя имеет более низкую плотность записи, чем пользовательская, и в силу этого теоретически должна быть более надежной;

4) сильно ограниченный функционал сервисной части микропрограммы; из микропрограммы удалены те функции, которые могут «деструктивно» сказаться на целостности данных;

5) цифровая подпись служебной информации; работать будет только тот диск, служебная зона которого аутентична и идентифицирована как служебная зона именно этого диска;

6) Пониженное энергопотребление, реализованное значительным уменьшением количества электронных компонентов и относительно низкой скоростью вращения шпинделя;

7) для обеспечения компактности конструкция выполнена таким образом, что крышка диска не надевается сверху, как у остальных дисков форм-фактора 2.5 дюйма, а вкладывается в корпус сверху.

Что это все означает?

1) Плотность записи дисков этого семейства на настоящий момент – наивысшая из всех имеющихся в продаже дисков форм-фактора 2.5 дюйма.

2) Скорость работы этих дисков выше, чем у дисков предыдущего («перпендикулярного») поколения, за счет использования медиа кэша.

3) В силу конструкции диска любые физические воздействия на него, даже минимальные, могут привести к отказу работы механической части (заклинивание дисков или головок).

4) Эксплуатация этих дисков требует учета перечисленных выше особенностей и следствий из них.

Эти диски очень часто попадают на операционный стол специалиста по восстановлению данных, однако проблема кроется, как обычно, не в низком качестве самого устройства, а в том, как его эксплуатируют пользователи. Кроме того, на рынке мобильных жестких дисков емкостью 2 ТБ эти диски – неоспоримый лидер, и, соответственно, статистически вероятность их выхода из строя выше. Ошибки пользователей, которые приводят к проблемам с этими дисками: удары, падения, неправильное отключение из системы, сильные вибрации, плохое питание и т.п. – то есть тот же набор проблем, которые приводят к неисправностям подавляющего большинства жестких дисков по всему миру. Поэтому во избежание поломок нужно просто строго следовать правилам их эксплуатации.

Конечно, если вы не уверены, что сможете эксплуатировать диски Rosewood с соблюдением всего, что я порекомендую вам ниже, лучше выбрать другой диск. Но, к сожалению, в настоящий момент альтернатив этим дискам нет; к тому же, все внешние диски Seagate на текущий момент оснащаются именно этими дисками. Поэтому, я думаю, лучше следовать правилам и не потерять ни диск, ни данные, чем пытаться найти несуществующую альтернативу.

Итак, простые правила, которые гарантируют вашему диску Rosewood долгую жизнь:

1) Никаких физических перегрузок диск этого типа не должен испытывать ни во время работы, ни в выключенном состоянии. Удары, усилия на изгиб, давление на крышку и т.п. для этих дисков очень опасны. Собственно, то же правило применимо и к другим жестким дискам, но Rosewood особенно чувствительны.

2) Если жесткий диск установлен внутри ноутбука, крышку этого ноутбука нельзя резко закрывать. Если захлопнуть крышку, жесткий диск получает сильный удар продольного направления, что равносильно прямому удару по крышке, со всеми вытекающими последовательностями. Это же правило применимо и к другим жестким дискам.

3) Выключение диска должно производиться только в штатном режиме, аварийное отключение может быть чревато или физическими проблемами (заклинивание головок), или программными (порчей данных в медиа кэше). Поэтому не ленитесь и отключайте ноутбук через кнопку пуск, а внешний диск – через безопасное извлечение устройства. Собственно, то же правило применимо и к другим жестким дискам.

4) Диски Rosewood более требовательны к питанию, чем другие жесткие диски для ноутбуков. Новое поколение технологий энергосбережения привело к тому, что диск может начать работать даже при «просевшем» питании, однако просевшее питание часто дает сбои, при которых головки могут не успеть аварийно запарковаться и останутся на поверхности, так как диск работал на нижнем пределе питания. Поэтому следите за тем, чтобы мобильный диск Seagate включался в исправный, а не разбитый, разъем USB, а также следите за тем, какое питание получает ваш ноутбук.

Ну а если с вашим диском что-то произошло, то обращайтесь: мы можем вам помочь.

Станислав Корб, ©2018

Девять признаков того, что ваш телефон скоро выйдет из строя

Мобильный телефон, который многие ласково называют «сотка» или «мобилка», пожалуй, одно из наиболее распространенных сложных электронных устройств в мире. Он есть, наверное, почти у каждого, а у некоторых – не один. Такая популярность вполне очевидна: во-первых, сотовый телефон позволяет разговаривать везде, где есть сотовая связь (то есть практически повсеместно); во-вторых, мобилка позволяет отправлять и получать текстовые сообщения – СМСки; в-третьих, с телефона можно выходить в интернет, просматривать сайты, проверять почту и сидеть в социальных сетях; в-четвертых, на телефоне можно играть в игры; в-пятых, телефоном можно делать фотографии и отправлять их своим друзьям и знакомым; и много чего еще. При всем при этом телефоны с каждым годом становятся все доступнее, а используемые в них технологии – все продвинутее.

Современный сотовый телефон уже даже нельзя назвать телефоном – поэтому для него придуман емкий эпитет «смартфон» (умный телефон). По архитектуре это типичный компьютер: есть микропроцессор, устройства ввода-вывода (клавиатура или сенсорный экран и дисплей), оперативная память и запоминающее устройство (внутренняя память телефона). Вполне логично, что большинство покупающих телефоны сейчас не смотрят на качество связи – основные критерии выбора аппарата в современном мире это процессор (сколько ядер, какой производитель, какая тактовая частота), объем оперативной памяти (2 Гбайта еще года 3 – 4 назад было совсем неплохо, а сейчас – 4) и объем внутренней памяти аппарата (телефоны с емкостью 8 и 16 Гбайт уверенно уходят в прошлое, им на смену пришли аппараты с внутренней памятью 32 и даже 64 Гбайт). Иметь дома компьютер (тот самый, в корпусе MiniTower или MidiTower) уже не нужно – интернет, игры, фотки, общение – все умещается в карман. И поэтому обычные компьютеры в домах и квартирах встретишь все реже – им на смену приходят или смартфоны, или ноутбуки.

Директор головного филиала нашей компании на одном из семинаров сказал: в ближайшие годы мы будем видеть лавинообразное увеличение количества смартфонов и кратное ему уменьшение количества персональных компьютеров. Это действительно наблюдается сейчас. По тому же прогнозу, в ближайшие 5 лет количество компьютеров в домашнем использовании сократится не менее чем в 5 раз. Как говорится, поживем – увидим – но то, что компьютеров в квартирах людей стало намного меньше, факт неоспоримый.

Главный вывод из такого широкомасштабного вторжения мобильных телефонов в нашу жизнь заключается в том, что люди хранят все больше и больше данных на этих устройствах. Давайте перечислим на вскидку, какие данные обычно содержит современный смартфон: фотографии и видеофайлы, которые сделал владелец телефона или которые он получил от друзей и знакомых; контакты, причем не только номера телефонов, а вообще любые контакты, существующие сейчас (электронные адреса, записи об аккаунтах пользователей Facebook, ВКонтакте, Twitter и др.); идентификационные данные в социальных сетях; заметки; данные платежных систем (в виде приложений); и т.п. Согласитесь, потеря таких данных будет для владельца телефона весьма болезненной.

Не секрет, что больше половины пользователей настолько доверяют своим телефонам, что не имеют абсолютно никаких резервных копий данных; многие даже не активируют бесплатные облачные хранилища, настолько они беспечны. А между тем телефон – устройство не вечное, выходит из строя довольно часто (можно, например, его уронить и разбить тачскрин; можно уронить его в унитаз или в тарелку супа и его замкнет; можно сунуть его в задний карман брюк и сесть на него; и прочая, прочая, прочая). Выход из строя по перечисленным выше причинам обычно непредсказуем – тут можно только посоветовать аккуратно обращаться с аппаратом. Но есть и другой тип отказов – когда телефон выходит из строя постепенно, не выдерживая излишне экстремальных условий эксплуатации или просто от старости. Выход из строя телефона вследствие этих причин легко предугадать и подстраховаться на случай этого события (зарезервировать данные, перенести контакты и т.п.). Разберем 9 признаков того, что телефон скоро сломается.

1. Треснувшее стекло экрана. Если вы уронили телефон, или сели на него, или как-то по-другому повредили его экран – насторожитесь. Как правило, треснутый экран может нормально работать, его сенсорные функции сохраняются благодаря тому, что сам сенсор находится под стеклом, он достаточно эластичный для того, чтобы не разрушиться от удара. Однако помните, что там, где экран треснул, он уже не имеет первоначальной прочности, и чуть более серьезное усилие на него может привести к выпадению части остекления экрана, и, как следствие – к уже серьезному повреждению сенсора. Кроме того, может растекаться и сам экран – он ведь сделан на жидких кристаллах – а даже если при этом сенсор будет работать, управлять телефоном станет невозможно, так как на его экране вместо привычных ярлыков будут видны только растекшиеся темные пятна. Как следствие – вы не сможете пользоваться телефоном, и, возможно, потеряете доступ ко всем своим данным.

2. Стал быстро разряжаться аккумулятор. Современный телефон вообще весьма прожорлив – при активном использовании аккумулятора может и на день не хватить, а про iPhone вообще ходят легенды (2 – 3 часа серфинга в Интернете – и батарея пуста); если же аккумулятор разряжается намного быстрее, чем обычно – значит, батарейка совсем изношена и в скором времени ее заряда будет едва хватать даже для того, чтобы стартануть аппарат. Конечно, это не настолько критично для телефонов со сменным аккумулятором, однако таких выпускается все меньше и меньше. Наиболее популярные смартфоры, увы, сейчас выпускаются без возможности легкой замены батарейки: iPhone, Meizu, Xiaome, некоторые Samsung, LG и пр. Процесс «смерти» батарейки обычно дает достаточно времени для того, чтобы успеть позаботиться о ее замене, но не стоит забывать и о том, что у некоторых аппаратов батарейки могут взрываться или воспламеняться (было много случаев, описанных в Интернете; телефоны некоторых брендов даже запрещали перевозить в салоне самолета вместе с батарейками).

3. Фотографии, которые вы снимаете, пропадают или портятся (на фотографиях появляются артефакты, вместо фотографии – темное или светлое поле, и т.п.). Это очень серьезный симптом, говорящий о том, что ячейки памяти в NAND-микросхеме телефона изношены и часть данных записывается некорректно. Поспешите зарезервировать ваши данные – практически наверняка телефон вот-вот выйдет из строя, поскольку NAND-память является не только хранилищем ваших данных, но и сервисной информации аппарата (включая микропрограмму, системные и другие приложения, настройки и прочее).


Примеры поврежденных фотографий из памяти телефона; NAND-микросхема сильно изношена, часть ячеек памяти работает некорректно.

4. Телефон начал очень сильно нагреваться. Когда вы активно серфите Сеть или играете в игры, вы, должно быть, замечали, что ваш телефон нагревается. Это нормально, так как при использовании интернета графическое ядро микроконтроллера работает в усиленном режиме и по этой причине выделяет немало тепла. Однако если телефон нагревается тогда, когда вы не используете сетевые функции или игры, это говорит о том, что микроконтроллер вашего аппарата изношен, или имеются неполадки в цепях его питания, приводящие к перегреву, или имеются физические проблемы с посадкой микроконтроллера на материнскую плату аппарата, приводящие к перерасходу электроэнергии и, как следствие, перегреву. Перегрев любых электронных компонентов любого электронного устройства (не только телефона) всегда чреват проблемами, так как любой электронный компонент нормально функционирует в строго заданном промежутке температур. Нагрев выше предельного значения означает перерасход энергии, более активный износ и меньшую эффективность – все это ведет к преждевременному выходу из строя.

5. «Глючит» сенсорная панель. Как это может проявляться? Например, вы нажимаете на один ярлык, а срабатывает и открывается другой. Вы пытаетесь набрать один текст, а набирается другой. Или еще интереснее: телефон в ваших руках начинает вести себя непредсказуемо, закрывая и открывая окна, отправляя непонятные тексты и т.п. У автора этой статьи был такой аппарат, который при постановке на зарядку начинал отправлять рандомные смайлы в окно открытого приложения; однажды это был телеграм, и мои контакты сильно удивились утром, получив массу смайлов на свои телефоны. Аппарат пришлось ремонтировать. В чем причина такого поведения? На сенсорную панель начинают действовать наведенные токи и магнитные поля, а поскольку панель емкостная, то изменение емкости, происходящее неизбежно при разного рода наводках, и приводит к ложным срабатываниям сенсора. Этот признак говорит о том, что или в питании сенсора, или в питании телефона имеются проблемы; если продолжать использовать его без исправления, то, скорее всего, в ближайшие недели (если не дни) аппарат выйдет из строя.

6. У вас начала постоянно пропадать сеть, причем не важно – мобильная или интернет. У этого неприятного события могут быть две причины. Если пропадает Wi-Fi, то первое, что нужно сделать – это проверить раздающий ее роутер. Если с ним все нормально, необходимо обратиться в сервисный центр. Если пропадает мобильная сеть, для начала поменяйте сим-карту. Если симптомы сохранились – аналогично, необходимо обратиться в сервисный центр. Проблема в этом случае обычно кроется в радиомодуле телефона – именно это устройство отвечает за «связь с внешним миром». Казалось бы, а при чем тут данные? У части устройств (особенно это касается смартфонов Apple пятого и выше поколений) при неисправном радиомодуле аппарат не запустится, соответственно, доступ к данным вы потеряете как минимум до замены этого узла.

7. Вы роняли телефон в воду или другую жидкость. После просушки аппарат нормально работает, но не обольщайтесь – выход его из строя не за горами. Главное правило современной микроэлектроники – чистота. Электронные компоненты сейчас настолько малы, что даже небольшой кусочек грязи или постороннего вещества может привести к помехам, наведенным токам, и даже – короткому замыканию. А попадание телефона в жидкость – это всегда как минимум следы коррозии. Дело в том, что используемые на платах современных телефонов паяльные смеси составлены обычно из металлов низкотемпературного плавления, соединение которых с водой и содержащихся в ней солях приводит к их быстрому окислению. Если у вас есть старый, неисправный телефон, вы можете провести простой эксперимент – для наглядности. Просто окуните плату электроники неисправного аппарата в воду, а затем положите на просушку. Уже через сутки вы увидите характерный белый или буроватый налет солей на некоторых электронных компонентах – это именно то, о чем я говорю. Если телефон побывал в жидкости, его очистка от окислов невозможна в домашних условиях; для того, чтобы гарантировать ему долгую жизнь, его необходимо отдать в сервисный центр на химическую чистку и форс-просушку с последующей обработкой антикором. При этом чистить его будут не простым вымачиванием в химических смесях – его будут промывать в ультразвуковых ваннах, так как только таким образом можно «выбить» уже образовавшиеся окислы из межконтактных площадок.

8. Телефон стал внезапно отключаться. Проявляться это может по-разному, но наиболее часто встречающиеся симптомы – телефон отключается, когда вы используете его сенсор для набора текста (т.е. постукиваете по экрану) или на входящем вызове/смс при включенной функции вибрирования. В обоих случаях проблемы возникают при вибрациях – это значит, что в аппарате имеется электронный компонент или узел, имеющий плохой контакт, или частично отпаявшийся/отвалившийся, или этот компонент или узел загрязнен токопроводящим мусором, и т.п.

9. Не стоит забывать, что кроме физических проблем, современным телефонам присущи и программные. Безвременная кончина аппарата может быть не только следствием аппаратной, но и следствием программной проблемы. Например, заражение телефона компьютерным вирусом, неудачная перепрошивка, неудачное обновление и т.п. Признаками неудачной перепрошивки или обновления обычно служит или «белый экран» (если у вас устройство Apple), или зависший на старте Android. Основными причинами неудачных перепрошивок и обновлений являются не аппаратные или программные проблемы, а действия пользователей. Если вы обновляете телефон, не используйте его, не отсоединяйте питание, не нажимайте никакие кнопки. Наиболее распространенная ошибка – пользователь думает, что телефон при обновлении завис, и отключает его питание или производит аппаратный сброс. При этом телефон не перепрошит или не обновлен, в нем отсутствует часть системной информации и, естественно, на следующем старте он уже не загрузится. Для перепрошивки современных телефонов характерны длинные паузы – во время этих пауз аппарат производит вычисления, переносит информацию с места на место или оптимизирует память – дождитесь окончания всех процессов, и только после этого используйте телефон. Помните: файл прошивки или обновления, прежде чем выпустить в Сеть, производитель очень серьезно тестирует, и если возникают малейшие сомнения в том, что прошивка может «убить» аппарат, она не будет распространяться.

Что делать, если ваш аппарат начал показывать какие-то из описанных выше симптомов?

Первое – обязательно зарезервируйте данные. Помните, что аппарат может окончательно «отдать концы» в любой момент, поэтому резервная копия убережет вас от дорогостоящих процедур восстановления данных. Также помните, что в сервисных центрах задачей инженеров является ремонт вашего телефона, а не сохранение ваших данных – поэтому никто не будет беспокоиться о том, что для ремонта устройства нужно, например, полностью стереть память – ее просто сотрут, и на выходе получат исправный аппарат. Но без вашей информации. Резервная копия спасет вас и от этого.

После того, как вы зарезервировали данные, несите телефон в сервисный центр. Старайтесь выбирать авторизованный: помните, что только авторизованные инженеры имеют полный доступ к заводским технологиям ремонта вашего аппарата. Неавторизованный центр, каким бы респектабельным он ни казался, работает только тем, что может купить или найти в Интернете – то есть заводских технологий ремонта у него просто нет. Это важно понимать: неавторизованный сервисный центр, не имея правильных технологий ремонта и специальных знаний, будет ремонтировать ваш аппарат «в лоб». Конечно, если нужно заменить сенсорную панель или батарейку, то это задача, посильная любому СЦ, имеющему доступ к запчастям; но если проблема глубже (телефон внезапно отключается, проблемы с прошивкой и т.п.), то неавторизованный сервис вполне может полностью «прибить» ваш аппарат, или произвести ремонт так, что аппарат все равно выйдет из строя (в среде инженеров это называется «подкрасить фасад» — основную неисправность устройства такой СЦ найти не может, поэтому делает ремонт по принципу «пусть еще немного поживет»). При таком ремонте даются крайне маленькие сроки гарантии – от 1 до 3 месяцев. Авторизованный сервис даст гарантию минимум полгода.

Почему я рекомендую обращаться в СЦ до того, как телефон окончательно вышел из строя? Причина проста: пока аппарат функционирует, найти неисправность проще, и ремонт может оказаться по этой причине дешевле. Простой пример. Ваш аппарат начал внезапно отключаться при входящем звонке. Вы отнесли его в СЦ, ремонтник увидел неисправность и на полуживой плате нашел проблему: отпаялся вибродатчик. Припаял датчик, аппарат исправен – стоимость ремонта 1000 сом. Ну а теперь представьте, что вы дождались, когда после очередного отключения телефон не запустился. Ремонтнику приходится работать с мертвым устройством, производить тесты «от наиболее очевидного – к наименее» — а отпаявшийся вибродатчик в самом конце этого чек-листа. Как результат – долгий ремонт (проверялись все узлы, из-за которых телефон может отключаться и не работать) и более высокая цена (сомневаюсь, что с вас в этом случае возьмут меньше 2000).

Наконец, последнее. Помните: если ваш телефон вышел из строя, то ремонтик будет его ремонтировать. Это почти всегда означает уничтожение данных – для ремонта телефон, как правило, перепрошивают. Если вам нужны данные, которые хранились на телефоне, вам нужно нести его в сервис по восстановлению данных, а не в СЦ для ремонта. Одним из таких мест, куда вы можете обратиться для восстановления данных с неисправного телефона, являемся мы.

Станислав Корб, ©2018

Новая услуга компании IT-Doctor: послепродажая подготовка жесткого диска к использованию

В настоящее время, когда объемы информации растут в геометрической прогрессии, практически перед каждым пользователем встает вопрос приобретения более емких носителей информации для обеспечения сохранности данных. Другими словами, приобретаются емкие накопители – хранилища данных, на которые время от времени сливаются семейные фотографии, фильмы, музыка и тому подобный контент. Как правило, такие НЖМД не работают постоянно (обычно включаются не чаще одного раза в неделю). Многие предпочитают использовать внешние USB-устройства.

Однако, даже при нечастых включениях, накопители все же выходят из строя, и довольно часто. Это происходит из-за особенностей изготовления НЖМД бюджетных линеек, которые в подавляющем большинстве и продаются в компьютерных магазинах. Нами разработана и успешно применяется методика продления жизни НЖМД, позволяющая в 1.5 — 2 раза увеличить их срок службы. Данная методика разработана и опробована на накопителях трех производителей: Toshiba, Seagate и Western Digital. Методика обкатывалась почти 3 года, и теперь мы готовы предложить эту услугу потребителю:

Послепродажная подготовка НЖМД Toshiba, Seagate, Western Digital к работе.

Стоимость: 500 сом. Время накопителя в работе: 2 дня. Гарантия на работу: 2 года. Негарантийными случаями являются: ударенные, уроненные накопители, накопители с горелой электроникой или другими следами электрического шока, накопители, пострадавшие в огне или воде.

<Услуга включает в себя: подготовку (в том числе и химическую обработку) платы электроники накопителя, анализ и необходимую модернизацию микропрограммы накопителя и его полное выходное тестирование. По результатам тестирования мы предоставляем краткий отчет о состоянии накопителя и либо рекомендуем его к использованию и даем нашу гарантию, либо рекомендуем заменить накопитель. Рекомендации к замене появляются в трех случаях: сильное «проседание» атрибутов SMART во время тестов (мы используем уникальную систему стресс-тестирования, которая позволяет «пройтись» по всем слабым местам современного жесткого диска); обнаружение на диске дефектных или нестабильных секторов (проблемы с поверхностью); сильный перегрев определенных микросхем во время выполнения тестов (нарушение температурного режима).

Внимание! Услуга оказывается только для новых накопителей. Накопители, которые уже были в эксплуатации более трех месяцев, под эту услугу не попадают.

Станислав Корб, ©2018

Восстановление дискового массива RAID: восстановление данных в Бишкеке

Введение

RAID – технология старая, проверенная временем и надежная. RAID – аббревиатура, означающая Rebundant Array of Independent Drives (Избыточный массив независимых дисков). Что это значит? Если объяснять просто, то это такое устройство, которое объединяет в один диск несколько дисков, и объединяет по-разному. Но результат всегда одинаковый: для пользователя это будет единый накопитель, на который он может скопировать свои файлы.

Хорошо, спросите вы, а зачем тогда нужен этот самый RAID, если можно с таким же успехом просто подключить жесткий диск? Естественно, раз он был придуман, то не просто так. Какие задачи решает дисковый массив?


Дисковый массив из 8 дисков Western Digital Red емкостью 3 ТБ каждый. RAIR-0, общая емкость массива 24 ТБ

Основные функции дисковых массивов

Первая – это повышение производительности. Организация нескольких дисков в единое устройство хранения информации позволяет записывать данные пользователя одновременно на все диски массива порциями, тем самым увеличивая (в теории) скорость работы дисковой подсистемы кратно количеству дисков в ней. На практике, конечно, прирост производительности не кратен числу дисков, но все равно, он весьма высок и превышает обычные для стандартных жестких дисков скорости как минимум на 50%.

Вторая – это повышение емкости. Несколько дисков, объединенных в массив, будут иметь или суммарную емкость всех дисков массива, или немногим менее (обычно суммарная емкость всех дисков минус емкость одного или двух дисков).

Третья – это повышение надежности. Неспроста в расшифровке аббревиатуры RAID присутствует слово «избыточность» — большинство типов дисковых массивов реализуют те или иные механизмы защиты данных от потерь. Единственный тип RAID, в котором не реализована избыточность – это RAID-0, или, как его еще называют, «страйп». Этот тип массива использует все диски для хранения пользовательских данных, он самый быстрый из всех типов дисковых массивов и позволяет получить самую большую конечную емкость устройства, но при этом он абсолютно не защищен от сбоев, и в случае любой неисправности любого члена массива RAID-0 данные на нем теряются.

Как это работает? В целом просто, как и все гениальное.

Диски разделяются на блоки, а блоки чередуются в определенном порядке. Когда нужно записать информацию, контроллер распределяет ее по свободным блокам. Вот и все. Казалось бы, что может быть надежнее?

Типы дисковых массивов

Сохранение общего принципа «блочная запись данных в определенном порядке» порождает массу его разновидностей. Можно записывать данные блоками с чередованием на каждом диске, через диск, через несколько дисков; можно записывать информацию блоками разной величины; можно разделить блоки на блоки с данными и блоки с информацией для восстановления (избыточность), и также чередовать их по-разному. В общем, вариантов масса. Это и порождает основные проблемы восстановления данных с дисковых массивов.

Всем известно, что RAID-массивы бывают разными: RAID-0 (страйп), RAID-1 (зеркало), RAID-3, RAID-4 (массивы с контролем четности, вынесенным на отдельный диск), RAID-5, RAID-6 (массивы с контролем четности блочного типа). Мы не будем описывать эти типы дисковых массивов – в интернете об этом информации более чем достаточно; на рисунках ниже изображено, как они работают.


Блок-схема дискового массива типа RAID-0

Блок-схема дискового массива типа RAID-1

Блок-схема дискового массива типа RAID-5, с объяснением типов массивов RAID-3 и RAID-4

Блок-схема дискового массива типа RAID-6

Реализация избыточности: XOR и коды Рида-Соломона

Намного интереснее то, как реализуется избыточность. Для этого используется два логических механизма: XOR (RAID-3, RAID-4, RAID-5) и XOR + код Рида-Соломона (RAID-6).

Что такое XOR? Это логический оператор, который принято обозначать как «исключающее или». Работает он просто и начинает иметь смысл при трех участниках оператора: первом слагаемом, втором слагаемом и результате. Смысл оператора заключается в том, что зная два из трех его участников мы всегда можем точно назвать третий. Конечно, XOR можно организовать и для четырех, и для пяти, и для большего количества участников – просто сами операции восстановления недостающего члена ряда будут сложнее. Как это работает? Давайте рассмотрим на примере ряда из трех членов (пусть для простоты это будет три диска с однобитовым размером блока, чтобы нам было проще представить механизм):


XOR-матрица для трех участников по одному биту каждый

Схема восстановления утерянного участника при помощи XOR-матрицы

Мы видим, что при утере любого из дисков содержимое утерянного байта в каждом блоке утерянного диска может быть восстановлено из двух других с использованием операции «исключающее или». Очевидно, что при потере одного диска, основанного на этом принципе восстановления (избыточности), массив продолжит работать нормально, хотя и медленнее обычного, так как много времени будет тратиться контроллером массива на расчет недостающих битов информации. По этой причине дисковые массивы с избыточностью обычно делаются с небольшим размером блока (до 256 секторов), так как пересчет больших блоков слишком сильно нагружает контроллер и общая производительность массива при больших блоках падает просто катастрофически; кроме того, активное использование контроллера в режиме постоянного пересчета данных неизбежно приведет к его повышенному износу и по этой причине – преждевременному выходу из строя.

Более высокий уровень надежности дискового массива можно обеспечить, только реализовав дополнительный механизм восстановления утерянных данных. Такой механизм был реализован в массивах RAID-6, он позволяет массиву пережить потерю сразу двух дисков, и минимальное количество членов массива, соответственно, будет четыре. Основан этот механизм на использовании двух независимых систем пересчета данных: XOR (о нем мы сказали выше) и коды Рида-Соломона. В массивах типа RAID-6 чередуются блоки данных, блоки XOR и блоки кодов Рида-Соломона так, что при выходе из строя одного или даже двух дисков содержимое этих дисков может быть пересчитано контроллером, и массив продолжит работать (данные будут доступны). Что же такое коды Рида-Соломона?

Если говорить максимально просто, то код Рида-Соломона – это битовая матрица, позволяющая при утере одного или двух ее участников рассчитать их содержимое по остальным. Казалось бы, чем отличается код Рида-Соломона от XOR? Отличие в том, что коды Рида-Соломона позволяют восстановить битовое значение при отсутствии не одного, а двух компонентов. Для этого используются более сложные алгоритмы: поля Галуа, синдром ошибки и прямое преобразование Фурье. Если при использовании XOR восстановление возможно только при сохранении цикличности расположения битов информации, то при использовании кодов Рида-Соломона сохранение цикличности уже не требуется, так как математика контроллера сама способна рассчитать положение ошибок и скорректировать их.

Естественно, использование такого сложного алгоритма восстановления данных приведет, в случае утери одного или двух дисков из массива RAID-6, к сильному износу контроллера и, как следствие, к его преждевременному выходу из строя.

Состояние массива с избыточностью: нормальное, деградировавшее, неисправное

Любой дисковый массив, имеющий избыточность, по своему состоянию разделяется на нормально работающий (все диски массива исправны и массив функционирует нормально, данные защищены), деградировавший (degraded) (один или два (в зависимости от типа RAID) диска массива неисправны, массив функционирует с пересчетом отсутствующих дисков, данные не защищены) и неисправный (вышло из строя больше дисков, чем поддерживает избыточность, контроллер не имеет возможности рассчитать данные на вышедших из строя дисках, массив перестал существовать как устройство хранения информации).

Нормально работающий массив – его естественное состояние. Для того, чтобы не потерять массив в случае выхода из строя одного из его членов, было внедрено понятие «горячая замена» (hot spare) – пустой диск, единственная функция которого – принять на себя пересчитанные контроллером данные вышедшего из строя накопителя. Такой диск после переноса на него рассчитанных данных включается в массив, а вышедший из строя диск из него исключается. Эта процедура называется «перестроить массив» (RAID rebuild). Как правило, во время перестройки (ребилда) массив работает значительно медленнее, чем в нормальном состоянии. По этой причине в случае ребилда деградировавшего массива пользователь может его перезагрузить («что-то зависает, надо перезапустить»). Результатом такой перезагрузки может стать переход массива из состояния «деградировавший» в состояние «неисправный». Во избежание подобных последствий, при наличии настроенного диска горячей замены, в случае значительной потери производительности массива зайдите в утилиту его настройки и мониторинга и посмотрите, чем именно сейчас занят массив. Если он покажет вам процесс rebuild – не трогайте массив до его окончания.

Состояние массива без избыточности: исправен и неисправен

Для массивов без избыточности (RAID-0 и RAID-1) возможно только два состояния: массив исправен (все диски массива работают и данные доступны) и массив неисправен (один или несколько дисков массива вышли из строя, данные недоступны).

Если с массивами RAID-0 выход одного или нескольких участников массива из строя приводит к образованию «дыр» в данных (те места, где должны быть блоки данных из вышедших из строя носителей), то с массивами RAID-1 (зеркало) все намного интереснее. По простой логике зеркало, или массив с полным дублированием диска, не должно приводить к потере данных в случае выхода из строя одного из участников. На практике это так далеко не всегда. Довольно часто (особенно в случае использования в массиве дисков одного производителя и одной модели) один диск «клонирует» не только данные со второго, но и его ошибки, что может привести к одновременному выходу из строя обоих дисков с идентичными симптомами. В настоящее время зеркалирование – уже отмирающая технология, предпочтение отдается блочным массивам с избыточностью как более надежным.

Составные массивы. Кластеры. Локусы. Современные системы хранения данных

Конечно же, свет вовсе не сошелся клином на тех типах RAID, которые мы перечислили выше; производители всевозможных устройств с удовольствием применяют различные алгоритмы, комбинации и решения для реализации наиболее (по их мнению) быстрых и надежным типов массивов. Один из методов «улучшения» RAID – применение технологий составных массивов.

В самом простом случае составной дисковый массив – это два или больше массива, объединенных в один. Например, два RAID-5, которые объединены в зеркало (RAID-1). Или два страйпа (RAID-0), объединенных в зеркало. И т.п. По типу объединения такие массивы обычно имеют двойную цифровую кодировку (RAID50 или RAID5+0, RAID10 или RAID1+0, и т.д.). Составление массива из нескольких добавляет массиву надежности.

Более сложные структуры создаются уже для промышленных систем хранения данных, они призваны обеспечить большие емкости при высоком уровне отказоустойчивости. Как правило, это составные массивы иерархического типа, реализованные по принципу матрешки: более мелкие массивы помещаются в более крупные, и так до тех пор, пока на верхушке не остается один, наиболее крупный, RAID. Например, такая структура:

Десять массивов RAID-5, объединены попарно в массивы RAID-0 (таких массивов получается пять), эти массивы RAID-0 объединены в RAID-6; четыре таких массива RAID-6 объединены в RAID-0. Как разграничить такую схему?

Для этого придумана специальная терминология.

Промышленное устройство хранения информации (или просто дисковый массив) – это окончательный продукт взаимодействия всех дисков в системе, то свободное место, которое он предоставляет для использования.

Кластер – первичная ячейка хранения данных, объединение нескольких массивов первого или второго уровня (в нашем примере кластером является попарное объединение массивов RAID-5 в массив RAID-0).

Локус – объединение кластеров.

Таким образом, простым определением промышленного устройства хранения информации будет: промышленное устройство хранения информации – это иерархическое объединение в единое дисковое поле локусов кластеризованных дисковых субъединиц.

Физическая реализация дисковых массивов

Как дисковые массивы реализуются на практике? Возможно два метода: программный и аппаратный.

Массив на программном уровне может быть создан даже на базе одного диска (в RAID программно собираются участки его поверхности). Обычно программный массив собирается в Linux, реже – Mac или Windows. Инструменты создания программных массивов в Linux/Unix системах намного мощнее, удобнее и гибче, чем в Windows, поэтому в подавляющем большинстве NAS (Network Attached Storage) для сборки массива используется Linux. Соответственно, собирая программный массив блочного типа с избыточностью, нужно быть готовым к тому, что он будет «отъедать» часть ресурсов процессора и оперативной памяти для обсчета избыточности.

Массив на аппаратном уровне собирается с использованием специализированного RAID-контроллера – это или внешняя карта расширения, устанавливаемая в PCI или PCI-E слот, или интегрированный в материнскую плату микрочип. В любом случае, всю математику, а также хранение настроек, логов ошибок и т.п., берет на себя уже не программная часть, реализванная в операционной системе, и не ресурсы компьютера, а аппаратная часть контроллера.

В большинстве случаев для организации дискового массива требуются диски одинакового объема. Однако некоторые контроллеры позволяют реализовывать блочные дисковые массивы с избыточностью и на дисках разного объема: DROBO, Synology и т.п. Такие массивы строятся на принципе разделения общего дискового пространства на зоны, из которых собирается конечный массив. Эти массивы имеют свои собственные маркетинговые названия (например, Beyond RAID у DROBO, Hybrid RAID у Synology, и т.п.), однако суть всегда остается одинаковой: это, во-первых, блочный массив, а во-вторых, у него имеется реализованная циклическим способом избыточность.

На каких дисках строятся дисковые массивы

В принципе для построения массива нет ограничений по используемым носителям. Это могут быть и традиционные жесткие диски с любым интерфейсом (SCSI, SAS, SATA, PATA), и твердотельные диски с любым интерфейсом (SATA, NVMe, M.2 и т.п.), и карты памяти (в китае даже выпускаются особые платы расширения, позволяющие сделать из нескольких карт SD один твердотельный накопитель – при этом карты памяти работают как RAID-0).

Массивы на SSD собираются в дата-центрах, для которых приоритетным является не объем хранилища, а его производительность – например, там, где требуется обрабатывать медиа-контент (видео в разрешении 4К и 8К, фотографии, снятые камерами с разрешением больше 32 мегапикселей, и т.п.). Это киностудии, медиахранилища (например, облако iCloud) и т.п.

На жестких дисках собираются массивы тогда, когда объем важнее производительности – и, естественно, когда построить массив на SSD не позволяет бюджет (твердотельные диски намного дороже жестких). Массивы на SATA или PATA-дисках (последние уже почти не встречаются) собираются в бюджетном сегменте, они дешевле всех других и позволяют строить хранилища довольно внушительного объема.

SCSI или SAS диски используются в бизнес- или enterprise-решениях, их отличает более высокая степень надежности, чем SATA/PATA диски. Кроме того, обычно SCSI/SAS диски разрабатываются именно для использования в серверах, поэтому их отличает (обычно) более высокая скорость вращения шпинделя, уменьшенное время поиска информации, высокие скорости передачи данных.

Массивы на картах памяти строят в подавляющем большинстве случаев обычные пользователи, хотя такие массивы могут быть реализованы в некоторых профессиональных камерах для повышения безопасности данных (две карты памяти, которые работают в режиме RAID-1). Массив на картах памяти наименее надежен, так как качество карт памяти значительно уступает качеству жестких или твердотельных дисков, карты памяти имеют гораздо больше шансов на выход из строя и, наконец, они просто значительно медленнее дисковых накопителей.

Восстановление дисковых массивов в компании IT-Doctor

Наш опыт в области восстановления данных составляет более 25 лет, и немалую часть этого времени мы посвятили дисковым массивам. Основная часть наших клиентов обращалась с устройствами NAS и с внешними USB-дисками, оборудованными внутри 2 – 4 накопителями. Как правило, в таких устройствах реализуется либо массив RAID-0, либо RAID-5. Подобного рода массивы восстанавливаются обычно очень быстро, так как нами накоплена большая база стандартных конфигураций дисковых массивов для такого рода устройств. В 90% случаев при исправных дисках при обращении к нам с устройством NAS или внешним диском, построенным по архитектуре RAID, мы восстановим данные в тот же или на следующий день.

В более сложных случаях, когда применяется нетривиальная конфигурация массива, или когда один или несколько дисков в массиве вышли из строя в разное время, и требуется определить, какой из них несет актуальные данные, а какой следует игнорировать, процесс восстановления данных может занять 2 – 3 дня. С чем это связано?

Прежде всего, мы обязательно сделаем посекторную копию каждого диска массива. Это делается даже в том случае, если все диски в массиве исправны. Работа с копией полностью исключает фатальные для данных ошибки, а ведь один из наших основных принципов – работать безопасно.

Затем мы исследуем диски вручную и определим, какие из участников массива в настоящий момент исправны, какие – неисправны, и какие из неисправных дисков следует восстанавливать (определяется актуальность данных). Только после этого неисправный диск будет приводиться в пригодное для копирования данных состояние и будет создаваться его посекторная копия.

После всех приготовлений диски анализируются специализированным ПО (в том числе, если требуется, и нашей собственной разработки), определяется конфигурация массива (порядок дисков, размер блока, тип цикла и распределение блоков, смещения (если они есть) и т.п.). Сборка массива осуществлятся в шестнадцатеричном редакторе; после сборки возможно две опции доставки данных – создание полноценного клона массива на другой (исправный) массив (например, на другой NAS) или пофайловое копирование информации на носители заказчика (на другой NAS, на другие диски, и т.п.).

Статистика по обращениям к нам с дисковыми массивами для восстановления данных приводится в этой статье. Как видите, мы восстановили немало массивов, имеем в этом плане огромный опыт и все необходимое для таких работ оборудование: SCSI и SAS-контроллеры, внешние USB-раки для монтажа многодисковых массивов (до 8 SAS-дисков в стойке), специализированное ПО для анализа и сборки массивов. Мы привыкли работать быстро и качественно и всегда готовы оказать вам помощь с воссстановлением данных из RAID, если он вдруг перестал работать.

Станислав Корб, ©2018

Поиск потерянной информации: восстановление данных в Бишкеке

Не далее как вчера столкнулся с восстановлением данных с жесткого диска, когда заказчику нужно было найти определенные данные в текстовом формате. Заказчик установил на диск новую операционную систему, при этом удалив предыдущие разделы. Старую файловую систему восстановить не удалось – она оказалась полностью переписанной. В этом случае помочь может только RAW-восстановление: диск сканируется специальными программами, которые анализируют его сектор за сектором, производят поиск заголовков нужных вам типов файлов, определяют их размер, и затем – выводят результат такого сканирования в виде дерева файлов. Результат может быть сохранен в виде файлов, которые затем необходимо отсортировать вручную, так как оригинальные названия файлов не сохраняются.


Папка с файлами фотографий после отработки восстановления по типу “RAW”

Если с фотографиями и видео все можно решить относительно быстро – отсортировать фотографии по размеру, удалить слишком маленькие файлы, а затем рассортировать фотографии по превьюшкам, то с текстовыми документами этот метод не сработает, так как даже на превьюшках вы не увидите того, что написано в документе. Многие идут самым простым путем: открывают документы один за другим, просматривают содержимое и переименовывают файл в соответствии с ним. Это можно относительно легко сделать для нескольких сотен документов, но как быть, если их несколько десятков или даже сотен тысяч, и ищете вы конкретную информацию?

В этом случае вам на помощь придет автоматизация поиска.

Не секрет, что некоторые функции Windows позволяют находить документы по их содержимому. Однако у поиска операционной системы есть два серьезных недостатка: он хорошо работает только на проиндексированных папках и он обрабатывает не все типы документов. Соответственно, гарантий того, что нужная вам информация найдется поиском, нет. Для того, чтобы найти информацию гарантированно, нужно использовать специализированные функции файловых менеджеров. Они дают очень хорошие результаты, позволяют найти все файлы, в которых имеются интересующие вас слова, удобны для работы.

Как это делается?

Все просто. Для начала скачайте один из файловых менеджеров. Я рекомендую Total Commander по двум причинам: он условно-бесплатный, то есть работает без регистрации, и у него дружественный и интуитивно понятный интерфейс. Cкачать последнюю версию Total Commander можно по ссылке

Допустим, мы ищем документ, в котором содержится номер телефона интересующего нас человека. Он записан в текстовом файле, расположенном в папке «Мои документы», нам известно имя контакта, и больше никаких сведений о нем у нас нет. Чтож, мы можем долго искать его, открывая один файл за другим, или воспользоваться расширенными опциями поиска файлов в программе Total Commander. Давайте пройдем по всему процессу поиска от начала до конца.

1. Открываем Total Commander. Интерфейс представляет собой окно, разделенное на две части, в которых можно открыть два разных источника (из одного в другой можно копировать и переносить данные, и т.п.). Нам все равно, в какой части окна работать; я обычно выбираю правую панель – я правша =). Выбираем нужным нам источник (мы работаем с папкой «Мои документы», поэтому я выбираю его).


Рабочая панель программы “Total Commander”, выбираем нужную нам папку

2. Комбинацией клавиш «CTRL + A» (нажимаем одновременно, или CTRL моментом раньше, чем А) мы выбираем все содержимое папки. Если мы наведем и установим курсор на одной папке, то поиск будет работать только в ней.


Рабочая панель программы “Total Commander”, выбраны все папки и файлы нажатием комбинации клавиш «CTRL + A»

3. Открываем инструмент поиска. Находится он в меню «Инструменты» -> «Поиск файлов».


Открываем инструмент поиска программы Total Commander

4. Теперь нам важно указать, что именно мы ищем. В поле «Искать файлы» можно указать типы файлов, которые следует просмотреть (например: *.txt, *.doc – программа будет производить поиск только этих файлов, и будет пропускать остальные). Если вы не уверены, в каком именно типе файла сохранили свои данные, оставьте это поле пустым – тогда программа будет анализировать все файлы. Самое важное для нас поле – «С текстом». Ставим на нем галочку и указываем текст, который мы ищем. В нашем примере с контактом – это имя контакта (я указал «Иван»). Далее можно настроить опции текстового поиска: ищем мы слово целиком, или это фрагмент какого-то составного слова (например, если мы уверены, что Иван был написано отдельно, то можно выставить опцию «Только слово целиком», если же мы не уверены в этом, и было что-то типа «Иван_Петров» или «ИванИванов», то лучше этот чекбокс не трогать); соблюдать ли регистр (если эта галочка не установлена, то программа будет искать слово во всех регистрах); тип кодировки. Тип кодировки важен, так как символы в разных кодировках пишутся в файл по-разному. В Windows по умолчанию это своя кодировка ANSI, и кодировка выбирается Total Commander по умолчанию – этот чекбокс можно не трогать.


Настраиваем поиск в программе “Total Commander”: ищем слово «Иван» во всех файлах папки «Мои документы»

5. После того, как вы настроили все опции поиска, нажмите кнопку «Начать поиск». Процесс может занять довольно продолжительное время, если у вас много файлов. Дождитесь его завершения (в нижней части окна поиска появится надпись «Найдено файлов – ХХХ, каталогов – ХХХ, а программа издаст звуковой сигнал события Windows). В процессе поиска в окне внизу будут появляться его результаты.


Поиск файлов в программе Total Commander в работе

Поиск файлов в программе Total Commander завершен

6. В окне поиска можно перейти к интересующему вас файлу (кнопка «Перейти к файлу»), если вы уверены, что это именно то, что вам нужно. Если же такой уверенности нет, то можно вывести все файлы на панель для удобства работы, и просматривать их по одному (кнопка «Файлы на панель»).


Результаты поиска программой Total Commander выведены на панель

7. В нашем примере нашлось довольно много файлов, содержащих текстовое поле «Иван» — даже среди картинок. Записывать информацию контакта в изображение мы вряд ли могли, поэтому картинки можно сразу пропустить. Для удобства дальнейшего поиска лучше всего рассортировать файлы по типу (просто нажав на кнопке «Тип» в панели с файлами).


Результаты поиска программой Total Commander отсортированы по типу, интересующий нас файл выделен

8. Очевидно, что в первую очередь проверять следует текстовые файлы. Такой файл нашелся только один (их может быть и больше). Установим на него курсор и нажмем функциональную клавишу F3 (просмотр файла) – и мы увидим его содержимое. Поздравляю! Вместо нудного поиска файла по всему каталогу «Мои документы» вручную, которые может занять продолжительное время, мы нашли нужный нам файл за пару минут.


Файл, найденный программой Total Commander, открыт для просмотра

Как видим, процедура поиска может быть сильно облегчена, нужная нам информация может быть найдена быстро, а представляемый программой результат поиска удобен и понятен.

Не теряйте своих данных, а если потеряли – IT-Doctor всегда готов помочь ее восстановить.

Станислав Корб, ©2018



Мы принимаем к оплате | We accept payments


Мы стажировались и работали в странах | We worked or practiced in following countries