?

Log in

No account? Create an account

[icon] TBW - Segmentation fault
View:Свежие записи.
View:Архив.
View:Друзья.
View:Личная информация.

Tags:
Security:
Subject:TBW
Time:10:00 am
Немного истории. Вначале была обычная флеш-память. Ее сейчас называют SLC. Она поддерживала десятки тысяч циклов перезаписи. На смену пришла MLC c тысячами циклов. А самое новое - это TLC с сотнями циклов перезаписи. Сотнями! Несколько сотен - и все, на помойку.

Понятно, что продать пользователю накопитель с ресурсом в несколько сотен циклов - нереально. И тут приходят маркетологи. И количество циклов перезаписи заменяется на TBW. Расшифровывается как terrabytes written. Даже расшифровку еле нашел - весь интернет завален маркетинговым шлаком, о том, какие хорошие новые диски.

Маркетологи утверждают, что ресурс огромен, рядовой пользователь столько данных не запишет за всю жизнь. Я же, как реализовавший самолично механизмы ротации блоков, уверен,что это пиздеж.

На пальцах как работает механизм ротации блоков. Каждый блок маркируется количеством циклов стирания, изначально 0, инкрементируется с каждым стиранием. При записи контроллер ищет свободный блок с наименьшим счетчиком стираний и записывает данные туда. Затем создается таблица маппинга физических блоков на логические. В теории это дает равномерную перезапись блоков.

На практике же накопитель содержит статические данные - операционная система, программы, куча архивного хлама и прочего говна. Если этим занято 90%, то TBW падает ровно на порядок - смотри предыдущий абзац по слову "свободный". Кто-нибудь из маркетологов об этом предупреждает?

Поэтому, чем больше забит диск, тем меньше его ресурс. Если диск забит под завязку - ресурс возвращается к базе в несколько сот циклов перезаписи. Может, если производитель не сильно жадный и есть избыточность секторов, то чуть лучше. Но когда речь идет о постоянно изменяемых файлах - документах, исходниках, которые автосохраняются каждые несколько минут - это не сильно поможет.

Для себя я сделал вывод такой - для запуска ОС и прикладных программ SSD рулит. Для ведения проектов - ну нафиг.
comments: Оставить комментарий Previous Entry Поделиться Next Entry


gray_bird
Link:(Link)
Time:2018-06-25 07:09 am
Где то попадалось эмпирическое пожелание "не менее 50% на SSD должно быть свободно чтоб он мог нормально работать"
(Ответить) (Thread)

sur_kg
Link:(Link)
Time:2018-06-25 07:52 am
+1. Нужно удушить свою жабу и купить SSD с запасом по емкости хотя бы раза в два.
(Ответить) (Развернуть) (Parent) (Thread)

sur_kg
Link:(Link)
Time:2018-06-25 07:51 am
Реквестирую рассказ о работе TLC-памяти в режиме "SLC-кеша" - как это влияет на ресурс.

А еще о том, что уже записанную на SSD информацию необходимо регулярно перезаписывать, иначе она "протухнет" из-за утечки заряда - как это помогает равномерно использовать ресурс.

Ну и, если Вы используете более другую операционную систему, - как там сейчас с поддержкой TRIM - оно наконец-то включено по умолчанию?
(Ответить) (Thread)


mbr
Link:(Link)
Time:2018-06-25 08:31 am
Меня, честно говоря, мало интересуют костыли поверх существующего легаси, которые маркетологи продают как преимущество :)))
(Ответить) (Развернуть) (Parent) (Thread)


air_the_best
Link:(Link)
Time:2018-06-25 08:04 am
я слышал, что SSD обычно дохнет до состояния read only, что очень прикольно!
(Ответить) (Thread)


mbr
Link:(Link)
Time:2018-06-25 08:31 am
Ну фиг знает. На физическом уровне оно даже не читается.
(Ответить) (Parent) (Thread)

ex0_planet
Link:(Link)
Time:2018-06-25 08:44 am
это ты еще write amplification не учел.
(Ответить) (Thread)

ex0_planet
Link:(Link)
Time:2018-06-25 08:54 am
ps. Читая про дохнущие ssd делаю вывод, что в свое время всё правильно сделал, купив в свое время интеловский ssd на mlc избыточного объема, и используя его только под кэш.
(Ответить) (Thread)

sur_kg
Link:(Link)
Time:2018-06-25 09:24 am
А, если не секрет, - где читаете? И от чего они дохнут?
(Ответить) (Развернуть) (Parent) (Thread)


volger
Link:(Link)
Time:2018-06-25 09:07 am
Оставлять 10% свободными + бакап важных частей (git и прочие) или автозаливка на какую-нибудь mega, ну и самое главное - гарантия на диски от 5 до 10 лет. И не насрать уже становится при этом, когда этот диск помрет, зато проекты быстрее шуруют, не?
Еще есть к примеру кэш с оперативкой у того же самсунга - rapid.
(Ответить) (Thread)

sur_kg
Link:(Link)
Time:2018-06-25 09:32 am
+1

Проще иметь три-четыре компа и постоянно синхронизировать между ними.
(Ответить) (Parent) (Thread)


boud
Link:(Link)
Time:2018-06-25 09:09 am
На одном из дисков наработка 58944 часа. И ничего, живой.
Боюсь, ССД не сможет так же.
(Ответить) (Thread)

sur_kg
Link:(Link)
Time:2018-06-25 09:45 am
У меня один диск с 2010 года один диск работает 24/7, а до этого он еще лет 5 минимум в офисных машинах отпахал. Но правда, он используется редко довольно.

SSD, даже маркетингово-оптимизированный ИМХО сможет не хуже.
(Ответить) (Развернуть) (Parent) (Thread)


michaelkoloboff
Link:(Link)
Time:2018-06-25 12:11 pm
С твоей подачи погуглил "How to Maximize SSD Life Span".
Обнаружил, что абсолютно все советы как продлить жизнь SSD уже на практике реализованы в Вин10. Но есть нюанс - с точностью до наоборот реализованы: гибернация, пэйдж файл, индексация, временные файлы - все-все-все на SSD пишется, даже дефрагментация включена.
(Ответить) (Thread)


mbr
Link:(Link)
Time:2018-06-25 12:37 pm
Гыг. А почему нет, учитывая что, в основном, винда продается предустановленной на ноутбуки. Все при делах.
(Ответить) (Развернуть) (Parent) (Thread)


ramonacby
Link:(Link)
Time:2018-06-25 03:22 pm
маркетолухи рулят рынком. а юзверь голосует рублем глубоко не вникая
(Ответить) (Thread)

Dark_SavanT
Link:(Link)
Time:2018-06-25 06:53 pm
Там нынче уже QLC в моде.

А тем временем, насколько я знаю, линуксовый UBIFS до сих пор не умеет MLC как надо, поскольку там топология даёт интересные спецэффекты типа: cross-page write disturbance, а производители nand крайне неохотно идут на контакт в этих вопросах.

Короче, если кому-то вдруг интересно - нынче в самоделку уровня стартапа можно ставить либо emmc, либо SLC нанд, благо его ещё можно купить и стоит он разумных денег.
(Ответить) (Thread)


kincajou
Link:(Link)
Time:2018-06-26 11:06 am
micron то ли готовит к выпуску, то ли грозится разработкой флэши с 64 битами на одну ячейку

интересно, какой ресурс будет - одна перезапись или таки две?
(Ответить) (Развернуть) (Parent) (Thread)


Irnis Haliullin
Link:(Link)
Time:2018-06-25 08:34 pm
а контроллеры случайно не умеют "перетусовывать" блоки? Смотрит такой контроллер на блок - о, записано туда что-то очень давно и только читается, ладно копируем данные в блок, который часто перезаписывался...
(Ответить) (Thread)

sur_kg
Link:(Link)
Time:2018-06-26 12:05 am
Контроллер ОБЯЗАН так делать, ибо давно записанная информация со временем протухает из-за утечки заряда.
(Ответить) (Развернуть) (Parent) (Thread)


techquisitor
Link:(Link)
Time:2018-06-25 08:40 pm
Мать родная, всё в кучу понамешано.

Во-первых: TBW термин маркетинговый, да. Есть вполне себе промышленный DWPD, который не только к SSD относится, а вообще к любым стораджам. По нему смотри.
Во-вторых: у SLC как раз всё хуёво с ресурсом было. Как раз современные SSD гораздо более живучие. Те SLC про которые ты говоришь, это очень-очень ранние модели. Дорогие, живучие и с очень малой ёмкостью. IntelX25 некоторые до сих пор берут, чтобы ставить в сервер практически вечный SSD под /. Там ёмкость не более 64Гб. Сейчас в таком же положении новый Intel Optane.
Современные серверные и некоторые консумерские SSD имеют огромный DWPD сравнимый уже с обычными HDD, например ребята из 3DNews гоняют SSD. Например, Samsung 850Evo уже перевалил у них за 5 ПЕТАБАЙТ данных и всё ещё молотит, но recovery уже в районе 74%. Скоро начнёт отказывать.
В-третьих: алгоритм прошивок сильно продвинулся с тех пор, что заодно даёт п.2.
В-четвёртых: для ведения проектов нужен бэкап и от типа накопителя это не зависит от слова "совсем". Говорю как испорченный Кровавым Энтерпрайзом™ :) Если прям совсем надо, то купи наконец ленту себе. Читаемость ленты – тридцать-сорок лет. Накопитель стоит косарей тридцать, хотя при желании дешевле найти можно. Ленты ж дешманские достаточно. LTO-5 тебе за глаза под исходники и бинарники на очень долгие годы.
В-пятых: да, некоторое количество неразмеченного пространства реально всё ж иметь. У меня именно так и сделано.
В-шестых: как там с поддержкой TRIM для конкретного SSD в ядре у тебя? И как вообще обстоят дела с поддержкой твоего SSD в ядре? Если ты думаешь, что это неважно, тоя скажу, что ещё как важно. Нашумевший случай с Algolia вот вспомнился тут же, когда специалисты Samsung лично приезжали и разбирались: . Смотри сразу UPDATE July 17 если лень читать всё целиком.

Мораль в целом: не бери дешёвое говно и нормально будет всё.
(Ответить) (Thread)


sharfurer
Link:(Link)
Time:2018-06-25 09:03 pm
Плюсую!
(Ответить) (Parent) (Thread)


volger
Link:(Link)
Time:2018-06-26 04:19 am
Всем переносителям swap/файла подкачкиm логов и быстрого IO на HDD посвящается https://3dnews.ru/938764/page-3.html#%D0%97%D0%B0%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 см. таблицу в заключении. Диски просто нормальные надо покупать, разница в цене там не на порядки, процентов на 5-10 (сравнить к примеру wd green с тем же samsung evo 960).

Главное убедиться, что TRIM работает, rapid (если оперативки дохрена) включен (вот это вообще необязательно, могут данные не успеть записаться при внеплановом отключении, но можно ведь и ИБП поставить), 5-10 лет гарантии есть, 10% оставляешь свободным (зачем 50% оставлять, что за дурость, вон тот же самсунг в своей тулзе дает в МАКСИМУМЕ 17% на overprovisioning, а рекомендуемое значение - 10%), автоматический бакап важных папок делается (можно git, а еще можно вообще в полностью автоматическом режиме 50 гигабайт нахаляву - mega.nz, и кстати, с версионированием) - но нет, мы раскорячимся и перенесем самые быстронужные операции на HDD (типа компиляция проекта, или открытие его в IDE или работа с виртуалками), а то утибоженькамой вдруг ssd'шенька помрет, это же в гарантию ехать придется, тратить на это часа 2, а то и три времени, нет, лучше мы будем лет 7 копать руками, чтоб экскаватор не сломать.
(Ответить) (Thread)


mbr
Link:(Link)
Time:2018-06-26 05:50 am
Это лабораторные тесты. Ни о чем.
(Ответить) (Развернуть) (Parent) (Thread)


wizzard0
Link:(Link)
Time:2018-06-26 06:27 am
Хм. Я с 2010 живу на SSD, по ресурсу не закончился ни один. Контроллеры дохли не раз (точнее, более 10 раз, разных вендоров). Но не ресурс. При том, что на серверах они шифрованные (т.е. никакой компрессии), TRIM из-за этого же без толку (с точки зрения диска - всегда занято 100%), write amplification 2-3x, и там обычно живет куча виртуалок, втч с БД (т.е. пишется туда в несколько раз больше, чем на ноуте).

Посмотрел еще раз на самую старую из сурово нагруженных SSD-шек. 6 лет аптайма, 1140760 GB Total NAND writes, Program Fail Count 0, Erase Fail Count 0. Ну хз. Может оно скоро сдохнет. Ну и что, собственно? Рядом торчит SSD обьемом в 10 раз больше, а эту держу больше ради эксперимента - может хоть где-то получится ресурс выбрать?

На ноуте вот за год 5400 GB Total NAND Writes, в 30 раз меньше (обьем одинаковый). Там тоже виртуалки, но не такое издевательство, конечно. 180+ лет ресурса? Мне хватит, ноут явно заменю раньше :)

Edited at 2018-06-26 06:40 (UTC)
(Ответить) (Thread)

sur_kg
Link:(Link)
Time:2018-06-27 05:44 am
Круто!

10 сдохших контроллеров - это на сколько диско-лет работы? Есть ли статистика типа "если контроллер прожил хотя бы X лет, то он нормальный и не сдохнет" или "контроллеры живут не более Y лет"?

Интересно, а почему шифрование реализовано так, что нельзя сказать, какие блоки свободны.

Какой тип NAND? По идее для TLC с современными контроллерами при отсутствии TRIM деградирует Write Performance.
(Ответить) (Развернуть) (Parent) (Thread)


wizzard0
Link:(Link)
Time:2018-06-26 06:51 am
При этом, под какое-нибудь видеонаблюдение я бы конечно брал HDD, просто протирать день за днем sequential write - это тупо :) Но для остальных применений... хз, не вижу проблем.
(Ответить) (Thread)

[icon] TBW - Segmentation fault
View:Свежие записи.
View:Архив.
View:Друзья.
View:Личная информация.