Поиск и удаление невидимых символов

Что такое невидимые символы?

В Unicode есть десятки символов, которые не отображаются вовсе: пробел нулевой ширины (U+200B), соединители, знаки направления письма, маркеры порядка байтов (BOM) и целые блоки вроде символов-тегов, невидимых копий алфавита ASCII. Они существуют не просто так: объединяют эмодзи в «семьи», участвуют в начертании арабских и персидских слов, позволяют смешивать письмо справа налево с письмом слева направо. Но поскольку они переживают копирование и вставку, оставаясь невидимыми, они попадают и туда, куда их никто не звал: в исходный код, электронные таблицы, пароли, имена пользователей и поисковые запросы, где тихо ломают точное совпадение и сравнение строк.

Как проверить текст на невидимые символы?

Вставьте текст в поле выше. Сканер проходит по каждому символу и помечает всё, что не отображается вовсе или маскируется под обычный пробел, а затем показывает каждую находку прямо в тексте, именно там, где она стоит, с её кодовой позицией Unicode и названием. Соединители, которые выполняют свою обычную работу внутри последовательности эмодзи, отмечаются как безобидные и не смешиваются с подозрительными, поэтому обычный «палец вверх» не выглядит как тревога.

Как удалить невидимые символы из текста?

Вставьте текст, снимите флажки с того, что хотите оставить, и скопируйте очищенный результат. У каждой группы свой переключатель: можно убрать символы нулевой ширины, но оставить специальные пробелы, или наоборот; специальные пробелы заменяются обычными, а не исчезают, поэтому слова не склеиваются. С ответами ChatGPT и другим текстом от ИИ это работает так же, как с текстом из Word, Excel или PDF: вставьте сюда, очистите, вставьте обратно.

Добавляет ли ChatGPT невидимые символы в текст?

Иногда, и до сих пор спорят, намеренно ли это. В апреле 2025 года пользователи заметили, что новые модели OpenAI вставляют в длинные тексты узкие неразрывные пробелы (U+202F); OpenAI ответила журналистам, что это особенность того, как модели научились писать, а не водяной знак. Что известно точно: текст от ИИ часто содержит типографские символы, которых с обычной клавиатуры почти не вводят, например фигурные кавычки, длинные тире и неразрывные пробелы, и детекторы ориентируются именно на них. Технология Google SynthID работает иначе: она помечает сам выбор слов, поэтому такой водяной знак не удалить никакой очисткой символов. Этот инструмент убирает скрытые символы и по желанию выпрямляет пунктуацию в стиле ИИ; чего он не может, так это сделать текст неотличимым от написанного человеком.

Опасны ли невидимые символы?

Могут быть опасны. Атака Trojan Source (CVE-2021-42574) использует символы управления направлением, чтобы исходный код читался для проверяющего одним образом, а компилировался другим. Символы-теги позволяют пронести целое скрытое ASCII-сообщение внутри безобидного на вид текста; этим трюком протаскивают инструкции мимо фильтров ИИ-чат-ботов, и этот инструмент декодирует такое скрытое сообщение и показывает его вам. А символы нулевой ширины применяли для маркировки документов: в каждую копию встраивается свой невидимый узор, и утёкший экземпляр выдаёт того, кто его слил. По сути это то же самое, что и метаданные, скрытые в фотографиях, только спрятанное в самом тексте.

Какие символы обнаруживает этот инструмент?

Семь групп: символы нулевой ширины (ZWSP, ZWNJ, ZWJ, соединитель слов, BOM, невидимые математические операторы, заполнители хангыля), символы управления направлением (RLO, LRM, встраивания и изоляты), пробелы-двойники (неразрывный, тонкий, волосяной, идеографический, остальные пробелы фиксированной ширины и пустой символ Брайля, которым имитируют пустые сообщения), мягкие переносы, непечатаемые управляющие и форматирующие символы, символы-теги и селекторы начертания. Удаление настраивается по группам, последовательности эмодзи по умолчанию защищены, а специальные пробелы превращаются в обычные, а не исчезают. Если же вы работаете с экранированными строками, Конвертер Unicode-экранирования превращает любой из этих символов в видимую запись \uXXXX и обратно.