Как проверить текст на уникальность

Думаю раз уж вы читаете данную статью, то для вас не является новостью тот факт что поисковые системы любят только уникальные тексты и стараются не ранжировать высоко скопированные и украденные копии. Так как текстов каждый день появляется очень много, естественно существует потребность в различном программном обеспечении, которое проверяет ту самую уникальность.

Способов проверки уникальности хватает, но все ли они обладают достаточным качеством, чтобы пользоваться ими регулярно, для проверки текстов перед публикацией на сайте? В данной статье я хочу рассмотреть как проверить текст на уникальность и какие инструменты для этого лучше всего использовать.

Что нужно знать о уникальности и как происходит ее проверка.

1. Сперва рассмотрим основные определения, которые связанны с проверкой уникальности. 

Уникальный текст - это тот текст, который раннее не был опубликован ни на одном сайте в интернете и / или не был проиндексирован поисковыми системами. Т. е. это тот текст, о существовании которого не знают поисковые системы.

Рерайтинг - тут можно встретить много определений. Попросту говоря, рерайтинг это текст переписанный своими словами. Т. е. есть определенная статья, которая находится в индексе ПС, ее взяли и переписали. Теперь в глазах ПС она выглядит уникальной, но ее информационное содержимое осталось прежним, конечно если ее рерайтил адекватный автор.

Копипаст - от английского Copy (копировать) Paste (вставить), т. е. это скопированный текст. 

2. Теперь о том как происходит проверка. Поисковые системы постоянно сканируют страницы разнообразных сайтов интернета с целью выявления новых текстов и занесения их в свои базы, из которых они и извлекаются при поиске. И они считают уникальным именно тот текст который был обнаружен роботом ПС раньше чем другой. Т. е. если разместить две одинаковые статьи на разный сайтах, то уникальной будет та, которую робот раньше проиндексирует.

При проверке статьи на уникальность, тот сервис или программа, которую вы для этого используете, обращается к поисковым системам и сравнивает ваш текст, с уже имеющимися вариантами текста в индексе ПС. Чем более не похожим будет текст вашей статьи на все те тексты, которые имеются в базе ПС, тем более уникальной будет ваша статья. 

Но проверка текста происходит не целиком, он разбивается особым образом по несколько слов, на так называемые шинглы. Шингл это несколько слов текста которые подвергают проверке. Размер шингла в разных программах может быть от 9 до 3 слов. Если шингл равен трем, то весь текст разбивается по три слова и происходит проверка на наличие 3 слов идущих точно в таком же порядке в других текстах. Если таковы найдены значит данный участок текста не уникальный.

При этом различные программы по разному составляют эти самые шинглы. Проверяемая статья не просто с самого начала разбивается по три слова, применяется так же и нахлест шинглов. Это когда каждый новый шинг может захватывать слова из предыдущего. Тут все зависит от алгоритмов работы программы или сервиса.

Имеющиеся на сегодняшний день программы могут не только определять полные копии текста, т. е. так называемый копипаст, но и частичные копии т. е. когда слова в тексте заменяются на синонимы, меняется морфологическая форма слова и т. д. Это называется проверка на рерайт.

Однозначного мнения по поводу того как ПС относятся к тексту, который при проверке на рерайт  имеют низкую уникальность нет. Здесь я не имею ввиду применение различных автоматических синонимайзеров, такие тексты ПС быстро определяют.  

Но производить такую проверку все же стоит, особенно когда вы заказываете у автора написание копирайта. Потому как на самом деле, кто бы вам не говорил, что он напишет вам копирайт, если по данной теме существует множество статей в интернете, то это будет обычный рерайт. И если он будет не качественный программа это определить. И тут вы вправе требовать доработки материала. Правда в некоторых темах уже опубликовано столько материала, что добиться уникальности при проверке на рерайт просто не возможно.

Каждая программа или сервис имеет свои алгоритмы, достоинства и недостатки. И просто так дать Вам ссылки на данные инструменты это недостаточно. Поэтому далее я предоставлю вам результаты небольшого тестирования этих инструментов. Для тестирования я проверил уникальность нескольких статей, которые мне на днях прислали в бирже ContenMonster, где я заказываю контент для сайтов. Но данные статьи предназначались для размещения в них ссылок через биржу MiraLinks.

Онлайн сервисы для проверки уникальности

Для начала рассмотрим как проверить текст на уникальность онлайн и какие сервисы можно для этого использовать.

Сервис  Miratools.ru

Ссылка на сайт: http://miratools.ru

Это сервис от всем известной биржи статей MiraLinks. Существует как платная так и бесплатная версия сервиса. Честно говоря не понимаю зачем такие вещи делать платными? Но все же в платной версии нет ограничений на количество проверок, количество символов для проверки, можно применять пакетную проверку и проверку по URL. В бесплатной версии из дополнительных функций есть возможность указать домен сайта который будет игнорироваться при проверке.

Качество проверки в целом не плохое но проверка идет с шинглом в 9 слов. Это достаточно много, поэтому данный онлайн сервис не совсем подходит для постоянной проверки текстов. Делали его именно для проверки уникальности статей размещаемых через биржу MiraLInks и с этой задачей он наверное справляется, но не более того. Все мои тексты по мнению данного сервиса оказались уникальными на 100%, хотя при последующей проверке их, при помощи программ видно, что это не так.

Сервис от биржи контента Text.ru

Ссылка на сайт: http://text.ru

Подвергать проверке можно статьи размером от 100 до 15000 символов. Как заверяют разработчики данного сервиса проверка производится не методом шинглов, а при помощи каких то других алгоритмов. Можно использовать сервис без регистрации, но пройдя ее вам будут доступны некоторые дополнительные функции.

Качество проверки. Нужно сказать, что текст подвергается очень серьезной проверке и по своему характеру она очень похожа на проверку на рерайт, доступную в некоторых программах, о которых пойдет речь ниже. 

После проверки неуникальные участки текста будут подсвечены, а под текстом расположены адреса страниц на которых найдены совпадения. Есть возможность подсветить не уникальный текст, который найден на всех сайтах, или на конкретном, одном сайте. Если вам прислали неглубокий рерайт или некачественный копирайт, данный сервис его обязательно определит.

Другие сервисы

Перечислю некоторые другие сервисы но использовать их для определения уникальности я бы не стал, почему читайте дальше.

1. http://pr-cy.ru/unique/- проверка идет достаточно быстро, есть возможность указать домен для игнорирования, есть подсветка неуникального текста но результат данных проверок - завышенный  процент уникальности.

2. http://www.antiplagiat.ru - функционала его хватает разве, что для преподавателя, который хочет проверить студентов на предмет заимствования различных работ из интернета.

3. http://istio.com - не предоставляет абсолютно никакой информации о проценте уникальности проверенного текста, просто пишет, что копий не найдено.

4. http://www.copyscape.com - проверку можно производить только по URL, что не удобно для неопубликованных статей. Я проверил на копии страницу, с которой статья была скопирована несколькими сайтами, результат - копий не найдено. Хотя все скопированные статьи в индексе обеих ПС.

Как видите онлайн сервиса для проверки уникальности текста, удовлетворяющего всем потребностям нет. Но слава богу имеются программы, вот их то и можно использовать для этих целей на постоянной основе.

Программы для проверки уникальности 

Рассмотрим возможности программ предназначенных для проверки текстов, они по всем параметрам выигрывают у онлайн сервисов.

Программа Advego Plagiatus

Программа от разработчиков такой известнейшей биржи контента как Advego. Перед создателями биржи в свое время встала проблема предоставления заказчикам и авторам инструмента для проверки уникальности. И нужно сказать, что они создали действительно качественный инструмент.

Программа имеет 2 способа проверки - это быстрая и глубокая проверка. Быстрая проверка представляет собой обычную проверку на копипаст. Глубокая проверка - это более тщательная проверка, причем не только на копипаст но и на рерайт. Тут уже выдается не одна а две цифры, например 96%/33%. Где 95 - это процент уникальности для копипаста, а 33 - для рерайта. 

По умолчанию проверка осуществляется с шинглом равным 4. Но в настройках программы можно установить любое значение от 2 до 10. Здесь же, есть возможность настраивать другие функции, но я предпочитаю оставлять их по умолчанию. При проверке, неуникальные участки текста подсвечиваются.

Так же есть возможность производить проверки по URL и указать домен для игнорирования. В целом программа работает достаточно качественно. Желательно перед каждой проверкой менять свой IP адрес интернет подключения, ели технология, которой вы пользуетесь для выхода в интернет позволяет это сделать (например ADSL). Так, по моим личным наблюдениям программа показывает более качественные результаты. При ее использовании я произвожу только глубокую проверку. 

Программа Etxt Antiplagiat

Еще одна программа от еще одной популярной биржи контента Etxt. Программа так же осуществляет очень качественные проверки.

И здесь есть несколько типов таких проверок:

• Экспресс проверка - самая простая и быстрая проверка, качество проверки низкое.
• Проверка уникальности - это уже  более тщательная проверка.
• Глубокая проверка - очень тщательная проверка, при которой качество наивысшее.
• Проверка на рерайт - проверка текста на предмет того является ли он рерайтом.
• Проверка сайта - позволяет проверить все страницы вашего сайта на предмет уникальности размещенных на них текстов.

Проверку можно осуществлять по URL адресу страницы, а в настройках указать домен для игнорирования. По умолчанию проверка производится с шинглом равным 3. Осуществляя глубокую проверку можно быть уверенным в ее качестве.

Вот эти две программы вы можете смело использовать для постоянных проверок текста. Выдают они примерно одинаковые результаты с переменным успехом. Если при проверке программа выдает уникальность 100% я обязательно проверяю текст еще раз или меняю программу, потому как полностью 100% уникальности это редкость и есть вероятность, что проверка прошла с ошибками. Рекомендовать какую-то программу я не буду, так как качество проверок у них примерно, на одном уровне, каждый выберет себе по вкусу :).

Материал подготовлен проектом: WebMasterMix.ru