Аналіз історії домена: DNS-археологія для indie-хакера

Вы нашли отличный домен для следующего проекта. Или собираетесь похоронить старый. В любом случае, стоит узнать, через что этот домен прошел. Анализ истории домена - это практика копания в DNS-записях, WHOIS-архивах и веб-кешах, чтобы понять прошлое домена. Дешево, в основном бесплатно и на удивление весело. Вот как это делать как профи.

Что именно вы ищете?

Представьте домен как подержанную машину. Вы не купите ее, не проверив пробег, историю аварий или причину, по которой прошлый владелец продал ее. То же самое с доменами. Вы ищете три вещи: прошлых владельцев, прошлый контент и прошлые штрафы.

Прошлые владельцы важны, потому что домен может быть в черном списке за спам или вредоносное ПО. Прошлый контент важен, потому что домен, который размещал контент для взрослых или пиратское ПО, будет нести этот багаж в поисковых системах. Прошлые штрафы важны, потому что домен, который был наказан Google, может никогда полностью не восстановиться.

Вы также ищете скучные вещи, такие как даты истечения, изменения регистратора и настройки DNS. Это часть "археологии". Речь идет о восстановлении временной шкалы жизни домена.

Шаг 1: Как проверить историю WHOIS?

Начните с WHOIS-запроса. ICANN требует от регистраторов публиковать данные о регистрации, и вы можете просмотреть текущие записи бесплатно на whois.icann.org. Это даст вам текущего владельца, дату создания и дату истечения.

Но текущие данные говорят не так много. Вам нужна история. Используйте WhoisXMLAPI или DomainTools для исторических WHOIS-записей. DomainTools предлагает бесплатную пробную версию, а WhoisXMLAPI имеет бесплатный уровень с ограниченными запросами. Оба показывают прошлых регистраторов, прошлых владельцев и когда домен менял руки.

Одно предостережение: защита конфиденциальности WHOIS может скрыть фактического владельца. Это нормально. Вы все равно получаете регистратора и даты, чего достаточно для базовой временной шкалы.

Шаг 2: Как проверить историю DNS?

DNS-записи со временем меняются, и эти изменения оставляют следы. Проверьте SecurityTrails для исторических DNS-записей. Это бесплатно для базовых запросов и показывает каждое изменение A-записи, MX-записи и сервера имен с момента первого индексации домена.

Почему это важно? Если домен раньше указывал на сервер, размещающий фишинговые страницы, вы увидите это в исторических DNS. Вы также увидите, был ли домен припаркован, использовался для электронной почты или имел сложную инфраструктуру. Это говорит вам, вел ли предыдущий владелец серьезный проект или просто занимался сквоттингом.

Еще один инструмент - DNSHistory.org. Он бесплатный и показывает исторические DNS-записи из нескольких источников. Он менее отполирован, чем SecurityTrails, но это хорошая перекрестная проверка.

Шаг 3: Как проверить веб-архивы?

Wayback Machine - ваш лучший друг для анализа истории домена. Введите домен и увидите каждый снимок сайта с момента его первого сканирования до последнего. Это бесплатно, и вы можете увидеть, как выглядел сайт, какой контент он размещал и когда он погас.

Здесь вы находите скелеты. Этот домен, который вам нравится? Возможно, это была крипто-афера в 2018 году. Или личный блог о вязании. В любом случае, вы это увидите.

Вы также можете использовать Wayback Machine, чтобы увидеть, когда сайт перестал обновляться. Это хороший индикатор того, когда проект умер. Если вы хороните свой собственный проект, вы можете проверить, когда ваш собственный сайт последний раз имел снимок. Это приятный способ вспомнить, что вы построили.

Шаг 4: Как проверить историю спама и черных списков?

Прозрачный отчет Google позволяет проверить, помечен ли домен в настоящее время как вредоносный или фишинговый. Это не исторические данные, но это хорошее начало.

Для исторических данных о черных списках используйте MXToolbox. Он проверяет домен по более чем 100 черным спискам и показывает текущий статус. Для прошлого статуса вам понадобится платный сервис, такой как Spamhaus или Barracuda. Эти сервисы ведут свои собственные записи, и вы часто можете запросить их бесплатно.

Если домен когда-либо использовался для спама, он все еще может быть в некоторых черных списках. Даже если текущий владелец очистил его, ущерб может остаться. Вы не хотите, чтобы электронные письма вашего нового проекта отскакивали, потому что какой-то спамер использовал домен в 2015 году.

Шаг 5: Как проверить историю поисковых систем?

Введите домен в Google и посмотрите, что выходит. Если вы видите кэшированные страницы, недавние упоминания или темы на форумах о домене, это подсказка. Вы также можете использовать site: оператор Google, чтобы увидеть проиндексированные страницы.

Bing и Yahoo имеют похожие операторы. Проверьте Bing Webmaster Tools на наличие штрафов или ручных действий. Регистрация бесплатна, и вы можете добавить домен, даже если вы еще не владеете им, хотя для просмотра полных данных вам потребуется подтвердить право собственности.

Быстрый поиск на Reddit или Hacker News может показать, обсуждался ли домен. Люди любят говорить о сомнительных доменах. Если вы найдете тему, где его называют аферой, это красный флаг.

Шаг 6: Как проверить возраст и историю домена на торговых площадках?

Торговые площадки доменов, такие как GoDaddy Auctions или Sedo, часто показывают возраст домена и исторические данные. У них также есть свои собственные метрики, такие как "трафик" и "авторитет", которые могут дать вам быстрый снимок.

Но помните, эти метрики - маркетинговые инструменты. Они предназначены, чтобы заставить вас платить больше. Воспринимайте их с недоверием.

Для более нейтрального взгляда используйте Whois.com или WHOIS Namecheap. Они дают вам сырые данные без рекламной подачи.

Предварительные требования: Какие инструменты нужны перед началом?

Вам нужен браузер, список доменов, которые вы исследуете, и электронная таблица для отслеживания результатов. Это все. Никакого специального программного обеспечения не требуется.

Возможно, вам понадобится VPN, если вы проверяете несколько доменов из разных регионов. Некоторые WHOIS-сервисы ограничивают бесплатные запросы на IP. VPN помогает обойти это.

Также установите бюджет времени. Каждый домен может занять 15-30 минут для тщательного исследования. Если вы смотрите 50 доменов, это целый день. Расставьте приоритеты для тех, которые вас серьезно интересуют.

Что может пойти не так во время анализа истории домена?

Вы можете ничего не найти. Это нормально и нормально. Но это также может означать, что домен новый, или что предыдущий владелец был осторожен, чтобы скрыть свои следы.

Вы можете найти что-то страшное, например, метку вредоносного ПО или историю фишинга. Это не конец света. Некоторые штрафы истекают, и некоторые черные списки удаляют записи через несколько лет. Но вам нужно знать, прежде чем брать на себя обязательства.

Вы также можете найти законную историю, которая конфликтует с вашими планами. Например, домен, который был популярным блогом о походах. Если вы хотите превратить его в крипто-биржу, вы потеряете существующий трафик и, возможно, доверие, связанное со старым контентом.

Еще одна вещь: не доверяйте одному источнику. Перепроверяйте историю WHOIS с историей DNS и веб-архивами. Если они рассказывают разные истории, копайте глубже. Домен, который пять раз за год менял серверы имен, либо активен, либо хаотичен. Ни то, ни другое не плохо, но вы хотите знать, почему.

Как использовать анализ истории домена для своих мертвых проектов?

Прежде чем похоронить свой мертвый проект, проведите тот же анализ на своем собственном домене. Это хороший способ задокументировать, что вы построили и почему он умер. Вы также можете обнаружить, что ваш домен имеет чистую историю, что является преимуществом для потенциальных покупателей.

Включите результаты в свою похоронную заметку. Если ваш домен был помечен как спам в 2020 году, но вы его очистили, скажите об этом. Прозрачность укрепляет доверие. Покупатели оценят это, и это может принести вам лучшее предложение.

Кроме того, вы можете использовать анализ, чтобы решить, позволить домену истечь или продать его. Если у него чистая история и некоторый трафик, его стоит выставить. Если это беспорядок, возможно, просто отпустите его.

Как проанализировать историю домена, который вы собираетесь купить?

Проведите те же шаги, но с акцентом на красные флаги. Проверьте историю WHOIS на предмет частых смен владельца. Проверьте историю DNS на предмет подозрительных адресов серверов. Проверьте Wayback Machine на предмет контента, который может быть незаконным или нарушать правила Google.

Если домен имеет чистую историю, вы готовы к работе. Если у него пятнистая история, вам нужно решить, стоит ли риск. Иногда домен с небольшой драммой дешевле, и вы можете его восстановить. Но иногда это ловушка.

Вы также можете использовать анализ для переговоров. Если продавец просит $500, но домен использовался для спама, вы можете указать на это и попросить более низкую цену. Это законная тактика переговоров.

Как проверить, используется ли домен в настоящее время?

Прежде чем анализировать историю, проверьте, жив ли домен. Используйте IsItDownRightNow или просто зайдите на него в браузере. Если это припаркованная страница или 404, он, вероятно, доступен или, по крайней мере, не используется активно.

Если он жив, вы все равно можете проанализировать историю, но также стоит посмотреть на текущий контент. Это может быть сайт конкурента или фан-страница. Если это фан-страница, у вас может возникнуть проблема с авторскими правами.

Также проверьте настройки электронной почты домена. Используйте MXToolbox, чтобы узнать, есть ли у домена активные почтовые серверы. Если есть, кто-то использует его для электронной почты, и они могут не захотеть продавать.

Как документировать результаты?

Создайте простую электронную таблицу с колонками для домена, даты создания, регистратора, истории DNS, снимков Wayback, статуса черного списка и заметок. Заполняйте ее по ходу дела. Это поможет вам сравнивать домены бок о бок.

Вы также можете использовать Airtable или Notion, если хотите что-то более навороченное. Но обычный Google Sheet работает отлично.

Если вы хороните проект, включите результаты в свою похоронную заметку на dead.domains. Покупатели увидят это, и это добавляет доверия. Если вы покупаете, сохраните таблицу, чтобы ссылаться на нее во время переговоров.

Заключительные мысли

Анализ истории домена - это не ракетостроение. Это всего лишь несколько бесплатных инструментов и немного терпения. Результат - знание, что вы не покупаете кучу цифрового мусора.

И если вы хороните проект, чистая история - это приятный подарок следующему владельцу. Это говорит о том, что вы заботились о своем уголке интернета.

Так что в следующий раз, когда вы собираетесь купить домен или просмотреть кладбище для нового проекта, сначала сделайте археологию. Ваше будущее "я" скажет спасибо.

Готовы применить анализ истории домена? Просмотрите кладбище и найдите домен с историей, которую стоит рассказать.