Како да го автоматизирате ловењето истечени домени со Python

Што точно прави автоматизираното ловење на истечени домени?

Ја претвора досадната, повторувачка задача во скрипта што ја пуштате и заборавате. Пишувате Python код што презема листи на истечени домени од јавни извори, проверува секое име според вашите правила и ви испраќа порака кога нешто ќе одговара. Нема повеќе будење во 3 часот наутро за да видите дали тој 4-буквен .io конечно паднал.

Основната јамка е едноставна: преземи, филтрирај, извести. Можете да ја пуштате на евтин VPS или на вашиот компјутер со cron job. Целата работа може да се изгради за едно попладне, дури и ако не сте професионален програмер.

Предуслови: Што ви треба пред да пишувате скрипта?

Неколку основни работи. Потребен ви е Python 3.8 или понова верзија, плус текстуален едитор. Ќе ви треба и бесплатна сметка на сервис за API за домени како WhoisXMLAPI или RDAP за проверка на датумите на регистрација. Буџетот за овој чекор е нула долари, освен ако не сакате да платите за повисоки лимити.

Исто така, треба јасен филтер. Знајте што барате: број на зборови, должина, екстензија, беклинкови или одредена ниша. Запишете го пред да кодирате, инаку ќе завршите со скрипта што ве известува за секој случаен домен на интернет.

Чекор 1: Како да ги преземате листите на истечени домени?

Почнете со јавни листи на падови. Сервисите како ExpiredDomains.net и NameJet објавуваат дневни листи, иако не се секогаш лесни за скрејпување. Користете requests и BeautifulSoup за да го повлечете HTML-от и да ги парсирате редовите од табелата.

import requests
from bs4 import BeautifulSoup

url = "https://www.expireddomains.net/expired-domains/"
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

Ова ви ја дава суровата страница. Потоа ги извлекувате имињата на домените од табелата. Повеќето листи имаат слична структура, па неколку find_all повици ќе ве доведат до целта. Бидете учтиви со rate limits, или ќе бидете блокирани.

Чекор 2: Како да ги филтрирате домените со Python?

Филтрите се местото каде што се случува магијата. Напишете функција што зема домен и враќа True или False врз основа на вашите правила. На пример, можеби сакате само .com домени со точно 6 букви и без цртички.

def is_worth_checking(domain):
    name, ext = domain.split(".")
    return ext == "com" and len(name) == 6 and "-" not in name

Можете исто така да филтрирате по листи на клучни зборови. Ако ловите фитнес домени, чувајте листа на релевантни зборови и проверувајте дали некој се појавува. Користете re за regex споредување ако ви требаат посложени шаблони.

Чекор 3: Како да ја проверите достапноста и метриките на доменот?

Откако ќе имате филтрирана листа, треба да знаете дали доменот навистина истекува. Користете RDAP за да го проверите статусот на регистрација. Библиотеката rdap го олеснува ова.

import rdap

def check_status(domain):
    data = rdap.query(domain)
    return data.get("status", [])

Ако статусот вклучува "pending delete" или "redemption period", најверојатно истекува. Можете исто така да ги проверите беклинковите со бесплатен API како Open PageRank, но ќе ви треба API клуч. Држете ги проверките лесни, бидејќи премногу барања ќе ве забават.

Чекор 4: Како да ја закажете скриптата да работи автоматски?

Користете cron на Linux или Task Scheduler на Windows. Пуштајте ја скриптата еднаш дневно, или на секои неколку часа ако бркате жешки падови. Едноставна cron линија изгледа вака:

0 6 * * * cd /path/to/script && python3 hunt.py

Ова ја пушта секое утро во 6 часот. Ќе ги добиете резултатите пред дневниот метеж. Можете исто така да ја користите библиотеката schedule ако претпочитате сè да остане во Python.

Чекор 5: Како да добивате известувања кога ќе се најде совпаѓање?

Е-пошта, Telegram или Slack. Најлесно е Telegram, бидејќи можете да испратите порака со едноставен POST барање. Направете бот, земете го chat ID и користете requests.post за да испратите порака кога вашиот филтер ќе најде нешто.

import requests

def send_alert(domain):
    token = "YOUR_BOT_TOKEN"
    chat_id = "YOUR_CHAT_ID"
    text = f"Found: {domain}"
    url = f"https://api.telegram.org/bot{token}/sendMessage"
    requests.post(url, data={"chat_id": chat_id, "text": text})

Сега добивате известувања на телефонот без да ја допирате скриптата. Само запомнете да го чувате бот токенот приватен.

Чекор 6: Како да ги обработите резултатите и да одлучите што да купите?

Кога ќе дојде известувањето, сепак треба да направите рачни проверки. Користете регистрар како Namecheap или GoDaddy за да ја видите точната цена и проверете го Wayback Machine за историска содржина. Не секој истечен домен вреди надоместокот за регистрација.

Ако купите еден и се испостави дека е лош, можете да го закопате вашиот мртов проект за еден долар. Тоа е евтин начин да се ослободите. И ако барате инспирација или зделка, прелистајте ги гробиштата за да видите што другите го напуштиле.

Што може да тргне наопаку со автоматизираното ловење?

Многу работи. Вашата скрипта може да се скрши кога веб-сајтот ќе ја промени HTML структурата. Може да бидете rate-limited или IP-блокирани. Може да филтрирате премногу агресивно и да пропуштите добри имиња, или премногу лабаво и да бидете преплавени со ѓубре.

Исто така, пазарот на домени се движи брзо. Име што изгледа слободно може да биде регистрирано од некој друг пред вашиот cron job да се изврши. Тоа е нормално. Вградете retry или чекање и не се врзувајте за ниту еден домен.

Дали навистина треба да го автоматизирате ова?

Ако проверувате падови еднаш неделно, не. Но, ако ги освежувате листите секојдневно, скриптата заштедува часови. Исто така, ви овозможува да дејствувате побрзо кога ќе се појави добро име. Брзината е важна во ловењето истечени домени, бидејќи добрите имиња исчезнуваат за неколку минути.

Негативната страна е што автоматизацијата може да ве залаже дека сте продуктивни. Не сте. Само филтрирате побрзо. Вистинската работа е сè уште во рачната проверка.

Каде да продолжите оттука?

Почнете со мали чекори. Изберете еден извор, еден филтер и еден метод за известување. Направете го тоа да работи пред да додадете сложеност. Потоа проширете на повеќе извори или повеќе филтри. Скриптата не мора да биде совршена, само треба да работи.

И ако завршите со домен што не го сакате, не оставајте го да гние. Закопајте го на dead.domains и оставете некој друг да му даде втор живот. Тоа е циклусот на дигиталниот имот и е некако задоволувачко.

Одете на dead.domains за да видите што е веќе закопано.