Awto-ddarganu Parthau Domains gyda Phython

Beth mae hela-parthau parthau domains yn ei wneud?

Mae'n troi tasg diflas, ail yn sgript set-a-anghof. Ysgrifennwch god Phython sy'n fetsio rhestrau parthau domains o ffynonellau cyhoeddus, gwylio pob enw yn erbyn eich rhelau, a anfonio neges pan fydd rhywbeth yn cyfate. Dim oriau 3 AM i weld a yw'r .io 4-lythyren wedi gollwng o'r diwedd.

Y cylch craidd yn syml: fetsio, hidlo, rhybuddio. Gallwch ei redeg ar VPS rhad neu eich peiriant gyda chob gron. Gellir adeiladu'r cyfan mewn phrynhawn, hyd yn oes os nad yddych yn ddatblygwr proffesiynol.

Angen: Beth sydd ei angen cyn ysgrifennu sgript?

Ychydig o bethau sylfaenol. Angen Phython 3.8 neu'n fwy wedi'i osod, a golygydd testun. Byddwch angen cyfrif rhad mewn gwasanaeth API parthau fel WhoisXMLAPI neu RDAP i weld dyddiadau cofrestru. Cyllideg sero ddoler ar gyfer y cam hwn, oni boddwch dalu am derfynau uwch.

Angen hidlan clir hefyd. Gwybwch beth rydych chi'n hela: nifer geiriau, hyd, estyniad, cefnau, neu gilyn benodol. Ysgrifennwch ef cyn codio, neu byddwch gyda sgript sy'n rhybuddio chi i bob parthau ar hap y we.

Cam 1: Sut yddych chi'n fetsio rhestrau parthau domains?

Dechrau gyda rhestrau gollwng cyhoeddus. Mae gwasanaethau fel ExpiredDomains.net a NameJet yn cyhoeddi rhestrau dyddiol, er nad ydynt bob amser yn hawd i'w sgrapio. Defnyddiwch requests a BeautifulSoup i dynnu'r HTML a pharsio'r rhesi tabl.

import requests
from bs4 import BeautifulSoup

url = "https://www.expireddomains.net/expired-domains/"
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

Mae hynny'n rhoi chi'r dudalen crai. Yna, yddych chi'n echdynnu'r enwau parthau o'r tabl. Mae'r rhan fwyaf o rhestrau yn defnyddio strwythur tebyg, felly bydd ychydig o alwadau find_all yn ddigon. Byddwch gwrtais gyda therfynau cyfradd, neu byddwch gael blociedig.

Cam 2: Sut yddych chi'n hidlo parthau gyda Phython?

Mae hidlwyr yn lle mae'r hudig yn digwydd. Ysgrifennwch ffwythiant sy'n cymryd parthau a dychwelyd Gwir neu Gau ar sail eich rhelau. Er enghraifft, efallai rydych chi ond .com gyda 6 lythyren yn union a dim cysyllnod.

def is_worth_checking(domain):
    name, ext = domain.split(".")
    return ext == "com" and len(name) == 6 and "-" not in name

Gallwch hefyd hidlo gan rhestrau geiriau allweddol. Os rydych chi'n hela am parthau ffitnes, cadwch rhestrau o eiriau perthnasol a gwylio a yw rhywbeth yn ymddangos. Defnyddiwch re ar gyfer cyfateb regex os oes angen patrymau mwy cymhleth.

Cam 3: Sut yddych chi'n gwylio argaeledd a fetrau parthau?

Unwaith gen rhestrau hidledig, mae angen gwybod a yw'r parthau'n ddod o hydd mewn gwirionedd. Defnyddiwch RDAP i weld statws cofrestru. Mae llyfrgell rdap yn gwneud hyn yn hawd.

import rdap

def check_status(domain):
    data = rdap.query(domain)
    return data.get("status", [])

Os yw'r statws yn cynnwys "pending delete" neu "redemption period", mae'n debygol yn ddod o hydd. Gallwch hefyd gwylio cefnau gan ddefnyddio API rhad fel Open PageRank, er bydd angen allwedd API. Cadwch y gwiriadau yn ysgafn, oherwydd bydd gormod o geisiadau yn arafu chi.

Cam 4: Sut yddych chi'n amseru'r sgript i redeg yn awtomatig?

Defnyddiwch cron ar Linux neu Ddoser Tasgau ar Windows. Redegwch y sgript unwaith y dydd, neu bob ychydig oriau os rydych chi'n hela am ddifusionau poeth. Mae llinell cron syml yn edrych fel hyn:

0 6 * * * cd /path/to/script && python3 hunt.py

Mae hynny'n ei redeg bob bore am 6 AM. Byddwch gael canlyniadau cyn y rhuth dyddiol. Gallwch hefyd ddefnyddio llyfrgell schedule os yw'n well gen cadw pobeth mewn Phython.

Cam 5: Sut yddych chi'n gael rhybuddion pan ffeirir cyfateb?

E-bost, Telegram neu Slack. Y hawdaf yw Telegram, oherwydd gallwch anfon neges gyda cheisiad POST syml. Crëwch fot, cymrwch yr ID sgwrs, a defnyddiwch requests.post i anfon neges pan ffeirir eich hidlan rhywbeth.

import requests

def send_alert(domain):
    token = "YOUR_BOT_TOKEN"
    chat_id = "YOUR_CHAT_ID"
    text = f"Found: {domain}"
    url = f"https://api.telegram.org/bot{token}/sendMessage"
    requests.post(url, data={"chat_id": chat_id, "text": text})

Naw, cewch chi bips ar eich ffon heb gyffwrd y sgript. Cofiwch i gadw'r tocen fot yn briod.

Cam 6: Sut yddych chi'n delio gyda'r canlyniadau a fendewid beth i brynu?

Pan ddaw'r rhybuddion, mae angen gwiriadau law o hydd. Defnyddiwch gofrestrydd fel Namecheap neu GoDaddy i weld y pris union, a gwylio'r Wayback Machine am gynnwys hanesyddol. Nid yw pob parthau wedi ddod yn werth y ffi gofrestru.

Os prynwch un a mae'n ddod yn ddif, gallwch gladdu eich prosiect marw am ddoler. Mae'n fford rhad i ollwng gollwng. A os rydych chi am ysbrydoliaeth neu fargen, porwch y mynwent i weld beth mae erill wedi adael.

Beth allai fynd o'i lew gyda hela-parthau awtomatig?

Llawer. Gallai eich sgript dorri pan fydd y wefan yn newid ei strwythur HTML. Gallwch gael therfynu cyfradd neu IP-blociedig. Gallwch hidlo'n rhy galed a cholli enwau da, neu'n rhy lac a chael llifog o sothach.

Hefyd, mae'r farchnad parthau'n symud yn gyflym. Gallai enw sy'n edrych yn rhad gael gofrestru gan rywun arall cyn i'ch chob gron redeg. Mae hynny'n normal. Adeiladwch arosiad neu aros, a pheidiwch ynghlwm i un parthau.

A yw'n wirioneddol i awtomatio hyn?

Os rydych chi'n gwylio difusionau unwaith yr wythnos, nage. Ond os rydych chi'n adnewyddu rhestrau'n ddyddiol, mae sgript yn arbed oriau. Mae hefyd yn gadael chi weithredu'n gyflymach pan ymddeng enw da. Mae cyflymder yn bwysig mewn hela parthau wedi ddod, oherwydd mae enwau da'n ddiffannu mewn munudau.

Y anfantais yw y gall awtomatio eich hudo i feddwl eich bod yn gynhyrchiol. Nid ydych. Rydych chi'n hidlo'n gyflymach. Mae'r gwaith gwirioneddol yn y gwiriad law o hydd.

I ble mae'n mynd o'r fan hyn?

Dechrau'n fach. Dewiswch un ffynhonell, un hidlan, ac un dull rhybuddio. Cymrwch hwnnw'n gweithio cyn ychwanegu cymhlethdod. Yna, ehangu i fwy o ffynonellau neu fwy o hidlwyr. Nid oes angen i'r sgript fod yn berffeth, mae angen iddig.

A os byddwch gyda pharthau nad ydych chi ei eisiau, pheidiwch iddo bydru. Gladduwch ef ar dead.domains a gadael rywun arall roi ali iido. Mae hynny'n gylchredd eiddo ddigidol, ac mae'n rhy foddhaol.

Ewch i dead.domains i weld beth sydd eisos wedi'i gladdu.