La position actuelle:Accueil du site>Explication des principes de base des reptiles

Explication des principes de base des reptiles

2022-05-15 01:26:55Python Panthère d'argent

1.什C'est rampant?⾍?

2.Processus de base du crawler

3.什C'estRequestEtResponse?

4.RequestInclus dans什- Oui.?

5.ResponseInclus dans什- Oui.?

6.Quelles données les reptiles peuvent saisir?

7.Comment analyser?

8.Pourquoi?什Donc ce que j'ai attrapé et le navigateur器Ce n'est pas pareil?

9.Comment le résoudre?JavaScriptProblèmes de rendu?

10.Comment conserver les données

1.什C'est rampant?⾍?

Un programme automatisé pour demander des sites Web et extraire des données

2.Processus de base du crawler

2.1 Demande d'initiation

AdoptionHTTPLa Bibliothèque lance une demande au site cible,C'est - à - dire envoyer unRequest,La demande peut contenir desheadersAttendez les informations,Attendre la réponse du serveur.

2.2 Obtenir le contenu de la réponse

Si le serveur répond correctement,J'en aurai un.Response,ResponseC'est le contenu de la page que vous voulez obtenir,Les types peuvent avoirHTML,JsonString,Données binaires(Comme la vidéo d'image)Isotype.

2.3 Analyser le contenu

Ce que vous obtenez peut êtreHTML,Vous pouvez utiliser des expressions régulières、Bibliothèque d'analyse de page Web pour l'analyse.Ça pourrait êtreJson,Peut être converti directement enJsonRésolution d'objets,Peut - être des données binaires,Peut être sauvegardé ou traité plus avant.

2.4 Enregistrer les données

Les formes de conservation sont variées,Peut être sauvegardé sous forme de texte,Peut également être sauvegardé dans la base de données,Ou enregistrer un fichier dans un format spécifique.

3.什C'estRequestEtResponse?

RequestAvecResponse

Insérer la description de l'image ici
(1)Le navigateur envoie un message au serveur sur lequel se trouve l'URL,Ce processus s'appelleHTTP Request.

(2)Lorsque le serveur reçoit un message du Navigateur,Contenu capable d'envoyer des messages par navigateur,Traiter en conséquence,Et renvoie le message au navigateur.Ce processus s'appelleHTTP Response.

(3)Le navigateur a reçu leResponseAprès le message,L'information sera traitée en conséquence,Et montrer.

4.Request Ce qu'il contient ?

(1) Mode de demande
Principalement:GET、POSTDeux types,En plusHEAD、PUT、DELETE、OPTIONSAttendez..

(2) DemandeURL
URLNom complet localisateur de ressources unifié,Comme un document Web、Une image、Une vidéo peut être utiliséeURLC'est le seul moyen de déterminer.

(3) En - tête de la demande
Contient les informations d'en - tête au moment de la demande,Par exemple:User-Agent、Host、CookiesAttendez les informations.

(4) Corps demandeur
Données supplémentaires sur demande,Comme les données du formulaire au moment de la soumission du formulaire

5.ResponseInclus dans什- Oui.?

(1) État de la réponse
Il y a plusieurs états de réponse,Par exemple:200Pour le succès、301Saut、404Page introuvable、502Erreur du serveur

(2) En - tête de réponse
Par exemple, type de contenu、Longueur du contenu、Informations sur le serveur、ParamètresCookieAttendez un peu!.

(3) Corps de réponse
La partie la plus importante,Contient le contenu de la ressource demandée,Comme une page WebHTML、Données binaires d'image, etc..

6.Quelles données les reptiles peuvent saisir?

(1) Texte de la page Web
Par exemple:HTMLDocumentation、JsonFormatage du texte, etc..

(2) Photos
Obtenir un fichier binaire,Enregistrer au format image.

(3) Vidéo
Aussi binaire,Enregistrer au format vidéo.

(4) Autres
Tant qu'on peut le demander.,Vous pouvez obtenir.

7.Comment analyser?

Méthode analytique

Insérer la description de l'image ici

8.Pourquoi?什Donc ce que j'ai attrapé et le navigateur器Ce n'est pas pareil?

9.Comment le résoudre?JavaScriptProblèmes de rendu?

Insérer la description de l'image ici

10.Comment conserver les données

Insérer la description de l'image ici
À propos dePythonRéserve technique

Bien. Python C'est bien de gagner de l'argent, que ce soit en travaillant ou en travaillant dans des emplois secondaires,Mais pour apprendre Python Ou un plan d'étude.Enfin, nous avons partagé un ensemble complet Python Matériel d'apprentissage,Pour ceux qui veulent apprendre Python Un peu d'aide de la part des gars!

Un.、PythonParcours d'apprentissage dans toutes les directions

PythonDans toutes les directions, la route estPythonOrganiser les points techniques communs,Former un résumé des points de connaissance dans chaque domaine,Son utilité réside dans,Vous pouvez suivre les points de connaissance ci - dessus pour trouver les ressources d'apprentissage correspondantes,Assurez - vous d'avoir un apprentissage complet.

2.、Logiciel d'apprentissage

Pour bien faire son travail, il faut d'abord utiliser ses outils..ApprendrePythonLes logiciels de développement couramment utilisés sont ici,Ça nous a fait gagner beaucoup de temps.

Trois、Vidéo pour commencer à apprendre

Quand nous regardons la vidéo pour apprendre,Ne bouge pas les yeux, ne bouge pas la tête, ne bouge pas les mains.,Les méthodes d'apprentissage les plus scientifiques sont de les utiliser après avoir compris,C'est un bon moment pour pratiquer..

Quatre、Cas concrets

La théorie optique est inutile,Pour apprendre à frapper avec,Pour faire des exercices pratiques,Pour appliquer ce que vous avez appris à la pratique,À ce stade, vous pouvez faire quelques cas pratiques pour apprendre.

Cinq、Matériel d'entrevue

Nous étudionsPythonIl doit s'agir de trouver un emploi bien payé,Ces questions d'entrevue viennent d'Ali、Tencent、Octets et autres données d'entrevue les plus récentes des grandes usines Internet de première ligne,Et il y a un grand Ali qui donne une réponse autoritaire,Après avoir brossé ce dossier d'entrevue, je crois que tout le monde peut trouver un emploi satisfaisant.


Cette édition complètePythonLe matériel d'apprentissage complet a été téléchargéCSDN,Mes amis, vous pouvez scanner Wechat ci - dessous si nécessaire.CSDNLe Code QR officiel certifié est reçu gratuitement【Garantie100%Gratuit

PythonInformation、Technique、Cours、La solution、Vous pouvez également consulter directement la carte de visite ci - dessous,Ajouter le service à la clientèle officiel

Mentions de copyright
Auteur de cet article [Python Panthère d'argent],Réimpression s’il vous plaît apporter le lien vers l’original, merci
https://fra.chowdera.com/2022/135/202205142021561482.html

Recommandé au hasard