Senior Python Data Scraping Engineer

Responsibilities

• Prendre en charge les flux de web scraping et d'extraction de données de bout en bout sur des sites Web complexes et dynamiques.
• Construire, maintenir et optimiser des systèmes de scraping basés sur Python à l'aide d'outils tels que BeautifulSoup, Selenium et des intégrations API.
• Extraire des ensembles de données structurés à partir de sources de contenu dynamiques, y compris des pages rendues par JavaScript, des appels AJAX et des interfaces de défilement infini.
• Utiliser des outils internes (tels qu'Apify et OpenRouter) ainsi que des flux de travail d'automatisation personnalisés pour améliorer l'efficacité et la scalabilité.
• Garantir une qualité de données élevée grâce à des vérifications de validation, des processus de normalisation et une vérification de la cohérence inter-sources.
• Gérer des opérations de scraping à grande échelle en utilisant la mise en lots, la parallélisation et des techniques d'optimisation des performances.
• Surveiller la stabilité du scraping et s'adapter rapidement aux changements de structure de site Web ou aux mécanismes anti-bots.
• Livrer des ensembles de données propres et structurés dans des formats tels que CSV, JSON ou des sorties de type tableur.
• Appliquer des processus de contrôle qualité systématiques avant la livraison finale des données.

Exigences

• Minimum 5 ans d'expérience en ingénierie de données, web scraping, automatisation ou développement logiciel.
• Solide expérience pratique des frameworks de scraping Python tels que BeautifulSoup, Selenium ou des outils équivalents.
• Capacité avérée à extraire des données de structures Web complexes et incohérentes, y compris des sites dynamiques et riches en JavaScript.
• Expérience de travail avec des API, des proxys et des techniques d'atténuation des anti-bots.
• Solide expérience en nettoyage, normalisation, transformation et validation des données.
• Expérience dans la livraison d'ensembles de données structurés dans des formats tels que CSV, JSON ou Google Sheets.
• Connaissance des environnements cloud tels qu'AWS ou des plateformes équivalentes.
• Expérience d'utilisation d'outils de conteneurisation comme Docker dans des flux de travail de production.
• Exposition aux frameworks basés sur les LLM tels que LangChain, OpenRouter ou des outils d'automatisation similaires.
• Fort état d'esprit analytique avec une attention exceptionnelle aux détails et à la précision des données.
• Capacité à travailler de manière autonome, à résoudre des problèmes et à gérer des tâches sans supervision.
• Maîtrise de l'anglais de niveau intermédiaire supérieur ou plus (B2+ requis).
• Atout : Portfolio GitHub présentant des projets pertinents de scraping ou d'automatisation.

Avantages

• Opportunité de freelance entièrement à distance avec un horaire de travail flexible.
• Travaillez sur des systèmes hybrides IA + humains de pointe dans un domaine technique en croissance rapide.
• Possibilité de collaborer avec des outils d'IA avancés et des frameworks d'automatisation.
• Rémunération compétitive jusqu'à 30 $/heure selon l'expérience et les performances.
• Primes basées sur la performance récompensant la qualité et la cohérence.
• Exposition à des flux de travail complexes d'extraction de données du monde réel et pilotés par l'IA.
• Autonomie élevée avec la possibilité de choisir votre rythme et votre environnement de travail.
• Opportunité de développer une expertise très précieuse en ingénierie de données assistée par l'IA.

Comment fonctionne Jobgether

Nous utilisons un processus de mise en relation basé sur l'IA pour garantir que votre candidature est examinée rapidement, objectivement et équitablement par rapport aux exigences principales du poste. Notre système identifie les candidats les mieux adaptés, et cette liste restreinte est partagée directement avec l'entreprise qui recrute. La décision finale et les prochaines étapes (entretiens, évaluations) sont gérées par leur équipe interne.

Nous apprécions votre intérêt et vous souhaitons bonne chance !

Pourquoi postuler via Jobgether ?

Avis de confidentialité des données : En soumettant votre candidature, vous reconnaissez que Jobgether traitera vos données personnelles pour évaluer votre candidature et partager les informations pertinentes avec l'employeur recruteur. Ce traitement est basé sur l'intérêt légitime et les mesures précontractuelles en vertu des lois applicables sur la protection des données (y compris le RGPD). Vous pouvez exercer vos droits (accès, rectification, effacement, opposition) à tout moment.

Nous pouvons utiliser des outils d'intelligence artificielle (IA) pour soutenir certaines parties du processus d'embauche, telles que l'examen des candidatures, l'analyse des CV ou l'évaluation des réponses. Ces outils aident notre équipe de recrutement mais ne remplacent pas le jugement humain. Les décisions d'embauche finales sont finalement prises par des humains. Si vous souhaitez plus d'informations sur la manière dont vos données sont traitées, veuillez nous contacter.