Senior Python Data Scraping Engineer (Freelance)
Mindrift recherche des Ingénieurs Senior Python spécialisés en Data Scraping pour rejoindre le projet Tendem et piloter des flux de données spécialisés au sein de notre système hybride IA + humain.
Dans ce rôle, en tant qu'AI Pilot – c'est ainsi que nous désignons ce rôle chez Mindrift – vous collaborerez avec les Tendem Agents qui gèrent les tâches répétitives, tout en apportant votre esprit critique, votre expertise du domaine et votre contrôle qualité pour fournir des résultats précis et exploitables.
Cette opportunité à temps partiel à distance est idéale pour les professionnels de la technique ayant une expérience pratique du web scraping, de l'extraction et du traitement des données.
Ce que nous faisons
La plateforme Mindrift connecte des spécialistes à des projets d'IA provenant des principaux innovateurs technologiques. Notre mission est de libérer le potentiel de l'IA générative en exploitant l'expertise du monde réel du monde entier.
À propos du rôle
Il s'agit d'un rôle indépendant pour un projet Tendem. En tant qu'Ingénieur Senior Python spécialisé en Data Scraping, vous gérerez des tâches de data scraping nécessitant une précision technique pour l'extraction et le traitement web, en utilisant divers outils tels que notre Apify et OpenRouter fournis, ainsi que vos propres approches ingénieuses.
Responsabilités clés
- Gérer de bout en bout les flux d'extraction de données sur des sites web complexes, en garantissant une couverture complète, l'exactitude et la livraison fiable de jeux de données structurés.
- Tirer parti des outils internes (Apify, OpenRouter) ainsi que des flux de travail personnalisés pour accélérer la collecte, la validation des données et l'exécution des tâches, tout en respectant les exigences définies.
- Assurer une extraction fiable à partir de sources web dynamiques et interactives, en adaptant les approches si nécessaire pour gérer le contenu rendu par JavaScript et l'évolution du comportement des sites.
- Appliquer des normes de qualité des données par des contrôles de validation, des contrôles de cohérence inter-sources, le respect des spécifications de formatage et une vérification systématique avant la livraison.
- Mettre à l'échelle les opérations de scraping pour de grands jeux de données en utilisant un batching ou une parallélisation efficace, surveiller les échecs et maintenir la stabilité face aux changements mineurs de structure des sites.
Rémunération
Sur ce projet, les contributeurs peuvent gagner jusqu'à 37 $ par heure équivalent, en fonction de leur niveau et de leur rythme de contribution.
La rémunération varie selon les projets en fonction de la portée, de la complexité et de l'expertise requise. Veuillez noter que d'autres projets sur la plateforme peuvent offrir des niveaux de rémunération différents en fonction de leurs exigences.
Exigences
- Au moins 5 ans d'expérience pertinente en ingénierie des données, web scraping, automatisation ou développement logiciel (requis)
- Un diplôme de licence ou de master en ingénierie, mathématiques appliquées, informatique ou domaines techniques connexes est un plus
- Solide expérience en Python pour le web scraping (BeautifulSoup, Selenium ou similaire), y compris le contenu dynamique (JS, AJAX, scroll infini) et les API via des proxys
- Capacité avérée à extraire des données de structures complexes (hiérarchies, pages archivées, HTML incohérent)
- Solide expérience en nettoyage, normalisation et validation des données, fournissant des jeux de données structurés (CSV, JSON, Google Sheets)
- Expérience démontrée dans la gestion des mécanismes anti-bots et des structures de sites dynamiques à grande échelle
- Expérience avec l'infrastructure cloud (AWS ou équivalent) et la conteneurisation (Docker) dans le cadre de flux de travail réels
- Expérience pratique avec les frameworks LLM (LangChain, OpenRouter ou similaire) appliqués aux tâches d'automatisation
- Grande attention aux détails et engagement envers l'exactitude des données
- Éthique de travail autodirigée avec capacité à résoudre les problèmes de manière indépendante
- Un lien GitHub est un plus
- Maîtrise de l'anglais : Intermédiaire supérieur (B2) ou plus (requis)
Avantages
Pourquoi cette opportunité indépendante pourrait vous convenir ?
- Travaillez entièrement à distance selon votre propre emploi du temps avec juste un ordinateur portable et une connexion Internet stable.
- Acquérez une expérience pratique dans un environnement hybride unique où l'expertise humaine et les agents IA collaborent de manière transparente – une compétence distinctive dans un domaine en croissance rapide.
- Participez à des programmes de bonus basés sur la performance qui récompensent le travail de haute qualité et la livraison cohérente.
