岗位职责
一、岗位职责 1. 负责设计、开发和维护客服机器人与前端爬虫系统,确保高效、准确地抓取和解析各类网页数据,以及实现客服机器人功能集成第三方大模型工具。2. 运用抓包工具和技术,对网络请求进行分析和监控,协助解决前端性能和安全相关问题。3. 处理反爬虫机制,设计并实现有效的反反爬虫策略,保证数据采集的稳定性和持续性。4. 对抓取到的数据进行清洗、转换和存储,确保数据的质量和可用性。5. 与后端开发团队紧密合作,将抓取的数据进行整合和对接,为业务提供数据支持。6. 优化爬虫和抓包的性能,提高数据采集的效率,降低系统资源消耗。7. 研究和探索新的爬虫技术和工具,不断提升爬虫系统的能力和适应性。8. 编写清晰、规范的技术文档,记录爬虫和抓包的设计、实现和维护过程。 二、任职要求 1. 本科及以上学历,计算机相关专业,[X]年以上前端开发经验。2. 熟练掌握 JavaScript、HTML、CSS 等前端基础技术。3. 熟悉至少一种主流的前端框架(如 Vue.js、React、Angular 等)。4. 具有丰富的爬虫开发经验,熟悉常见的爬虫框架和工具(如 Scrapy、PySpider 等)。5. 熟练掌握抓包工具(如 Fiddler、Charles 等),能够对网络请求进行深入分析。6. 了解常见的反爬虫机制和应对策略,具备一定的反反爬虫能力。7. 熟悉数据清洗、转换和存储的技术和方法,如使用 Python 进行数据处理。8. 具备良好的问题解决能力和调试技巧,能够快速定位和解决爬虫和抓包过程中的问题。9. 有较强的学习能力和团队合作精神,能够适应快速变化的业务需求。
工作地址
渝北区-渝北区 (重庆渝北区爱望IoTWANT5G+IoT工作室…) 查看地图
