福利说明
岗位职责
岗位职责1、负责设计和开发分布式网络爬虫系统、技术选型;2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、混淆加密,页面跳转等难点攻克,提升网页抓取的效率和质量;3、参与分布式爬虫和数据采集系统的架构设计和开发,快速响应业务变动;4、负责网络数据抓取规划、定期爬取指定网站的公开数据;5、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析;6、对抓取后的数据进行清洗、存储等,并持续优化平台,以便满足各种爬取业务需求;7、研究优化算法,提升爬虫系统的稳定性、可扩展性。任职要求1.熟悉js、html技术,熟悉如何逆向,混淆,熟悉多线程编程技术;2.熟悉浏览器webdriver、PuppeteerSharp驱动技术;3.熟悉常用数据库 如mysql、redis等;4.熟悉RabbitMQ技术的使用;5.拥有良好的代码习惯,要求结构清晰,命名规范,逻辑性强,代码冗余率低;6.有大型网站爬虫项目开发经验优先;7.有.Net项目经验者优先;
