Python开发工程师（爬虫）

1. 负责根据业务需求和规划开展爬虫开发工作，包括数据解析与清洗，数据链路优化等，同时对现有爬虫进行维护和完善； 2. 参与爬虫核心技术研究，维护和升级现有技术体系，快速定位并修复现有软件缺陷，对线上问题进行及时响应并解决 3. 参与爬虫监测体系建设，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性； 4. 参与公司内部爬虫平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。

1. 本科及以上学历，计算机或相关专业； 2. 熟悉Python、HTML、JavaScript等编程语言，熟悉常见后端框架及爬虫框架如Scrapy、Selenium等； 3. 熟悉MySQL、MongoDB等主流数据库，熟练掌握SQL语句编写； 4. 熟悉Linux环境，能使用常用的Linux命令； 5. 熟悉网络基础，了解TCP/IP网络协议，熟悉HTTP协议； 6. 掌握爬虫原理，掌握正则表达式、XPath的使用，掌握常见抓包分析工具如Fiddler、Charles、Postman等，熟悉常见反爬机制及逆向手段； 7. 具备较强的抗压能力，有责任心，注重工作效率和代码质量。