ChatGPT：未来编程新纪元？一试惊才，Python爬虫遇上智能大师

风险与机遇 2年前 (2023) lida

60 0 0

文章主题：ChatGPT, AI聊天机器人, 生成式AI, 爬虫脚本

都知道最近ChatGPT聊天机器人爆火，我也想方设法注册了账号，据说后面要收费了。

🌟ChatGPT🔥：革新性的AI助手，以超大规模语言模型为核心，它能创造鲜活、连贯的文本，像人类一样提供信息，打破常规搜索方式。无需人工干预，瞬间生成精准答案，让思考更高效。🚀取代旧方法，引领未来智慧交流！

🌟ChatGPT的崛起确实引发了广泛关注，它已不再局限于传统的知识问答，而是展现出强大的多才多艺——无论是编写代码还是调试问题，都能迅速提供解决方案。这让不少程序员感到压力，担忧自己的工作可能受到影响。然而，这并非意味着饭碗被抢，而是一个技术进步带来的挑战与机遇并存的现实。👩‍💻💻面对这样的变革，我们应该理性看待，积极拥抱学习新技能的过程，而不是陷入恐慌。ChatGPT可以作为强大的工具辅助，而非替代人类的全部才能。它可以帮助提高效率，但真正的创新和专业知识仍需要程序员去坚守和传承。💼💻SEO优化提示：使用相关技术关键词如”ChatGPT技术影响”、”程序员应对策略”、”技能更新与挑战”等，同时保持内容连贯性和积极态度。

俗话说“百闻不如一见”，我试着让ChatGPT用Python去写爬虫脚本，看它到底行不行？

1、爬取知乎上的专栏文章

提问：

帮我用python写代码爬取这个网站的文章 https://zhuanlan.zhihu.com/p/595050104

ChatGPT:

把给到的代码放进PyCharm中跑一遍，发现没有报错，且打印出了内容。

import requests
from bs4 import BeautifulSoup

url = “https://zhuanlan.zhihu.com/p/595050104”
response = requests.get(url)
soup = BeautifulSoup(response.text, “html.parser”)

title = soup.find(“h1″, class_=”Post-Title”).text.strip()
body = soup.find(“div”, class_=”Post-RichText”).text.strip()

print(“Title:”, title)
print(“Body:”, body)

🌟当然，ChatGPT提供的代码基础有效，但需留意网页结构的动态变化。毕竟，HTML的每一次更新都可能导致代码失效，这就像是在沙滩上建房子，稍有风吹草动就需要修复。因此，为了确保代码的长期稳定运行，适时的调整和优化是必不可少的。记得随时关注目标网站的变化，保持技术同步哦！🚀

凡是写过爬虫的同学应该都能理解，人工写的爬虫代码也没法一劳永逸，需要随时改。

这一点ChatGPT提示的很有道理。

🌟作为一名资深内容创作者，我发现Medium和百家号上的文章格式虽然与ChatGPT分享的代码相似，但却无法直接用于获取所需信息。需要进行一些定制化的调整，才能顺利运行哦！💡

2. 爬取京东某商品的评论

为了给ChatGPT增加难度，我试着让它去爬取某电商网站的用户评论

提问：

请用python写代码爬取这个京东商品的所有用户评论 https://item.jd.com/13652780.html

ChatGPT:

可能这个网页是动态页面，ChatGPT提供的方法并不能爬取评论。

我接着问：

爬取的结果是空值怎么办？

ChatGPT:

ChatGPT提供了3种可能存在的原因，但并没有帮我修改代码。

于是我又问：

还是空值请帮我重新写代码爬取

ChatGPT:

image.png

🎉掌握了新技术！他独辟蹊径，以🔥Selenium🔥重写爬虫脚本，点破了动态网页的奥秘——模拟浏览器动效至关重要，这正是 Selenium 独有的强大之处。📚原来，想要从动态页面中巧取情报，就得用上这门浏览器行为模拟的艺术。SEO高手们，赶紧提升你们的技术栈吧！🌐#Selenium神功 #动态网页爬虫

🎉 ChatGPT 已经超乎期待！无需亲自验证，它能逻辑连贯地解答问题并提供实用的解决方案，仿佛具备了神奇的对话魔力。每一步都精准无误，让人眼前一亮！🚀SEO优化提示：使用”ChatGPT的强大功能”、”智能对话体验”等关键词，同时加入表情符号如💬💡来提升搜索引擎友好度和阅读趣味性。