AI网站数据爬取与Excel文件整合实践
文章主题：AI网站, 图片, 网页源代码, Chrome浏览器
要实现自动化爬取并保存这些 AI 网站的名称和网址到 Excel 文件中，您可以遵循以下步骤：首先，您需要找到一个可以执行此任务的工具或脚本。有许多免费和付费的选项可供选择，例如 Python 的 BeautifulSoup 和 Scrapy 框架。这些工具可以帮助您解析网页内容并提取所需信息。接下来，您需要编写代码来访问网站、解析图像和提取信息。具体来说，您需要定位图像中的 URL 地址，并通过请求获取这些网站的 HTML 内容。然后，您可以使用正则表达式或其他方法来提取所需的网站名称和地址。最后，您可以将提取的信息保存到 Excel 文件中。为此，您可以使用 Python 或其他编程语言编写代码，将数据写入文件。确保您遵循版权法和隐私政策，以免遇到任何法律问题。总之，要实现此任务，您需要使用适当的工具和代码来爬取网站信息并将其保存到 Excel 文件中。通过遵循上述步骤，您可以轻松地完成此任务。
首先，在chrome浏览器中点击右键，点击inspect，可以查看到每个图片超链接的网页源代码
可以看到，网址在href属性值里面，网站名称在alt属性值里面
<div class=”grid-image-wrapper”>
<img width=”800″ loading=”lazy” src=”https://uploads-ssl.webflow.com/63e6b0363b7fbc64fe4ba92c/63f1777cc167269e00510ad4_motion%20white.png” alt=”Motion logo”></div></a>
但是，alt属性值后面多了一个logo，所以获取到这个属性值后要去掉logo这个串字符。
然后让ChatGPT写一段代码
在 Visual Studio Code 中，将代码复制粘贴后运行时，出现程序运行错误。据此推测，可能与 Python 安装环境存在问题有关。
于是，安装Anaconda3，创建虚拟环境
虚拟环境创建成功了，但是无法激活，显示：
在使用 `conda activate` 时，如果遇到 `CommandNotFoundError` 错误，这通常意味着您的 shell 没有正确配置来执行此操作。要解决这个问题，您需要确保您的 shell 已经正确配置，以便能够找到并执行 `conda activate` 命令。
在从批量脚本中启动conda时，请更改您的
invocation to CALL conda.bat activate.
To initialize your shell, run
$ conda init <SHELL_NAME>。
试了多个方法没成功，最后修改运行终端为command prompt，终于成功。
这时候程序没有报错，但是创建excel文件不成功。把出错信息丢给chatgpt，让它找解决办法。
尝试了chatgpt推荐的几个方法，没有成功。
放弃，于是让chatgpt不生成excel文件，只输出一个表格。
终于成功！
但是，有一个问题，我只想要AI相关的网站信息，但是这个程序把web3和其他网站信息都爬取下来了。
要实现这个目标，我们需要首先检查网页的源代码，观察是否所有的网站都位于同一个HTML页面中。确认这一点后，我们可以让程序仅爬取那些包含AI网站的`<div>`元素中的内容。为了更好地完成这个任务，我们还需要对ChatGPT的提示词进行相应的修改。
然后在虚拟环境中跑这个Python程序
终于大功告成，爬取到真正想要的数据信息。
不过，这些表格信息复制到excel里面就乱了。
再尝试让chatgpt整理这些信息然后写入excel表格：
这次运行成功，成功创建如下excel表格，完美的将网页中的信息爬取和整理好了。
一些经验总结：
在Python编程过程中，安装Anaconda3以及使用虚拟环境来执行程序是至关重要的。频繁出现错误的原因往往在于环境配置存在问题。通过采用虚拟环境的方式，我们可以有效地解决这一问题。
在实际应用中，由于各种因素的影响，程序很难在一次运行中完美地通过测试。因此，我们需要通过多次迭代来不断地优化和完善算法。在这个过程中，我们需要密切关注每次运行结果所提供的错误信息，并根据这些信息有针对性地对算法进行调整和改进，从而确保算法的准确性和稳定性。
如果ChatGPT不能一次性完成设定的目标，就分解成两个甚至多个任务，然后一个个的完成。
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
相关文章
