哈喽GPT-4o，对GPT-4o 数据分析Data Analysis的思考与看法

最新推荐文章于 2024-08-08 14:03:36 发布
原创 最新推荐文章于 2024-08-08 14:03:36 发布 · 1.7k 阅读 · 41 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#数据分析 #数据挖掘 #chatgpt #人工智能 #ai #自然语言处理

在这里插入图片描述

目录

大家好，我是哪吒。

OpenAI的GPT-4o的横空出世，再次巩固了其作为行业颠覆者的地位。GPT-4o的发布不仅仅是一个产品的揭晓，它更像是向世界宣告AI技术已迈入了一个全新的纪元，连OpenAI的领航者萨姆·奥特曼也不禁感慨，这如同直接从科幻电影情节走进现实。

GPT-4o以及ChatGPT产品的快速总结：图片GPT-4o（“o”代表“全能”）它可以接受任意组合的文本、音频和图像作为输入，并生成任意组合的文本、音频和图像输出。

GPT-4o的问世，标志着AI技术的一个巨大飞跃，它不再局限于单一媒介的交互，而是开创性地实现了文本、语音、图像三者间的无缝融合。

👉 GPT功能：

  1. GPT-4o知识问答：支持1000+token上下文记忆功能
  2. 最强代码大模型Code Copilot：代码自动补全、代码优化建议、代码重构等
  3. DALL-E AI绘画：AI绘画 + 剪辑 = 自媒体新时代
  4. 私信哪吒，直接使用GPT-4o

新模型新玩法，下面简单介绍一下 GPT-4o 数据分析插件Data Analysis~

Data Analysis 提供了丰富的工具和库来支持这些任务，使其成为数据分析的强大环境。

无论是数据科学分析新手还是专家，都可以按步骤进行实践，了解如何使用Data Analysis进行数据加载、清洗、探索和可视化。

上传一个Excel给Data Analysis。

Prompt：请问这个数据集是做什么的

Prompt：请问书籍的定价如何，请用合适的图表展示它的售价情况

Prompt：请统计书名列中出现最多的名称，然后使用词云将其可视化。

Prompt：请用5个图表从不同方面展示对这个数据集的分析。

绘制分形图形

分形图形是一类由相似部分构成的复杂结构，每个部分都是整体的缩小版。分形的独特之处在于其复杂的结构在不同尺度上重复出现，因此无论将图像放大或缩小，都能看到相同的基本形状。这一特性称为自相似性。

分形是数学和自然界中常见的现象，可以用数学方程来描述。以下是一些经典的分形图形：

(1) 曼德布罗特集合（Mandelbrot Set）：分形中最著名的例子之一，由复杂的数学方程定义，并在复数平面上展示。

(2) 朱利亚集合（Julia Set）：与曼德布罗特集合相关，但每个点的行为有所不同。

(3) 谢尔宾斯基三角形（Sierpinski Triangle）：一个简单但引人注目的分形，由不断缩小的三角形组成。

(4) 科赫曲线（Koch Curve）：一个无限复杂的连续分形，由反复添加新的几何形状构成。

分形不仅在数学中有趣，也在自然界中广泛存在。例如，在云朵、山脉、河流、树木等中都可以观察到分形结构。

此外，分形在艺术和计算机图形学中也有广泛应用。它们可用于创建复杂而美丽的图案，常见于电影和视频游戏中的自然景观建模。

分形的研究不仅加深了我们对数学和自然界复杂性的理解，还推动了多个领域的技术进步。

下面使用Data Analysis绘制分形图形。

Prompt：你能够绘制朱利亚集合吗？请以合适的方式展示出来

计算复杂的数学问题

Data Analysis 的数学计算过程本质上是通过 Python 程序调用 SymPy 库等专业工具来实现的。SymPy 库不仅支持符号计算和高精度计算，还具备模式匹配、绘图、解方程、微积分、组合数学、离散数学、几何学、概率与统计及物理学等多方面的功能。借助 Data Analysis，用户可以解决大量基础数学问题，展现其强大和灵活的计算能力。

Prompt：请画出这个函数的图像：x3 + y3 = 3axy，a 的值从 -10 到 10。

使用Data Analysis做一道高数题

Prompt：计算由摆线 x = a(t - sin t), y = a(1 - cos t) 相应于 0 ≤ t ≤ 2π 的一拱与直线 y = 0 所围成的图形绕 x 轴旋转而成的旋转体体积。要保证计算过程和结果都要正确。

在处理较为复杂的数学问题时，Data Analysis 有时会显示出其局限性。Wolfram Alpha 的首席科学家 Michael Trott 为了展示不同工具在解决数学难题方面的效果，特意挑选了一百道数学问题，这些问题来源广泛，包括数学杂志、大学数学竞赛和数学奥林匹克等。随后，他分别利用 Wolfram Plugin 和 Data Analysis 进行尝试，以应对这些挑战性的问题。

实验结果表明，Wolfram Plugin 凭借其强大的计算能力解决了全部问题，而 Data Analysis 仅解决了约 50% 的问题。这个结果清楚地表明，Wolfram Plugin 在处理复杂数学问题时具有显著优势。

此外，他还比较了两者在解决问题时所需的代码长度。值得注意的是，使用 Wolfram 语言编写的代码长度仅为 Data Analysis 使用 Python 代码长度的 27%。这一结果进一步验证了 Wolfram 语言在编写效率和代码简洁性方面的卓越性。

因此，尽管 Data Analysis 在许多方面表现优异，但在解决复杂数学问题时，仍然推荐使用 Wolfram Plugin。这不仅能提供更准确和全面的解决方案，还能通过更简洁的代码节省时间和精力。

👉 GPT功能：

  1. GPT-4o知识问答：支持1000+token上下文记忆功能
  2. 最强代码大模型Code Copilot：代码自动补全、代码优化建议、代码重构等
  3. DALL-E AI绘画：AI绘画 + 剪辑 = 自媒体新时代
  4. 私信哪吒，直接使用GPT-4o

图文详解GPT-4最强对手Claude2的使用方法
herosunly的博客
07-14 6万+
本文通过图文的形式详细介绍了GPT-4最强对手Claude2的使用方法，希望能对学习大语言模型的同学们有所帮助。 文章目录 1. Cluade vs GPT 1.1 背景 1.2 Claude2的特点介绍 1.3 Claude2和GPT-4的对比 2. Claude 2的使用方法 2.1 使用平台 2.2 被忽视的用法
什么是GPT-4T？
candy的博客
06-06 312
PT-4T 是 OpenAI 开发的新一代多模态大型语言模型，在 GPT-4 的基础上增强了对表格数据、数学表达式和代码的处理能力。其核心创新在于 Transformer 架构的优化，使模型能够更高效地处理结构化数据与文本的融合任务。本文将深入探讨 GPT-4T 的技术原理、应用场景及代码实现。
Data Analysis
09-14
Python for Data Analysis. Data Wrangling with Pandas, NumPy, and IPython 2nd 经典的图书 利用python 进行数据分析 ,此为第二版 2017 最新版 该版本语言为英语，17年10月美国最新发布。pdf格式。
【机器学习】自然语言处理的新前沿：GPT-4与Data Analysis
学Java，找哪吒
06-25 1278
GPT-4o的问世，标志着AI技术的一个巨大飞跃，它不再局限于单一媒介的交互，而是开创性地实现了文本、语音、图像三者间的无缝融合。
学习笔记之Data analysis
weixin_34203426的博客
02-12 282
Data analysis - Wikipedia https://en.wikipedia.org/wiki/Data_analysis Data analysisis a process of inspecting,cleansing,transforming, andmodelingdatawith the goal of discovering useful infor...
数据分析（Data Analysis)
Xiebe的博客
06-22 5665
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析
使用GPT-4 ，GPT-4 Turbo等大模型
officeh的博客
06-07 729
Coze的GPT-4助手，可以让大家免费使用 GPT 专业版的功能，不仅支持图片分析、图片生成、还可以生成视频、分析文档等等，最关键是不限次数的！
2分钟速览！GPT-4的使用方法
Scientist_的博客
08-03 3326
两分钟教会你如何使用国内支持GPT4的AI助手。
gpt4o-mini+CrewAI+RAG检索增强生成打造提示词工程师AI智能体
m0_57057282的博客
08-08 693
稍后我会更新如何用本地大模型来完成这个过程。运行docker，获得向量数据库。运行下面的代码将pdf向量化。运行代码，获得你先要的提示词。
data_analysis
weixin_37008013的博客
09-28 394
#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Tue Jul 2 14:18:04 2019 @author: manson """ # !/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Thu May 30 08:10:35 2019 @a...
Data Analysis App是一个用于数据分析的应用程序，可以导入、处理和分析数据集，训练和测试回归模型，并提供模型评估和可视化功能。
weixin_54707168的博客
09-04 547
评估模型：使用下拉菜单选择评估指标（R2、RMSE、MSE、MAE），点击"评估模型"按钮计算并显示选择指标的评估结果。划分训练集和测试集：点击"划分训练集和测试集"按钮可以根据用户输入的比例将数据集划分为训练集和测试集。测试模型：点击"测试模型"按钮使用训练好的模型对测试集进行预测，并显示预测结果。导入数据集：通过点击"导入数据集"按钮选择并导入CSV格式的数据集文件。处理缺失值：点击"处理缺失值"按钮可以对导入的数据集进行缺失值处理。训练模型：点击"训练模型"按钮使用选择的模型对训练集进行训练。
如何在项目使用GPT4o强大的数据分析能力，一个demo直接秒
舜意的博客
06-29 687
项目结合AI可是使得项目的功能更加的强大，相信看到这里的你一定会有所收获的！赶紧动手试试吧！！
Data Analysis 数据分析 数据挖掘
oPerform的专栏
03-10 522
商业分析最优化 —edX，麻省理工学院 离散优化 —Coursera，墨尔本大学 确定性优化 —edX，佐治亚理工学院
data analysis(数组统计中常用的10个指标)
weixin_44675370的博客
06-24 1883
''' sum mean std Standard Deviation var variance min max argmax argmin cumsum Cumulative sum cumprod Cumulative product ''' import numpy as np arr = np.arange(9).reshape(3,3) print(arr) ...
特征工程-数据预处理
2301_79279099的博客
07-12 2039
为什么要做特征工程？在工程实践中，我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。什么是？特征工程的处理流程为首先（即相关性低的），接着去除，如共线特征，并利用存在的特征，转换特征，内容中的特征以及其他数据源生成新特征，然后对特征进行（数值化，类别转换，归一化等），最后对特征进行。
“GPT-4o深度解析：技术演进、能力评估与个人体验综述“
热门推荐
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），现在某大学任教。
06-05 1万+
随着人工智能技术的不断进步，大型语言模型（LLM）已经成为推动自然语言处理（NLP）领域发展的重要力量。GPT系列模型，作为这一领域的佼佼者，每一次更新都引起了广泛的关注和讨论。最近，GPT-4o的问世，再次证明了人工智能技术的无限潜力和创新速度。GPT-4o在多个方面进行了显著的改进和优化。从模型架构到训练策略，从数据处理到算法效率，GPT-4o都展现出了其独特的优势。在版本间的对比分析中，我们将深入探讨GPT-4o相较于前代版本（如GPT-3）的改进之处，以及这些改进如何影响模型的性能和应用范围。
DataAnalysis：基本概念，环境介绍，环境搭建，大数据问题
燕双嘤
03-11 3364
所谓数据就是描述事物的符号，是对客观事物的性质、状态和相互关系等进行记载的物理符号或者是这些物理符号的组合。在计算机系统中，各种文字、字母、数字符号的组合，图形、图像、视频、音频等统称为数据，数据经过加工后就成了信息。
GPT4 Advanced data analysis Code Interpreter 做行业数据分析、可视化处理图像、视频、音频等
AI架构师易筋
10-18 1377
案例：跨境电商如何用ChatGFT选品ChatGPT+素材和资料来自：Jungle ScoutEM, Michael Soltis 和 文韬武韬AIGC。
💻 Usage Instructions & Steps to reproduce We structure the code available in this replication package based on the stages involved in the LLM-based annotation process. 🤖 LLM-based annotation The folder contains the code used to generate the LLM-based annotations.llm_annotation There are two main scripts: create_assistant.py is used to create a new assistant with a particular provider and model. This class includes the definition of a common system prompt across all agents, using the file as the basis.data/guidelines.txt annotate_emotions.py is used to annotate a set of emotions using a previously created assistant. This script includes the assessment of the output format, as well as some common metrics for cost-efficiency analysis and output file generation. Our research includes an LLM-based annotation experimentation with 3 LLMs: GPT-4o, Mistral Large 2, and Gemini 2.0 Flash. To illustrate the usage of the code, in this README we refer to the code execution for generating annotations using GPT-4o. However, full code is provided for all LLMs. 🔑 Step 1: Add your API key If you haven't done this already, add your API key to the file in the root folder. For instance, for OpenAI, you can add the following:.env OPENAI_API_KEY=sk-proj-... 🛠️ Step 2: Create an assistant Create an assistant using the script. For instance, for GPT-4o, you can run the following command:create_assistant.py python ./code/llm_annotation/create_assistant_openai.py --guidelines ./data/guidelines.txt --model gpt-4o This will create an assistant loading the file and using the GPT-4o model.data/guidelines.txt 📝 Step 3: Annotate emotions Annotate emotions using the script. For instance, for GPT-4o, you can run the following command using a small subset of 100 reviews from the ground truth as an example:annotate_emotions.py python ./code/llm_annotation/annotate_emotions_openai.py --input ./data/ground-truth-small.xlsx --output ./data/annotations/llm/temperature-00/ --batch_size 10 --model gpt-4o --temperature 0 --sleep_time 10 For annotating the whole dataset, run the following command (IMPORTANT: this will take more than 60 minutes due to OpenAI, Mistral and Gemini consumption times!): python ./code/llm_annotation/annotate_emotions_openai.py --input ./data/ground-truth.xlsx --output ./data/annotations/llm/temperature-00/ --batch_size 10 --model gpt-4o --temperature 0 --sleep_time 10 Parameters include: input: path to the input file containing the set of reviews to annotate (e.g., ).data/ground-truth.xlsx output: path to the output folder where annotations will be saved (e.g., ).data/annotations/llm/temperature-00/ batch_size: number of reviews to annotate for each user request (e.g., 10). model: model to use for the annotation (e.g., ).gpt-4o temperature: temperature for the model responses (e.g., 0). sleep_time: time to wait between batches, in seconds (e.g., 10). This will annotate the emotions using the assistant created in the previous step, creating a new file with the same format as in the file.data/ground-truth.xlsx 🔄 Data processing In this stage, we refactor all files into iterations and we consolidate the agreement between multiple annotators or LLM runs. These logic serves both for human and LLM annotations. Parameters can be updated to include more annotators or LLM runs. ✂️ Step 4: Split annotations into iterations We split the annotations into iterations based on the number of annotators or LLM runs. For instance, for GPT-4o (run 0), we can run the following command: python code/data_processing/split_annotations.py --input_file data/annotations/llm/temperature-00/gpt-4o-0-annotations.xlsx --output_dir data/annotations/iterations/ This facilitates the Kappa analysis and agreement in alignment with each human iteration. 🤝 Step 5: Analyse agreement We consolidate the agreement between multiple annotators or LLM runs. For instance, for GPT-4o, we can run the following command to use the run from Step 3 (run 0) and three additional annotations (run 1, 2, and 3) already available in the replication package (NOTE: we simplify the process to speed up the analysis and avoid delays in annotation): python code/evaluation/agreement.py --input-folder data/annotations/iterations/ --output-folder data/agreements/ --annotators gpt-4o-0 gpt-4o-1 gpt-4o-2 gpt-4o-3 For replicating our original study, run the following: python code/evaluation/agreement.py --input-folder data/annotations/iterations/ --output-folder data/agreements/ --annotators gpt-4o-1 gpt-4o-2 gpt-4o-3 📊 Evaluation After consolidating agreements, we can evaluate both the Cohen's Kappa agreement and correctness between the human and LLM-based annotations. Our code allows any combination of annotators and LLM runs. 📈 Step 6: Emotion statistics We evaluate the statistics of the emotions in the annotations, including emotion frequency, distribution, and correlation between emotions. For instance, for GPT-4o and the example in this README file, we can run the following command: python code/evaluation/emotion_statistics.py --input-file data/agreements/agreement_gpt-4o-0-gpt-4o-1-gpt-4o-2-gpt-4o-3.xlsx --output-dir data/evaluation/statistics/gpt-4o-0123 For replicating our original study, run the following: python code/evaluation/emotion_statistics.py --input-file data/agreements/agreement_gpt-4o-1-gpt-4o-2-gpt-4o-3.xlsx --output-dir data/evaluation/statistics/gpt-4o ⚖️ Step 7: Cohen's Kappa pairwise agreement We measure the average pairwise Cohen's Kappa agreement between annotators or LLM runs. For instance, for GPT-4o and the example in this README file, we can run the following command: python code/evaluation/kappa.py --input_folder data/annotations/iterations/ --output_folder data/evaluation/kappa/ --annotators gpt-4o-0,gpt-4o-1,gpt-4o-2,gpt-4o-3 For replicating our original study, run the following: python code/evaluation/kappa.py --input_folder data/annotations/iterations/ --output_folder data/evaluation/kappa/ --annotators gpt-4o-1,gpt-4o-2,gpt-4o-3 --exclude 0,1,2 In our analysis, we exclude iterations 0, 1 and 2 as they were used for guidelines refinement. ✅ Step 8: LLM-based annotation correctness We measure the correctness (accuracy, precision, recall, and F1 score) between a set of annotated reviews and a given ground truth. For instance, for GPT-4o agreement and the example in this README file, we can run the following command: python code/evaluation/correctness.py --ground_truth data/ground-truth.xlsx --predictions data/agreements/agreement_gpt-4o-0-gpt-4o-1-gpt-4o-2-gpt-4o-3.xlsx --output_dir data/evaluation/correctness/gpt-4o For replicating our original study, run the following: python code/evaluation/correctness.py --ground_truth data/ground-truth.xlsx --predictions data/agreements/agreement_gpt-4o-1-gpt-4o-2-gpt-4o-3.xlsx --output_dir data/evaluation/correctness/gpt-4o 📝 Step 8: Check results After completing these steps, you will be able to check all generated artefacts, including: LLM annotations: available at data\annotations\llm\ Agreement between LLM annotations and humans: available at data\evaluation\kappa Correctness of LLM annotations with respect to Human agreement: available at data\evaluation\correctness 📜 License
最新发布
11-10
假设我们有一个名为`llm_sentiment_annotation.py`的脚本，它使用大型语言模型（如GPT系列、LLaMA等）对文本进行情感标注。 ### 使用说明 通常，这样的脚本可能需要以下参数： - `--input_file`: 输入文件路径...
评论 18
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值