歡迎來(lái)到令人興奮的 AI 應(yīng)用世界！在這門課程中，你將學(xué)習(xí)到創(chuàng)建一個(gè)能夠與用戶互動(dòng)、理解自然語(yǔ)言、處理音頻輸入，甚至分析圖像的真正智能應(yīng)用所需的技能和技術(shù)。

AI 工具和技術(shù)

你將獲得使用幾個(gè)知名 AI API 和技術(shù)的實(shí)際經(jīng)驗(yàn)。這些行業(yè)領(lǐng)先的平臺(tái)將作為我們 AI 應(yīng)用的構(gòu)建塊。我們將使用的一些技術(shù)包括：

OpenAI：

我們將深入探索 OpenAI 的 Chat Completion API，這是一個(gè)革命性的工具，允許我們的應(yīng)用與用戶進(jìn)行自然而動(dòng)態(tài)的對(duì)話。

Deepgram：

我們將利用 Deepgram 的語(yǔ)音識(shí)別 API 來(lái)轉(zhuǎn)錄音頻文件，允許我們無(wú)縫地將音頻分析集成到我們的應(yīng)用中。

Replicate：

我們將了解 Replicate，這是開源 AI 中的一場(chǎng)變革。我們將使用它來(lái)利用一個(gè)名為 miniGPT 的圖像分析模型，使我們的應(yīng)用能夠理解圖像內(nèi)容并智能地回答有關(guān)它們的問題。

Langchain：

我們將使用這項(xiàng)技術(shù)為我們的應(yīng)用賦予一種獨(dú)特的“記憶”。有了 Langchain，我們的應(yīng)用將能夠記住以前的互動(dòng)，并根據(jù)積累的知識(shí)智能地做出回應(yīng)。

我們將構(gòu)建什么？

現(xiàn)在，我們對(duì)將要學(xué)習(xí)的迷人 AI 技術(shù)感到興奮，讓我們來(lái)看一下我們將要構(gòu)建的內(nèi)容。

這是一個(gè)我們可以用于分析內(nèi)容 – 文本、音頻或圖像的應(yīng)用。

對(duì)于我們的文本分析功能，我們選取一段文本，然后向 AI 提問，得到回應(yīng)。

它由幾個(gè)主要元素組成：

一個(gè)文本區(qū)域來(lái)添加我們的文本

一個(gè)輸入框和按鈕來(lái)提交問題

一個(gè) div 來(lái)展示 AI 的回應(yīng)。

對(duì)于我們的音頻分析功能，我們將音頻文件轉(zhuǎn)錄為文本。當(dāng)我們有轉(zhuǎn)錄文本時(shí)，我們可以向 AI 提問。首先將其轉(zhuǎn)錄為文本，讓我們可以使用相同的 AI 進(jìn)行文本分析 – AI 以文本形式分析音頻。

這個(gè)功能由 Transcriber 組件和一個(gè)與文本分析功能中的聊天窗口類似的窗口組成。

我們還將添加功能，以便我們可以向 AI 提出多個(gè)問題，以便我們可以繼續(xù)向其詢問有關(guān)音頻文件的問題。

最后，我們將構(gòu)建圖像分析功能。對(duì)于這個(gè)功能，我們將添加一個(gè)圖像 URL 到輸入中。然后我們可以向 AI 提問有關(guān)圖像的問題。

我們將添加功能，以便我們能夠提出多個(gè)問題。我們將賦予我們的 AI 記憶，以便它可以記住以前的問題和答案，保留整個(gè)對(duì)話的上下文！

課程內(nèi)容大綱：

課程介紹

OpenAI 的聊天 API

分析文本功能

字符串的標(biāo)記化

使用 Deepgram 的語(yǔ)音轉(zhuǎn)文字 API 進(jìn)行音頻轉(zhuǎn)錄

分析音頻功能

LangChain 介紹

分析圖像功能

Langchain 和 Replicate