DocAssistant - 不用煩惱的文件即時答案,AI帶你直達目的地
Table of Contents:
- 感謝和介紹
- 關於Doc Assistant
- 在不同平台上使用Doc Assistant
- Doc Assistant的技術面貌
- Azure資源的應用
- 存儲邏輯和使用者體驗的改進
- Doc Assistant的未來發展計劃
- 團隊合作和感謝
📚 感謝和介紹
大家好!非常感謝大家今天的參與,也要感謝微軟邀請我們參加這次令人驚喜的活動,並給予我們展示應用程式的機會。我們團隊共有四個人,我們有幸參加了微軟團隊組織的全球黑客松。在此要特別感謝我的隊友Yuri、Alexander和margas。我們提出了一個創建應用程式的想法,該應用程式可以讓對專業和個人生活中的文件處理感到困擾的人可以更輕鬆地處理文件。這就是Doc Assistant,你的無憂文件智能助手!
📝 關於Doc Assistant
瞭解到閱讀冗長的手冊和技術文件可能很乏味且耗時,我們決定創建一個應用程式,可以簡化您日常工作中閱讀和分析長文本以及搜尋答案的過程。Doc Assistant利用人工智慧的力量,您可以輕鬆上傳您正在處理的文件(支援PDF、Microsoft Word和Excel檔案、文字檔案以及圖片格式如JPG、JPEG、PNG等),然後向助理提出有關該文件的具體問題,並在幾秒鐘內獲得準確的答案。
目前Doc Assistant可以在Microsoft Teams、Facebook Messenger、Telegram Messenger和Skype等熱門即時通訊平台上使用。現在讓我們更仔細地了解Doc Assistant的功能吧!
👀 讓我們來看看Doc Assistant的能力
讓我們想像一下,你搬到了一個對當地語言不太自信的外國國家,但你需要處理日常文件,例如銀行協議、租約協議等等。你可以通過簡化你的日常生活來達到這一點。例如,你可以拍攝一張你想要理解的文件的照片,將其上傳給助手,用你的母語提出任何問題。助手會給你提供精確的答案,如此一來你就不需要手動進行翻譯,同時可以得到準確的答案。
讓我們來看看在其他平台上的運行情況。下一個例子是通過鏈接提供的PDF檔案。是的,你可以將PDF文件像通常分享PDF文件一樣分享給助手,在對話中進行討論。我們正在測試的是學生簽證和留學要求的文件。幾秒鐘後,你就能得到申請簽證所需文件的精確清單。
除了PDF文件,Doc Assistant還可以處理Microsoft Word文件。讓我們來看看這在微軟的Word文件中是如何運作的。
現在來到Telegram,我們可以詢問助手如下問題,它是否允許根據協議起訴。再來,你看到了來自協議的確切信息,這是從文件中提取出來的。
再來,我們分享了一個Markdown的ReadMe檔案鏈接,你可以在我們的網站上找到這個鏈接。當然,我們還展示了在Skype中的這個功能,這也支持我們的應用程式。我們分享了Do模塊的鏈接,然後問了一個有關模塊用途的問題。幾秒鐘後,你就能獲得安裝模塊的具體步驟。
如您所見,不管你身在何處,Doc Assistant都能幫到你。無論你是在外國生活還是只想輕鬆處理你的文件,這對你來說都是非常有用的。
🔬 Doc Assistant的技術面貌
現在,讓我們談談Doc Assistant所使用的技術資源。在這個圖表中,Web API是中心,負責主要的業務邏輯。Messaging平台如Microsoft Teams、Facebook、Telegram和Skype通過發送PLWS消息或文件與Azure Bot資源進行交互。Azure Bot作為一個適配器的角色,將消息轉換為B Framework可以理解的格式。如果收到Git或MD文件的鏈接,GitHub API將從公共存儲庫中檢索所需的信息,並將其存儲起來。如果負載包含文件,Azure Form Recognition則開始工作,從圖片或文件中提取文本,並將其與特定用戶的對話會話關聯,存儲在存儲賬戶中。存儲帳戶內的文檔處理遵循生命周期管理的原則,7天後,所有從文件收集的數據將在未來的對話中與機器人一起使用,用於回答用戶的查詢。使用Bot Builder的特性,用戶只能在上傳的文檔上,僅限於文檔內的相關文檔。
感謝Prom Engineering的支持,我們成功地找到了一個可以緩慢回答問題的模型,並在Azure Open AI上進行了設置和配置。我們將生成的配置集成到了我們的機器人中。為了達到這一點,我們創建了一個相似的C模型,並將其序列化,以便在我們的機器人中使用。這使我們能夠分工合作並分別使用該模型。然而,我們在開發過程中遇到的挑戰是,缺乏內置的工具來在代碼中重用Azure Open AI的配置。為了解決這個問題,我們創建了一個簡單的生成器,用於創建提示,並將其應用在主對話框中的每個請求中。GPR限制了用戶文件在服務器上的存儲時間,並在有關的對話狀態下保存額外的文件。為了保證資源不被耗盡並給用戶帶來不便,我們使用了C#的深度開發工具,該工具是Python Tokenizer庫的一個更鮮明的設計版本。它可以將每個請求的令牌數進行計算,每個用戶可以通過調用狀態註釋來監測其令牌使用量和文檔頁面處理。
目前,我們的應用程序對於命令工作的令牌數有限制,但在下一個版本中我們計劃取消此限制或通過使用不同的技術來改進性能。
為了提供更好的用戶體驗,我們還加入了根據線上文檔類型提供的提示功能。每次用戶想要根據文件提出問題時,我們都會為每個B消息提供分類推薦,這樣可以更方便地提供選項。
🚀 Doc Assistant的未來發展計劃
前一段時間我們加入了微軟創業家中心(Founder Hub),以尋找新的想法和機會來推動我們的項目發展。我們的計劃包括擴展Doc Assistant到其他PL平台、創建Web服務、增加處理更大文檔的能力,以及同時處理多個文件和文檔,這將使我們的產品對用戶來說更加有用。
🤝 團隊合作和感謝
最後,我們要對每一位對這個項目做出貢獻的人表示衷心感謝!特別感謝An和Alexandre在開發和測試過程中的貢獻,以及在組織和編寫大量文件方面的幫助!感謝他們的貢獻,我們能夠在Facebook、Teams、Telegram等平台上發布我們的應用程序。
以上就是有關Doc Assistant的介紹和技術內容。再次感謝各位對我們的關注和支持!我們相信我們的創業項目有著廣闊的前景和許多有趣的機會,我們期待未來能實現更多的成就!
FAQ Q&A
Q: Doc Assistant可以在哪些平台上使用?
A: Doc Assistant目前可以在Microsoft Teams、Facebook Messenger、Telegram Messenger和Skype等平台上使用。
Q: Doc Assistant支持哪些文件格式?
A: Doc Assistant支持PDF、Microsoft Word和Excel檔案、文字檔案以及圖片格式如JPG、JPEG、PNG等。
Q: Doc Assistant是否能處理多語言文件?
A: 是的,Doc Assistant可以處理多種語言的文件。您可以用您的母語提出問題並獲得準確的答案。
Q: Doc Assistant是否可以處理大型文件?
A: 目前Doc Assistant有對文件大小的限制,但在下一個版本中,我們計劃提供處理更大文件的能力。
Q: 如何使用Doc Assistant安裝並配置模塊?
A: 您可以使用我們的網站上的鏈接來安裝和配置模塊。請按照頁面上的提示進行操作,您將獲得模塊安裝的具體步驟。
Q: Doc Assistant有哪些應用場景?
A: Doc Assistant對於任何需要處理文件的專業人士都非常有用,例如律師、技術支持工程師和開發人員等。同時,它也適用於個人使用,可以幫助您更輕鬆地解決與文件相關的問題。
Q: Doc Assistant能否處理具體的行業文檔?
A: 是的,Doc Assistant可以處理各種行業的文檔,只要您提供相關的問題,它就能給出準確的答案。
Q: 我是否可以使用Doc Assistant來翻譯文件?
A: 是的,您可以使用Doc Assistant來翻譯文件。只需拍攝文檔的照片,上傳到應用程序中,然後用您的母語提出問題,即可獲得準確的翻譯答案。
Q: Doc Assistant的未來發展計劃是什麼?
A: 我們的未來發展計劃包括擴展Doc Assistant到其他平台、創建Web服務、增加處理更大文檔的能力以及同時處理多個文檔等。我們希望能夠讓我們的產品更加完整和使用者友好。
Q: 如何聯繫我們和了解更多信息?
A: 您可以通過我們的網站或在Microsoft Teams、Facebook Messenger、Telegram Messenger和Skype等平台上聯繫我們,獲取更多信息和支援。