數據挖掘

如果能把整個互聯網裝在你口袋里，你打算做什么？我想，你能做很多事情。在網上有那么多和你業務有關的信息，但僅僅通過普通的搜索引擎無法把這些數據的概覽給你，以便讓你分析和處理它。

互聯網上有價值的信息是海量和巨大的。但有可能它們深埋在一個很難發覺的角落或雜亂無章的散落在各地。而互聯網信息挖掘系統就是對特定有價值信息的聚合，這其中包括了很多不同的技術。從互聯網上抓取大量文檔是第一步，我們通常叫他蜘蛛或網絡爬蟲。但其中最重要的部分是對“暗網”（deep web）的抓取，因為它們深藏在網站的數據庫里很難被發掘。因此我們要對一般的網絡爬蟲做出相應的修改和定制。在網絡文檔信息被抓取之后，我們要對它們進行自動分類，以判斷它們是不是包含我們感興趣的信息，這樣可以過濾掉絕大部分不相關的文檔以便做下一步的處理。最后一步是從這些非結構化或半結構化的網頁中抽取結構化信息。這其中模糊識別，統計模型以及機器學習算法起到非常關鍵的作用。下圖體現了這個流程：

區別于一般的通過手工定義規則的辦法來從網頁中抓取結構化信息，我們通過自主研發的完全無監督的機器學習算法自動從大量同類文檔中發掘出模式和規律從而大大降低開發維護成本，也提高了可維護性。

相關產品

更多信息

欲了解詞泰科技的自然語言處理技術如何集成到您的系統來幫助您的應用，請與我們聯系。