全球人工智能：專注為AI開發(fā)者提供全球最新AI技術動態(tài)和社群交流。用戶來源包括：北大、清華、中科院、復旦、麻省理工、卡內(nèi)基梅隆、斯坦福、哈佛、牛津、劍橋等世界名校的AI技術碩士、博士和教授；以及谷歌、騰訊、百度、臉譜、微軟、華為、阿里、?？低?、滴滴、英偉達等全球名企的AI開發(fā)者和AI科學家。

文章來源：Techug 作者：程序師視野

PornHubBot源代碼介紹：

PornHubBot項目主要是爬取全球最大成人網(wǎng)站PornHub的視頻標題、時長、mp4鏈接、封面URL和具體的PornHub鏈接

項目爬的是PornHub.com，結(jié)構(gòu)簡單，速度飛快

爬取PornHub視頻的速度可以達到500萬/天以上。具體視個人網(wǎng)絡情況,因為我是家庭網(wǎng)絡，所以相對慢一點。

10個線程同時請求，可達到如上速度。若個人網(wǎng)絡環(huán)境更好，可啟動更多線程來請求，具體配置方法見 [啟動前配置]

所需的環(huán)境和架構(gòu)：

開發(fā)語言: Python2.7

開發(fā)環(huán)境: MacOS系統(tǒng)、4G內(nèi)存

數(shù)據(jù)庫: MongoDB：

啟動前配置：

安裝MongoDB,并啟動，不需要配置

安裝Scrapy

安裝Python的依賴模塊：pymongo、json、requests

根據(jù)自己需要修改 Scrapy 中關于 間隔時間、啟動Requests線程數(shù)等得配置

啟動指令：python PornHub/quickstart.py

運行截圖：

數(shù)據(jù)庫說明：數(shù)據(jù)庫中保存數(shù)據(jù)的表是 PhRes。以下是PhRes表字段說明：

展開全文

GitHub資源：https://github.com/xiyouMc/WebHubBot

GitHub資源：https://github.com/xiyouMc/WebHubBot

聲明：本文內(nèi)容僅供AI技術研究使用，嚴禁傳播色情內(nèi)容！

熱門文章推薦

重磅|中國醫(yī)療機器人行業(yè)圖譜：2家上市，12家獲融資，近1/3的團隊來自哈工大

重磅|這家只上了中小板的AI公司市值或?qū)⒊f億!!!!!

重磅|佩奇致股東公開信：除了谷歌，Alphabet還做了啥？

重磅|滴滴宣布融資380億(估值約3500億):重點布局AI業(yè)務！

最新|霍金稱世界正邁入“新科學復興”，李開復微博點贊

資源|杜克大學計算機統(tǒng)計學（Python）全部內(nèi)容中文翻譯

重磅|馬斯克的第四次驚天創(chuàng)舉：這一次，他將拿人腦開刀！

重磅|15種排序算法動畫演示（附視頻）