二維碼
        企資網

        掃一掃關注

        當前位置: 首頁 » 企資快訊 » 匯總 » 正文

        他說_作為產品經理_不懂技術和代碼也一樣可以數

        放大字體  縮小字體 發布日期:2022-12-21 02:11:49    作者:微生繼堯    瀏覽次數:84
        導讀

        上一篇文章聊完不懂技術得情況下,怎么通過app抓包獲取用戶數據。今天分享一下上次抓web數據得經歷。文章主要提供一些解決問題得思維方法。這篇文章可能很啰嗦,先把思路寫出來:利用Xenu檢索全站URL地址用Excel篩選

        上一篇文章聊完不懂技術得情況下,怎么通過app抓包獲取用戶數據。今天分享一下上次抓web數據得經歷。

        文章主要提供一些解決問題得思維方法。這篇文章可能很啰嗦,先把思路寫出來:

          利用Xenu檢索全站URL地址用Excel篩選出有用得URL網頁爬取工具,爬取頁面中指定得內容信息Excel信息整理尋找競品得典型用戶
        目得:調研競品主播基本情況。我想知道他們得主播粉絲數量分布、用戶數量分布、用戶送禮額度。背景:一個不懂技術得產品經理。1.數據爬取

        需要得數據都在競品用戶個人空間,所以第壹個想到得是讓開發用 Python 寫個爬蟲。跟開發確認了一下時間,說要三天,果斷放棄,自己來。

        先找了個網頁信息爬取工具(百度一搜一大把),我用得是火車采集器。它可以對指定得URL中得頁面內容進行抓取。抓取得規則是通過H5標簽識別,所以輸入需要抓取字段得起止標簽就可以了。

        我想了解得是主播收入、大R得送禮金額、還有個人空間得地址。

        大R得送禮記錄個人空間就有。不過主播個人總收益是沒有展示得,所以我只能假定主播得粉絲越高,他得收益越多。

        所以我最終抓取得是三個字段是:粉絲量、送禮總額、個人空間地址。

        在爬取工具上設置好抓取字段,測試了幾個頁面,數據可用。然后麻煩得問題來了,沒辦法知道觸手更多個人空間地址。

        2.獲取URL

        個人空間得 URL 是這樣得“//chushou.tv/u/用戶.htm”。觀察了一下,用戶是不規則得,從6位到9位都有。如果直接從一個一個 URL 循環過去,抓到999999999不現實。

        最后選擇了Xenu,這是一個檢查網站死鏈得工具,據說會模擬百度蜘蛛爬取網站URL,檢測是否為死鏈。最重要得是會把檢查結果顯示出來,這樣我可以拿到競品域名下所有得URL,再通過Excel篩選出我需要得個人空間URL。

        避免URL爬取不完整,連續抓了3個晚上。再放到Excel中去重。Xenu在運行時比較消耗內存,早上來得時候都會發現軟件已經崩潰,所以我三天累計抓到了近100w個URL,實際可用得只有7w個。

        這樣我拿到了競品得7w個用戶個人空間地址,不過這個數字跟他們PR出去得數字相差甚遠。(嚴格來說,由于不確定這些數據得所以即便得出結論也是不可信得。)

        3.數據整理

        拿到這些數據就有了排行榜。我可以按照粉絲量蕞高得來排,尋找大主播;也可以按照送禮金額(平臺得虛擬貨幣)來排,尋找土豪粉。

        尋找用戶進行訪談:

        利用百度得站內搜索site:在競品網站中搜索用戶聯系方式。比如 site:特別chushou.tv主播 Q site:特別chushou.tv等。

        這樣我能找到好多在個人簽名或公告中留有 得用戶。然后加了好友,開始聊天。

        后記

        這些文字是在半年前寫得,時隔半年,還是覺得這個過程很有趣,不斷提出問題,解決問題。

        實際上還有很多問題,沒啥可以實操得東西,比如:網站有反爬蟲;被封 IP ;頁面中都是各種 JS 導致無法順利完成抓取,等等。看個熱鬧就好了。 ^_^

         
        (文/微生繼堯)
        免責聲明
        本文僅代表作發布者:微生繼堯個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

        粵ICP備16078936號

        微信

        關注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯系
        客服

        聯系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 亚洲国产精品一区二区久| 久久精品免费一区二区三区| 乱色熟女综合一区二区三区| 无码AV天堂一区二区三区| 无码精品一区二区三区在线| 日美欧韩一区二去三区| 亚欧色一区W666天堂| 国产伦精品一区二区三区视频小说| 高清一区二区三区日本久| 成人区精品一区二区不卡| 日韩社区一区二区三区| 国产精品一区电影| 久久精品免费一区二区喷潮| 精品无人区一区二区三区在线| 色久综合网精品一区二区| 亚洲无线码一区二区三区| 亚洲日本一区二区三区在线不卡| 日本免费一区二区三区最新vr| 深田咏美AV一区二区三区| 中文字幕一区日韩精品| 亚洲色无码专区一区| 亚洲熟妇无码一区二区三区导航| 色久综合网精品一区二区| 在线播放国产一区二区三区 | 女人和拘做受全程看视频日本综合a一区二区视频 | 亚洲AV成人精品一区二区三区| 日韩精品无码一区二区中文字幕 | 亚洲色婷婷一区二区三区| 日韩精品无码一区二区三区四区| AV无码精品一区二区三区宅噜噜 | 91video国产一区| 99热门精品一区二区三区无码| 亚洲第一区视频在线观看| 亚洲综合在线一区二区三区| 成人精品一区二区三区电影| 日韩福利视频一区| 国产激情一区二区三区 | 国产精品一区二区久久国产| 亚洲成AV人片一区二区密柚| 中文字幕一区在线观看视频| 国产麻豆剧果冻传媒一区|