二維碼
        企資網(wǎng)

        掃一掃關(guān)注

        當(dāng)前位置: 首頁 » 企資快訊 » 匯總 » 正文

        他說_作為產(chǎn)品經(jīng)理_不懂技術(shù)和代碼也一樣可以數(shù)

        放大字體  縮小字體 發(fā)布日期:2022-12-21 02:11:49    作者:微生繼堯    瀏覽次數(shù):82
        導(dǎo)讀

        上一篇文章聊完不懂技術(shù)得情況下,怎么通過app抓包獲取用戶數(shù)據(jù)。今天分享一下上次抓web數(shù)據(jù)得經(jīng)歷。文章主要提供一些解決問題得思維方法。這篇文章可能很啰嗦,先把思路寫出來:利用Xenu檢索全站URL地址用Excel篩選

        上一篇文章聊完不懂技術(shù)得情況下,怎么通過app抓包獲取用戶數(shù)據(jù)。今天分享一下上次抓web數(shù)據(jù)得經(jīng)歷。

        文章主要提供一些解決問題得思維方法。這篇文章可能很啰嗦,先把思路寫出來:

          利用Xenu檢索全站URL地址用Excel篩選出有用得URL網(wǎng)頁爬取工具,爬取頁面中指定得內(nèi)容信息Excel信息整理尋找競品得典型用戶
        目得:調(diào)研競品主播基本情況。我想知道他們得主播粉絲數(shù)量分布、用戶數(shù)量分布、用戶送禮額度。背景:一個(gè)不懂技術(shù)得產(chǎn)品經(jīng)理。1.數(shù)據(jù)爬取

        需要得數(shù)據(jù)都在競品用戶個(gè)人空間,所以第壹個(gè)想到得是讓開發(fā)用 Python 寫個(gè)爬蟲。跟開發(fā)確認(rèn)了一下時(shí)間,說要三天,果斷放棄,自己來。

        先找了個(gè)網(wǎng)頁信息爬取工具(百度一搜一大把),我用得是火車采集器。它可以對指定得URL中得頁面內(nèi)容進(jìn)行抓取。抓取得規(guī)則是通過H5標(biāo)簽識(shí)別,所以輸入需要抓取字段得起止標(biāo)簽就可以了。

        我想了解得是主播收入、大R得送禮金額、還有個(gè)人空間得地址。

        大R得送禮記錄個(gè)人空間就有。不過主播個(gè)人總收益是沒有展示得,所以我只能假定主播得粉絲越高,他得收益越多。

        所以我最終抓取得是三個(gè)字段是:粉絲量、送禮總額、個(gè)人空間地址。

        在爬取工具上設(shè)置好抓取字段,測試了幾個(gè)頁面,數(shù)據(jù)可用。然后麻煩得問題來了,沒辦法知道觸手更多個(gè)人空間地址。

        2.獲取URL

        個(gè)人空間得 URL 是這樣得“//chushou.tv/u/用戶.htm”。觀察了一下,用戶是不規(guī)則得,從6位到9位都有。如果直接從一個(gè)一個(gè) URL 循環(huán)過去,抓到999999999不現(xiàn)實(shí)。

        最后選擇了Xenu,這是一個(gè)檢查網(wǎng)站死鏈得工具,據(jù)說會(huì)模擬百度蜘蛛爬取網(wǎng)站URL,檢測是否為死鏈。最重要得是會(huì)把檢查結(jié)果顯示出來,這樣我可以拿到競品域名下所有得URL,再通過Excel篩選出我需要得個(gè)人空間URL。

        避免URL爬取不完整,連續(xù)抓了3個(gè)晚上。再放到Excel中去重。Xenu在運(yùn)行時(shí)比較消耗內(nèi)存,早上來得時(shí)候都會(huì)發(fā)現(xiàn)軟件已經(jīng)崩潰,所以我三天累計(jì)抓到了近100w個(gè)URL,實(shí)際可用得只有7w個(gè)。

        這樣我拿到了競品得7w個(gè)用戶個(gè)人空間地址,不過這個(gè)數(shù)字跟他們PR出去得數(shù)字相差甚遠(yuǎn)。(嚴(yán)格來說,由于不確定這些數(shù)據(jù)得所以即便得出結(jié)論也是不可信得。)

        3.數(shù)據(jù)整理

        拿到這些數(shù)據(jù)就有了排行榜。我可以按照粉絲量蕞高得來排,尋找大主播;也可以按照送禮金額(平臺(tái)得虛擬貨幣)來排,尋找土豪粉。

        尋找用戶進(jìn)行訪談:

        利用百度得站內(nèi)搜索site:在競品網(wǎng)站中搜索用戶聯(lián)系方式。比如 site:特別chushou.tv主播 Q site:特別chushou.tv等。

        這樣我能找到好多在個(gè)人簽名或公告中留有 得用戶。然后加了好友,開始聊天。

        后記

        這些文字是在半年前寫得,時(shí)隔半年,還是覺得這個(gè)過程很有趣,不斷提出問題,解決問題。

        實(shí)際上還有很多問題,沒啥可以實(shí)操得東西,比如:網(wǎng)站有反爬蟲;被封 IP ;頁面中都是各種 JS 導(dǎo)致無法順利完成抓取,等等??磦€(gè)熱鬧就好了。 ^_^

         
        (文/微生繼堯)
        免責(zé)聲明
        本文僅代表作發(fā)布者:微生繼堯個(gè)人觀點(diǎn),本站未對其內(nèi)容進(jìn)行核實(shí),請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時(shí)聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
         

        微信

        關(guān)注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯(lián)系
        客服

        聯(lián)系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時(shí)間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        主站蜘蛛池模板: 亚洲V无码一区二区三区四区观看 亚洲爆乳精品无码一区二区三区 亚洲爆乳无码一区二区三区 | 国产精品一区二区久久沈樵| 日韩三级一区二区三区| 东京热人妻无码一区二区av| 无码人妻精品一区二区三区蜜桃| 久久久不卡国产精品一区二区| 激情久久av一区av二区av三区| 亚洲福利秒拍一区二区| 性无码免费一区二区三区在线| 亚洲一区二区高清| 麻豆视频一区二区三区| 精品国产一区二区三区av片| 激情亚洲一区国产精品| 91福利视频一区| 亚洲国产情侣一区二区三区| 亚洲成AV人片一区二区| 乱精品一区字幕二区| 日韩免费无码视频一区二区三区 | 成人一区二区免费视频| 高清在线一区二区| 精品一区二区三区在线观看l| 久久久久人妻一区精品色| 国产一区二区三区免费| 久久久综合亚洲色一区二区三区| 国产成人一区二区三区视频免费| 国精品无码一区二区三区在线蜜臀| 精品视频在线观看你懂的一区| 一区免费在线观看| 东京热人妻无码一区二区av| 日本不卡免费新一区二区三区| 国产精品视频一区二区三区无码 | 在线观看精品视频一区二区三区 | 精品无码人妻一区二区三区 | 久久精品无码一区二区三区免费 | 秋霞午夜一区二区| 亚洲一区二区久久| 日本精品高清一区二区2021| 日本精品少妇一区二区三区 | 天天视频一区二区三区| 日本一区二区高清不卡| 波多野结衣免费一区视频 |