闡明一下，我的這篇文章沒(méi)有太多的技能含量，最多只要一些的技能總結(jié)，剩下的是我這幾個(gè)月算是本身經(jīng)歷吧，但是沒(méi)跑題啊，仍是跟爬蟲技能的先關(guān)的，不喜歡能夠關(guān)了哈，來(lái)都來(lái)了就看看唄，沒(méi)準(zhǔn)能夠協(xié)助你呢，哈哈謝謝你~

       你好啊，歡迎你點(diǎn)進(jìn)來(lái)聽(tīng)我吹牛皮，哈哈哈哈開(kāi)玩笑，我依舊是那個(gè)帶你們走向更影響更驚險(xiǎn)的楊旭華，從最終一次寫博客到現(xiàn)在有三個(gè)多月了，是從2021-02-15 16:48:37最終一篇到現(xiàn)在重新寫作，嗯立刻就三個(gè)月半了

       嗯我先廢話一會(huì)，湊個(gè)字?jǐn)?shù)，不想看的，能夠直接傳送車，下面有我總結(jié)的爬蟲面試題，絕對(duì)的實(shí)在面試題，親身經(jīng)歷哈哈哈哈 看見(jiàn)沒(méi)點(diǎn)這飛曩昔

       或許會(huì)有很多人好奇為什么這么長(zhǎng)時(shí)刻不更新，忙？ 沒(méi)空？ ，其實(shí)都不是，我不忙也不是沒(méi)空，也不是懶得不想寫（咳~其實(shí)便是嘿嘿…）

       先說(shuō)說(shuō)我這幾個(gè)月在干嘛吧，由于我是學(xué)生哈，從我最終一次寫文章開(kāi)始應(yīng)該是年的大年初四，一直到初八初九吧，我其實(shí)在家，走親屬什么的，今日那個(gè)親屬來(lái)，明天這個(gè)親屬來(lái)，橫豎便是待客嘛，也就放飛自我了，不想寫文章

       然后到后面便是跟小兄弟哥們們一塊玩玩玩，其實(shí)從元旦就開(kāi)始玩哈哈哈哈，后面有幾天我陪我女朋友玩了一星期（沒(méi)想到吧我還有女朋友），害便是她上班，我玩我的，下了班一同吃飯玩啥的，由于她上班的早，就這樣到了3月1號(hào)，我回家了

       從回家開(kāi)始我就直接開(kāi)始找作業(yè)了，我找的便是爬蟲方向的作業(yè)，由于是實(shí)習(xí)生，并且爬蟲作業(yè)又特別少(實(shí)習(xí)崗位)，加上疫情的原因，導(dǎo)致我找作業(yè)十分不順利


       我真的是找了整整一個(gè)月半，給咱們看一下我的boss直聘截圖，我怎樣記住之前是快四百多交流了呢


       這個(gè)還只是我在這個(gè)軟件上的記錄，還有用到過(guò)的拉鉤招聘、實(shí)習(xí)生、智聯(lián)招聘、獵聘、前程無(wú)憂等等，但但凡我符合招聘要求的，我全部投了，真是海投，成果收到的回復(fù)沒(méi)有幾個(gè)，面試更是寥寥無(wú)幾，真的是體會(huì)到社會(huì)的毒打了，我大約算了一下，這幾個(gè)軟件一共我交流加投簡(jiǎn)歷差不多有快1000了吧，首要是boss和拉鉤，有的便是讀了你的音訊不回你，要么沒(méi)看音訊也不回你，要么便是聊得好好的人沒(méi)了，要么便是。。。。。哎橫豎便是各種奇葩

       再后來(lái)便是找到幾家家愿意讓我去實(shí)習(xí)的公司，橫豎要么便是我看不上，要么便是看不上我，我記住有家公司大廠大廠大廠 我面試經(jīng)過(guò)了，然后讓我等offer，最終又通知我面試一次，最終就跟我說(shuō)沒(méi)經(jīng)過(guò)，醉了醉了，真是無(wú)奈，估量便是被別人頂了

重點(diǎn)啦：主張?jiān)蹅?，等一家公司的offer的時(shí)分不要傻傻的真的等，接著面，假如失約了，你就game over了

最終的最終，我到了我現(xiàn)在這家公司，首要做人工智能這方面，是在汽車上做項(xiàng)目，這個(gè)我覺(jué)得仍是國(guó)內(nèi)少有的，它是一個(gè)小公司，人數(shù)寥寥無(wú)幾，我在這里也不是做爬蟲了，便是深度學(xué)習(xí)工程師，害首要便是找找數(shù)據(jù)集，然后訓(xùn)練model作業(yè)悠閑的很

正文Action
       好了廢話說(shuō)的也不少了接下來(lái)給就談?wù)務(wù)娴膶I(yè)知識(shí)，爬蟲，相信看過(guò)我的文章的人都知道，我寫爬蟲的時(shí)分，有時(shí)分會(huì)寫這個(gè)東西，由于我怕有的人學(xué)了爬蟲回去搞一些事情出來(lái)，在這里算是善意的提示吧



所以面對(duì)監(jiān)獄編程，你真的符合嗎？？

       干這一行的都知道這幾年有很多個(gè)正正經(jīng)經(jīng)的案例，便是哪個(gè)哪個(gè)公司程序員寫了爬蟲代碼，最終導(dǎo)致爬進(jìn)了監(jiān)獄，這些案例是實(shí)在存在的，雖然現(xiàn)已曩昔好久但只要是一提起來(lái)仍是覺(jué)得十分影響的

       那咱們來(lái)談?wù)劷袢盏闹黝}，你真的能爬進(jìn)監(jiān)獄嗎？我想這個(gè)問(wèn)題，沒(méi)有正常的答復(fù)，你能說(shuō)你進(jìn)不去嗎，假如呢，你把人家服務(wù)器給爬崩了，嗯你便是技能這么好，他們的服務(wù)器裝備便是這么低這么爛

但是你真的能進(jìn)去嗎？我相信你們是由于我文章的標(biāo)題進(jìn)來(lái)的，大多數(shù)或許出于好奇，甚至都不明白爬蟲，心抱負(fù)：我編個(gè)程，怎樣就進(jìn)監(jiān)獄了，有很多看博客的都是這個(gè)心里

那接下來(lái)咱們從技能分析一下，你至少要寫成什么樣的爬蟲，才有或許爬進(jìn)監(jiān)獄

先從最根底的程序設(shè)計(jì)說(shuō)起：

requests懇求
User-Agent假裝
re/xpath解析數(shù)據(jù)
mysql/mongo存儲(chǔ)
有了這些，恭喜你有了半只腳踏進(jìn)了監(jiān)獄，哈哈哈定心早著呢

進(jìn)階：

Selenium+Chrome/Firefox
多線程/多進(jìn)程爬蟲
Proxies署理
操控臺(tái)抓包
js逆向/js分析改寫
ajax懇求破解
分布式爬蟲
進(jìn)階已完成，咱們更近了一步

高級(jí)進(jìn)階：

scrapy結(jié)構(gòu)
周期性計(jì)劃任務(wù)
機(jī)器視覺(jué)與tesseract
Fiddler抓包工具
移動(dòng)端app數(shù)據(jù)抓取
高級(jí)進(jìn)階后，現(xiàn)已沒(méi)什么能夠阻擋你的腳步了，兄弟，Prison離你更近了哈哈哈

真的嗎？
當(dāng)然不或許，只會(huì)這點(diǎn)只能說(shuō)你很厲害了，真正足以讓你進(jìn)到監(jiān)獄的是Robots協(xié)議，還有一些不行操控的東西，就像是咱們上面說(shuō)的，你把人家服務(wù)器搞崩了，網(wǎng)站也搞的運(yùn)營(yíng)不起來(lái)了，以及你把人家的私有的數(shù)據(jù)爬下來(lái)賣給了他人等等，這些假如你違反了，你必然會(huì)遭到懲罰，所以，不要不要不要去做死，假如你覺(jué)得你足夠幸運(yùn)，我祝你Bon voyage，Safe and sound

敲黑板劃重點(diǎn)： 接下來(lái)給咱們總結(jié)了一下我今年面試的題：

1、Python中__init__ 和__new__的差異
2、整個(gè)爬蟲的作業(yè)流程（怎么運(yùn)作）
3、http的響應(yīng)碼（最好是記住200到500狀態(tài)每個(gè)的前三個(gè)）
4、進(jìn)程、線程、協(xié)程的差異
5、多線程和多進(jìn)程介紹一下
6、怎么完成多進(jìn)程和多線程
7、python并發(fā)和并行
8、redis數(shù)據(jù)庫(kù)的業(yè)務(wù)
9、redis的五大數(shù)據(jù)類型
10、redis的有序集合
11、mysql 數(shù)據(jù)庫(kù)的索引
12、mysql數(shù)據(jù)庫(kù)中怎么給用戶權(quán)限
13、Linux檢查磁盤命令以及磁盤占用命令
14、Linux檢查內(nèi)容使用情況命令
15、命令行怎么完成對(duì)一個(gè)文件的去重
16、Python的內(nèi)存管理機(jī)制
17、Python的可變數(shù)據(jù)類型和不行變數(shù)據(jù)類型
18、Python 中類辦法、類實(shí)例辦法、靜態(tài)辦法有何差異？
19、map 函數(shù)
20、解釋一下什么是閉包?
21、函數(shù)裝修器的了解
22、Python生成器的原理
23、Python 的魔法辦法
24、正則里match 與search 的差異？
25、url 的方式？
26、varchar 與char 的差異？
27、常見(jiàn)的反爬蟲和應(yīng)對(duì)辦法？
28、驗(yàn)證碼的處理?
29、描繪下scrapy 結(jié)構(gòu)運(yùn)行的機(jī)制？
30、scrapy五大核心組件介紹一下，分別是做什么用
31、怎樣完成棧
32、深復(fù)制，淺復(fù)制的差異？
33、Linux檢查某個(gè)進(jìn)程占用的端口號(hào)
34、有一個(gè)數(shù)組，取出第三大的數(shù)字，要求時(shí)刻復(fù)雜度為O(n),請(qǐng)問(wèn)怎么完成

35、目標(biāo)：對(duì)指定網(wǎng)站進(jìn)行數(shù)據(jù)抓取
       要求：編撰爬蟲戰(zhàn)略調(diào)研報(bào)告
              1、列明遇到困難，處理問(wèn)題辦法、戰(zhàn)略或主張
              2、時(shí)刻1小時(shí)。
內(nèi)容：
       網(wǎng)址：https://www.zcygov.cn，該網(wǎng)站浙江省和重慶市商品信息（能夠測(cè)驗(yàn)?zāi)愁惿唐罚?br />        抓取信息如下：


36、這個(gè)是一家公司給我的爬蟲任務(wù)，算是一個(gè)測(cè)驗(yàn)吧





下面的是一家公司的筆試題，但是我沒(méi)做，由于我是實(shí)習(xí)生，肯定是做的話得費(fèi)點(diǎn)力

37、輸入一哥字符串，回來(lái)字符串倒序后的成果
38、寫一個(gè)函數(shù)，該函數(shù)用來(lái)判別一個(gè)字符串是否為IP地址
39、HTTP協(xié)議的懇求報(bào)文共有哪幾個(gè)組成部分
40、請(qǐng)列出常見(jiàn)的排序算法都有什么，以及它們的平均時(shí)刻復(fù)雜度都是多少
41、現(xiàn)有一個(gè)大文件demo.txt，至少超過(guò)10G，在內(nèi)存有限的情況下（低于2G），判別目標(biāo)字符串”csdn”在文件中出現(xiàn)的次數(shù)