闡明一下，我的這篇文章沒有太多的技能含量，最多只要一些的技能總結(jié)，剩下的是我這幾個月算是本身經(jīng)歷吧，但是沒跑題啊，仍是跟爬蟲技能的先關(guān)的，不喜歡能夠關(guān)了哈，來都來了就看看唄，沒準(zhǔn)能夠協(xié)助你呢，哈哈謝謝你~
你好啊，歡迎你點(diǎn)進(jìn)來聽我吹牛皮，哈哈哈哈開玩笑，我依舊是那個帶你們走向更影響更驚險的楊旭華，從最終一次寫博客到現(xiàn)在有三個多月了，是從2021-02-15 16:48:37最終一篇到現(xiàn)在重新寫作，嗯立刻就三個月半了
嗯我先廢話一會，湊個字?jǐn)?shù)，不想看的，能夠直接傳送車，下面有我總結(jié)的爬蟲面試題，絕對的實(shí)在面試題，親身經(jīng)歷哈哈哈哈 看見沒點(diǎn)這飛曩昔
或許會有很多人好奇為什么這么長時刻不更新，忙？ 沒空？ ，其實(shí)都不是，我不忙也不是沒空，也不是懶得不想寫（咳~其實(shí)便是嘿嘿…）
先說說我這幾個月在干嘛吧，由于我是學(xué)生哈，從我最終一次寫文章開始應(yīng)該是年的大年初四，一直到初八初九吧，我其實(shí)在家，走親屬什么的，今日那個親屬來，明天這個親屬來，橫豎便是待客嘛，也就放飛自我了，不想寫文章
然后到后面便是跟小兄弟哥們們一塊玩玩玩，其實(shí)從元旦就開始玩哈哈哈哈，后面有幾天我陪我女朋友玩了一星期（沒想到吧我還有女朋友），害便是她上班，我玩我的，下了班一同吃飯玩啥的，由于她上班的早，就這樣到了3月1號，我回家了
從回家開始我就直接開始找作業(yè)了，我找的便是爬蟲方向的作業(yè)，由于是實(shí)習(xí)生，并且爬蟲作業(yè)又特別少(實(shí)習(xí)崗位)，加上疫情的原因，導(dǎo)致我找作業(yè)十分不順利
我真的是找了整整一個月半，給咱們看一下我的boss直聘截圖，我怎樣記住之前是快四百多交流了呢
這個還只是我在這個軟件上的記錄，還有用到過的拉鉤招聘、實(shí)習(xí)生、智聯(lián)招聘、獵聘、前程無憂等等，但但凡我符合招聘要求的，我全部投了，真是海投，成果收到的回復(fù)沒有幾個，面試更是寥寥無幾，真的是體會到社會的毒打了，我大約算了一下，這幾個軟件一共我交流加投簡歷差不多有快1000了吧，首要是boss和拉鉤，有的便是讀了你的音訊不回你，要么沒看音訊也不回你，要么便是聊得好好的人沒了，要么便是。。。。。哎橫豎便是各種奇葩
再后來便是找到幾家家愿意讓我去實(shí)習(xí)的公司，橫豎要么便是我看不上，要么便是看不上我，我記住有家公司大廠大廠大廠 我面試經(jīng)過了，然后讓我等offer，最終又通知我面試一次，最終就跟我說沒經(jīng)過，醉了醉了，真是無奈，估量便是被別人頂了
重點(diǎn)啦：主張咱們，等一家公司的offer的時分不要傻傻的真的等，接著面，假如失約了，你就game over了
最終的最終，我到了我現(xiàn)在這家公司，首要做人工智能這方面，是在汽車上做項目，這個我覺得仍是國內(nèi)少有的，它是一個小公司，人數(shù)寥寥無幾，我在這里也不是做爬蟲了，便是深度學(xué)習(xí)工程師，害首要便是找找數(shù)據(jù)集，然后訓(xùn)練model作業(yè)悠閑的很
正文Action
好了廢話說的也不少了接下來給就談?wù)務(wù)娴膶I(yè)知識，爬蟲，相信看過我的文章的人都知道，我寫爬蟲的時分，有時分會寫這個東西，由于我怕有的人學(xué)了爬蟲回去搞一些事情出來，在這里算是善意的提示吧
所以面對監(jiān)獄編程，你真的符合嗎？？
干這一行的都知道這幾年有很多個正正經(jīng)經(jīng)的案例，便是哪個哪個公司程序員寫了爬蟲代碼，最終導(dǎo)致爬進(jìn)了監(jiān)獄，這些案例是實(shí)在存在的，雖然現(xiàn)已曩昔好久但只要是一提起來仍是覺得十分影響的
那咱們來談?wù)劷袢盏闹黝}，你真的能爬進(jìn)監(jiān)獄嗎？我想這個問題，沒有正常的答復(fù)，你能說你進(jìn)不去嗎，假如呢，你把人家服務(wù)器給爬崩了，嗯你便是技能這么好，他們的服務(wù)器裝備便是這么低這么爛
但是你真的能進(jìn)去嗎？我相信你們是由于我文章的標(biāo)題進(jìn)來的，大多數(shù)或許出于好奇，甚至都不明白爬蟲，心抱負(fù)：我編個程，怎樣就進(jìn)監(jiān)獄了，有很多看博客的都是這個心里
那接下來咱們從技能分析一下，你至少要寫成什么樣的爬蟲，才有或許爬進(jìn)監(jiān)獄
先從最根底的程序設(shè)計說起：
requests懇求
User-Agent假裝
re/xpath解析數(shù)據(jù)
mysql/mongo存儲
有了這些，恭喜你有了半只腳踏進(jìn)了監(jiān)獄，哈哈哈定心早著呢
進(jìn)階：
Selenium+Chrome/Firefox
多線程/多進(jìn)程爬蟲
Proxies署理
操控臺抓包
js逆向/js分析改寫
ajax懇求破解
分布式爬蟲
進(jìn)階已完成，咱們更近了一步
高級進(jìn)階：
scrapy結(jié)構(gòu)
周期性計劃任務(wù)
機(jī)器視覺與tesseract
Fiddler抓包工具
移動端app數(shù)據(jù)抓取
高級進(jìn)階后，現(xiàn)已沒什么能夠阻擋你的腳步了，兄弟，Prison離你更近了哈哈哈
真的嗎？
當(dāng)然不或許，只會這點(diǎn)只能說你很厲害了，真正足以讓你進(jìn)到監(jiān)獄的是Robots協(xié)議，還有一些不行操控的東西，就像是咱們上面說的，你把人家服務(wù)器搞崩了，網(wǎng)站也搞的運(yùn)營不起來了，以及你把人家的私有的數(shù)據(jù)爬下來賣給了他人等等，這些假如你違反了，你必然會遭到懲罰，所以，不要不要不要去做死，假如你覺得你足夠幸運(yùn)，我祝你Bon voyage，Safe and sound
敲黑板劃重點(diǎn)： 接下來給咱們總結(jié)了一下我今年面試的題：
1、Python中__init__ 和__new__的差異
2、整個爬蟲的作業(yè)流程（怎么運(yùn)作）
3、http的響應(yīng)碼（最好是記住200到500狀態(tài)每個的前三個）
4、進(jìn)程、線程、協(xié)程的差異
5、多線程和多進(jìn)程介紹一下
6、怎么完成多進(jìn)程和多線程
7、python并發(fā)和并行
8、redis數(shù)據(jù)庫的業(yè)務(wù)
9、redis的五大數(shù)據(jù)類型
10、redis的有序集合
11、mysql 數(shù)據(jù)庫的索引
12、mysql數(shù)據(jù)庫中怎么給用戶權(quán)限
13、Linux檢查磁盤命令以及磁盤占用命令
14、Linux檢查內(nèi)容使用情況命令
15、命令行怎么完成對一個文件的去重
16、Python的內(nèi)存管理機(jī)制
17、Python的可變數(shù)據(jù)類型和不行變數(shù)據(jù)類型
18、Python 中類辦法、類實(shí)例辦法、靜態(tài)辦法有何差異？
19、map 函數(shù)
20、解釋一下什么是閉包?
21、函數(shù)裝修器的了解
22、Python生成器的原理
23、Python 的魔法辦法
24、正則里match 與search 的差異？
25、url 的方式？
26、varchar 與char 的差異？
27、常見的反爬蟲和應(yīng)對辦法？
28、驗證碼的處理?
29、描繪下scrapy 結(jié)構(gòu)運(yùn)行的機(jī)制？
30、scrapy五大核心組件介紹一下，分別是做什么用
31、怎樣完成棧
32、深復(fù)制，淺復(fù)制的差異？
33、Linux檢查某個進(jìn)程占用的端口號
34、有一個數(shù)組，取出第三大的數(shù)字，要求時刻復(fù)雜度為O(n),請問怎么完成
35、目標(biāo)：對指定網(wǎng)站進(jìn)行數(shù)據(jù)抓取
要求：編撰爬蟲戰(zhàn)略調(diào)研報告
1、列明遇到困難，處理問題辦法、戰(zhàn)略或主張
2、時刻1小時。
內(nèi)容：
網(wǎng)址：https://www.zcygov.cn，該網(wǎng)站浙江省和重慶市商品信息（能夠測驗?zāi)愁惿唐罚?br />
抓取信息如下：
36、這個是一家公司給我的爬蟲任務(wù)，算是一個測驗吧
下面的是一家公司的筆試題，但是我沒做，由于我是實(shí)習(xí)生，肯定是做的話得費(fèi)點(diǎn)力
37、輸入一哥字符串，回來字符串倒序后的成果
38、寫一個函數(shù)，該函數(shù)用來判別一個字符串是否為IP地址
39、HTTP協(xié)議的懇求報文共有哪幾個組成部分
40、請列出常見的排序算法都有什么，以及它們的平均時刻復(fù)雜度都是多少
41、現(xiàn)有一個大文件demo.txt，至少超過10G，在內(nèi)存有限的情況下（低于2G），判別目標(biāo)字符串”csdn”在文件中出現(xiàn)的次數(shù)
