Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 国产精品久久久亚洲,av2014天堂网,亚洲精品一区二区三区人妖

          整合營銷服務(wù)商

          電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理

          免費(fèi)咨詢熱線:

          SpringBoot整合FastJson過程解析

          SpringBoot整合FastJson過程解析

          篇文章主要介紹了SpringBoot整合FastJson過程解析,文中通過示例代碼介紹得非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

          一、Maven依賴

             <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>fastjson</artifactId>
                <version>1.2.33</version>
              </dependency>
          

          二、配置類

          @Configuration
          public class WebMvcConfig implements WebMvcConfigurer {
            /**
             * 使用fastjson代替jackson
             *
             * @param
             */
          
            @Override
            public void configureDefaultServletHandling(DefaultServletHandlerConfigurer configurer) {
              configurer.enable();
            }
          ?
            @Override
          ?
            public void configureMessageConverters(List<HttpMessageConverter<?>> converters) {
          ?
            /*
             先把JackSon的消息轉(zhuǎn)換器刪除.
             備注: (1)源碼分析可知,返回json的過程為:
                  Controller調(diào)用結(jié)束后返回一個(gè)數(shù)據(jù)對象,for循環(huán)遍歷conventers,找到支持application/json的HttpMessageConverter,然后將返回的數(shù)據(jù)序列化成json。
                  具體參考o(jì)rg.springframework.web.servlet.mvc.method.annotation.AbstractMessageConverterMethodProcessor的writeWithMessageConverters方法
                (2)由于是list結(jié)構(gòu),我們添加的fastjson在最后。因此必須要將jackson的轉(zhuǎn)換器刪除,不然會(huì)先匹配上jackson,導(dǎo)致沒使用fastjson
          
            */
              for (int i=converters.size() - 1; i >=0; i--) {
                if (converters.get(i) instanceof MappingJackson2HttpMessageConverter) {
                  converters.remove(i);
                }
              }
              FastJsonHttpMessageConverter fastJsonHttpMessageConverter=new FastJsonHttpMessageConverter();
              //自定義fastjson配置
              FastJsonConfig config=new FastJsonConfig();
              config.setSerializerFeatures(
                  SerializerFeature.WriteMapNullValue,    // 是否輸出值為null的字段,默認(rèn)為false,我們將它打開
                  SerializerFeature.WriteNullListAsEmpty,   // 將Collection類型字段的字段空值輸出為[]
                  SerializerFeature.WriteNullStringAsEmpty,  // 將字符串類型字段的空值輸出為空字符串
                  SerializerFeature.WriteNullNumberAsZero,  // 將數(shù)值類型字段的空值輸出為0
                  SerializerFeature.WriteDateUseDateFormat,
                  SerializerFeature.DisableCircularReferenceDetect  // 禁用循環(huán)引用
          ?
              );
          ?
              fastJsonHttpMessageConverter.setFastJsonConfig(config);
          ?
              // 添加支持的MediaTypes;不添加時(shí)默認(rèn)為*/*,也就是默認(rèn)支持全部
          ?
              // 但是MappingJackson2HttpMessageConverter里面支持的MediaTypes為application/json
          ?
          ?
              List<MediaType> fastMediaTypes=new ArrayList<>();
              MediaType mediaType=MediaType.parseMediaType("text/html;charset=UTF-8");
              fastMediaTypes.add(mediaType);
              fastMediaTypes.add(MediaType.APPLICATION_JSON_UTF8);
              fastJsonHttpMessageConverter.setSupportedMediaTypes(fastMediaTypes);
              // fastJsonHttpMessageConverter.setDefaultCharset(Charset.forName("UTF-8"));
              converters.add(fastJsonHttpMessageConverter);
            }
          }
          

          三、使用

          @JSONField(serialize=false)
          private String delFlag;  // 數(shù)據(jù)刪除標(biāo)記, 0-已刪除 1-有效
          

          以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,喜歡本文的小伙伴記得點(diǎn)贊關(guān)注收藏哦~
          么么么么么么么么么么噠!老子愛你們!?( ′???
          )比心?( ′??? )比心?( ′???` )比心

          我們從一段代碼說起,假設(shè)有一段這樣的 JSON 數(shù)據(jù):

          var json={
          	name: '流火',
          	blog: 'ued.taobao.org'
          };
          

          我們需要根據(jù)這段 JSON 生成這樣的 HTML 代碼:

          流火 (blog: ued.taobao.org)
          

          傳統(tǒng)的 JavaScript 代碼一定是這個(gè)樣子:

          var html;
          html='' + json.name + ' (blog: ' + json.blog + ')';
          

          不言而喻,這樣的代碼混雜了 HTML 結(jié)構(gòu)和代碼邏輯,而且代碼不具可讀性,不便于后期維護(hù),于是便有了這樣一個(gè)函數(shù):

          function sub(str, data) {
           return str.replace(/{(.*?)}/igm, function($, $1) {
           return data[$1] ? data[$1] : $;
           });
          }
          

          有了這個(gè)函數(shù),我們拼接字符串的工作就可以簡化為:

          var tpl='{name} (blog: {blog})';
          var html=sub(tpl, json);
          

          看到這里,不用我多說,我想通過這個(gè)例子直觀的展現(xiàn)出前端模板引擎的好處所在,這么做能夠完全剝離 HTML 和代碼邏輯,便于多人協(xié)作和后期的代碼維護(hù)。當(dāng)然,當(dāng)我們的業(yè)務(wù)邏輯需要對數(shù)據(jù)源進(jìn)行循環(huán)遍歷,if 判斷等的時(shí)候,這個(gè)簡明的函數(shù)很顯然并不能滿足我們的需求,于是便有了如今這市面上眾多的模板引擎,諸如 Mustache,jQuery tmpl,Kissy template,ejs,doT,nTenjin 等等。

          “如無必要,勿增實(shí)體。”

          這是著名的奧卡姆剃須刀法則,簡單的說就是避免重復(fù)造輪子。那么就會(huì)有童鞋質(zhì)疑,既然已然有這么多現(xiàn)成的東西可用,為什么還要重新打造一個(gè)呢?

          我個(gè)人認(rèn)為一個(gè)完善的模板引擎應(yīng)該兼顧這幾點(diǎn):

          • 語法簡明
          • 執(zhí)行效率高
          • 安全性
          • 錯(cuò)誤處理機(jī)制
          • 多語言通用性

          而市面上現(xiàn)有的模板引擎沒有做到兼顧以上幾點(diǎn),比如 Mustache 支持多種語言,通用性不錯(cuò),不過性能稍差,而且語法不支持高級特性,例如遍歷的時(shí)候無法做 if 判斷,也無法獲得 index 索引值,jQuery tmpl 依賴 jQuery,缺乏可移植性,Kissy template 雖然依賴 Kissy, 不過性能和語法都值得推薦,doT/nTenjin 性能和靈活性都很不錯(cuò),但是語法需要用原生的js來寫,寫好的模板代碼可讀性稍差。

          魚和熊掌不可兼得,語法的處理,安全性的輸出過濾和錯(cuò)誤處理機(jī)制的引入在一定程度上都會(huì)或多或少降低模板引擎的性能,因此就需要我們權(quán)衡。Juicer 在實(shí)現(xiàn)上首先將性能看做第一個(gè)重要的指標(biāo),畢竟性能好壞直接影響用戶的感知,同時(shí)兼顧了安全性和錯(cuò)誤處理機(jī)制(即便這樣會(huì)導(dǎo)致性能的略微下降)。

          首先來看下 jsperf 上同幾個(gè)主流模板引擎的性能對比。

          可以看到,性能上比傳統(tǒng)模板引擎均有提升,下邊的介紹主要從語法、安全性和錯(cuò)誤處理,以及如何使用這幾個(gè)方面介紹下 Juicer.

          語法

          • 循環(huán) {@each}…{@/each}
          • 判斷 {@if}…{@else if}…{@else}…{@/if}
          • 變量(支持函數(shù))${varname|function}
          • 注釋 {# comment here}

          詳細(xì)的語法請參考 Juicer Docs.

          安全性

          安全性,簡單地說就是對輸出數(shù)據(jù)在輸出前進(jìn)行一次轉(zhuǎn)義過濾,避免 XSS 這樣的腳本注入攻擊,簡單掃下盲,舉個(gè) XSS 的例子。

          var json={
          	output: 'alert("XSS");'
          };
          

          如果 JSON 數(shù)據(jù)是第三方接口返回或者含有用戶輸入(像 BBS、評價(jià))的內(nèi)容,我們?nèi)绻嗦懵愕膶?output 寫到頁面上就會(huì)執(zhí)行惡意的js代碼,所以 Juicer 默認(rèn)是對數(shù)據(jù)輸出做了安全轉(zhuǎn)義的,當(dāng)然如果不想被轉(zhuǎn)義,可以使用 $${varname}。

          juicer.to_html('${output}',json); 
          //輸出:<script>alert("XSS");</script>
          juicer.to_html('$${output}',json); 
          //輸出:<script>alert("XSS");</script>
          

          錯(cuò)誤處理

          如果沒有錯(cuò)誤處理,當(dāng)模板引擎編譯(Compile)或者渲染(Render)出錯(cuò)時(shí)候就會(huì)引起后續(xù)js代碼停止執(zhí)行,可想而知,如果因?yàn)橐粋€(gè)逗號或者 JSON 數(shù)據(jù)的偶發(fā)錯(cuò)誤導(dǎo)致整個(gè)頁面掛掉,是我們不能接受的。但是 Juicer 在遇到這些錯(cuò)誤的時(shí)候不會(huì)影響后續(xù)代碼的執(zhí)行,只會(huì)在控制臺(tái)打出一句警告(Warn)告知開發(fā)者模板解析出現(xiàn)錯(cuò)誤。

          juicer.to_html('${varname,,,,,,,}', json);
          alert('hello, juicer!');
          

          執(zhí)行上邊的代碼就會(huì)看到控制臺(tái)打出的 Juicer Compile Exception: Unexpected token ,,但是不會(huì)因?yàn)殄e(cuò)誤導(dǎo)致后續(xù)的 alert被阻塞掉。

          實(shí)現(xiàn)原理

          Juicer 對一個(gè)模板的編譯和渲染的過程主要有以下幾個(gè)步驟:

          • 對模板代碼進(jìn)行語法分析
          • 分析后生成原生的 JavaScript 代碼字符串
          • 將生成的代碼轉(zhuǎn)為可重用的 Function(Compiled Template)
          var json={
           list: [
           { name: 'benben' },
           { name: 'liuhuo' }
           ]
          };
          juicer.set('errorhandling', false); // pre-set option
          var tpl='{@each list as value,key}$${value.name}{@/each}';
          var compiled_tpl=juicer(tpl);
          

          我們通過compiled_tpl.render.toString()看下編譯后的代碼:

          function anonymous(data) {
           var data=data || {};
           var out='';
           out +='';
           for (var i0=0, l=data.list.length; i0 < l; i0++) {
           var value=data.list[i0];
           var key=i0;
           out +='';
           out +=((value.name));
           out +='';
           }
           out +='';
           return out;
          }
          

          是不是已經(jīng)明白了 Juicer 的原理?這個(gè)編譯后的函數(shù)就會(huì)每次幫我們完成從數(shù)據(jù)到 HTML 代碼的拼裝操作。

          這里有幾點(diǎn)優(yōu)化的地方值得分享下:

          • using +=instead of array.push
          • avoid using with {}
          • cache the compiled template (function)

          這幾點(diǎn)優(yōu)化在大數(shù)據(jù)量循環(huán)渲染時(shí)候性能提升顯著,不過正因?yàn)榉艞壛?with{} 語句,所以 Juicer 會(huì)在編譯函數(shù)之前對模板進(jìn)行詞法分析,將用到的變量實(shí)現(xiàn)聲明,這樣就能避免 JSON 數(shù)據(jù)外層必須指定 data. 前綴,如果你覺得這點(diǎn)性能的提升不重要,也可以在 options 中指定 loose: false(禁用松散模式),這樣就可以不省去 data. 前綴,這樣做的好處就是性能會(huì)更好一些。

          最后介紹下 Options 配置項(xiàng),左側(cè)為參數(shù)默認(rèn)值。

          {
          	cache: true/false,
          	loose: true/false,
          	strip: true/false,
          	errorhandling: true/false
          }
          

          cache 默認(rèn)為 true,即同一個(gè)模板編譯后是否被 Juicer 緩存,也就是說如果緩存開啟的情況下,同一個(gè)模板第一次編譯后,為了縮短耗時(shí)提升性能,后續(xù)不會(huì)再次執(zhí)行編譯的操作而是直接從緩存中去取編譯好的模板函數(shù)。

          Juicer 的 API

          Juicer 有兩種使用方法,一種是通過

          juicer(tpl, data);
          // 或者
          juicer.to_html(tpl, data);
          

          直接根據(jù)提供的數(shù)據(jù)將模板轉(zhuǎn)為 HTML 代碼,另一種是通過 compile 方法先將模板編譯好,在需要的時(shí)候再對模板進(jìn)行數(shù)據(jù)的 Render 操作:

          var compiled_tpl=juicer(tpl);
          compiled_tpl.render(data);
          // 或者
          var compiled_tpl=juicer.compile(tpl);
          compiled_tpl.render(data);
          

          希望本文能幫助到您!

          點(diǎn)贊+轉(zhuǎn)發(fā),讓更多的人也能看到這篇內(nèi)容(收藏不點(diǎn)贊,都是耍流氓-_-)

          關(guān)注 {我},享受文章首發(fā)體驗(yàn)!

          每周重點(diǎn)攻克一個(gè)前端技術(shù)難點(diǎn)。更多精彩前端內(nèi)容私信 我 回復(fù)“教程”

          原文鏈接:

          作者:admin

          于總結(jié)了太多的東西,所以篇幅有點(diǎn)長,這也是作者"縫縫補(bǔ)補(bǔ)"總結(jié)了好久的東西,強(qiáng)烈建議收藏再慢慢看~

          Py2 VS Py3

          Py2 和 Py3 的差別

          • print 成為了函數(shù),python2 是關(guān)鍵字
          • 不再有 unicode 對象,默認(rèn) str 就是 unicode
          • python3 除號返回浮點(diǎn)數(shù)
          • 沒有了long類型
          • xrange 不存在,range 替代了 xrange
          • 可以使用中文定義函數(shù)名變量名
          • 高級解包和*解包
          • 限定關(guān)鍵字參數(shù) *后的變量必須加入名字=值
          • raise from
          • iteritems 移除變成 items()
          • yield from 鏈接子生成器
          • asyncio,async/await 原生協(xié)程支持異步編程
          • 新增 enum, mock, ipaddress, concurrent.futures, asyncio urllib, selector
            • 不同枚舉類間不能進(jìn)行比較
            • 同一枚舉類間只能進(jìn)行相等的比較
            • 枚舉類的使用(編號默認(rèn)從1開始)
            • 為了避免枚舉類中相同枚舉值的出現(xiàn),可以使用@unique裝飾枚舉類
          #枚舉的注意事項(xiàng)
          from enum import Enum
          
          class COLOR(Enum):
              YELLOW=1
          #YELLOW=2#會(huì)報(bào)錯(cuò)
              GREEN=1#不會(huì)報(bào)錯(cuò),GREEN可以看作是YELLOW的別名
              BLACK=3
              RED=4
          print(COLOR.GREEN)#COLOR.YELLOW,還是會(huì)打印出YELLOW
          for i in COLOR:#遍歷一下COLOR并不會(huì)有GREEN
              print(i)
          #COLOR.YELLOW\nCOLOR.BLACK\nCOLOR.RED\n怎么把別名遍歷出來
          for i in COLOR.__members__.items():
              print(i)
          # output:('YELLOW', <COLOR.YELLOW: 1>)\n('GREEN', <COLOR.YELLOW: 1>)\n('BLACK', <COLOR.BLACK: 3>)\n('RED', <COLOR.RED: 4>)
          for i in COLOR.__members__:
              print(i)
          # output:YELLOW\nGREEN\nBLACK\nRED
          
          #枚舉轉(zhuǎn)換
          #最好在數(shù)據(jù)庫存取使用枚舉的數(shù)值而不是使用標(biāo)簽名字字符串
          #在代碼里面使用枚舉類
          a=1
          print(COLOR(a))# output:COLOR.YELLOW
          

          py2/3 轉(zhuǎn)換工具

          • six 模塊:兼容 pyton2 和 pyton3 的模塊
          • 2to3 工具:改變代碼語法版本
          • __future__:使用下一版本的功能


          類庫相關(guān)

          常用庫

          • 必須知道的 collections https://segmentfault.com/a/1190000017385799
          • python排 序操作及 heapq 模塊 https://segmentfault.com/a/1190000017383322
          • itertools 模塊超實(shí)用方法 https://segmentfault.com/a/1190000017416590

          不常用但很重要的庫

          • dis(代碼字節(jié)碼分析)
          • inspect(生成器狀態(tài))
          • cProfile(性能分析)
          • bisect(維護(hù)有序列表)
          • fnmatch
          • fnmatch(string,"*.txt") # win下不區(qū)分大小寫
          • fnmatch 根據(jù)系統(tǒng)決定
          • fnmatchcase 完全區(qū)分大小寫
          • timeit(代碼執(zhí)行時(shí)間)
          def isLen(strString):
              #還是應(yīng)該使用三元表達(dá)式,更快
              return True if len(strString)>6 else False
          
          def isLen1(strString):
              #這里注意false和true的位置
              return [False,True][len(strString)>6]
          import timeit
          print(timeit.timeit('isLen1("5fsdfsdfsaf")',setup="from __main__ import isLen1"))
          
          print(timeit.timeit('isLen("5fsdfsdfsaf")',setup="from __main__ import isLen"))
          
          • contextlib
            • @contextlib.contextmanager 使生成器函數(shù)變成一個(gè)上下文管理器
          • types(包含了標(biāo)準(zhǔn)解釋器定義的所有類型的類型對象,可以將生成器函數(shù)修飾為異步模式)
          import types
          types.coroutine #相當(dāng)于實(shí)現(xiàn)了__await__
          
          • html(實(shí)現(xiàn)對html的轉(zhuǎn)義)
          import html
          html.escape("<h1>I'm Jim</h1>") # output:'<h1>I'm Jim</h1>'
          html.unescape('<h1>I'm Jim</h1>') # <h1>I'm Jim</h1>
          
          • mock(解決測試依賴)
          • concurrent(創(chuàng)建進(jìn)程池和線程池)
          from concurrent.futures import ThreadPoolExecutor
          
          pool=ThreadPoolExecutor()
          task=pool.submit(函數(shù)名,(參數(shù))) #此方法不會(huì)阻塞,會(huì)立即返回
          task.done()#查看任務(wù)執(zhí)行是否完成
          task.result()#阻塞的方法,查看任務(wù)返回值
          task.cancel()#取消未執(zhí)行的任務(wù),返回True或False,取消成功返回True
          task.add_done_callback()#回調(diào)函數(shù)
          task.running()#是否正在執(zhí)行     task就是一個(gè)Future對象
          
          for data in pool.map(函數(shù),參數(shù)列表):#返回已經(jīng)完成的任務(wù)結(jié)果列表,根據(jù)參數(shù)順序執(zhí)行
              print(返回任務(wù)完成得執(zhí)行結(jié)果data)
          
          from concurrent.futures import as_completed
          as_completed(任務(wù)列表)#返回已經(jīng)完成的任務(wù)列表,完成一個(gè)執(zhí)行一個(gè)
          
          wait(任務(wù)列表,return_when=條件)#根據(jù)條件進(jìn)行阻塞主線程,有四個(gè)條件
          
          • selector(封裝select,用戶多路復(fù)用io編程)
          • asyncio
          future=asyncio.ensure_future(協(xié)程)  等于后面的方式  future=loop.create_task(協(xié)程)
          future.add_done_callback()添加一個(gè)完成后的回調(diào)函數(shù)
          loop.run_until_complete(future)
          future.result()查看寫成返回結(jié)果
          
          asyncio.wait()接受一個(gè)可迭代的協(xié)程對象
          asynicio.gather(*可迭代對象,*可迭代對象)    兩者結(jié)果相同,但gather可以批量取消,gather對象.cancel()
          
          一個(gè)線程中只有一個(gè)loop
          
          在loop.stop時(shí)一定要loop.run_forever()否則會(huì)報(bào)錯(cuò)
          loop.run_forever()可以執(zhí)行非協(xié)程
          最后執(zhí)行finally模塊中 loop.close()
          
          asyncio.Task.all_tasks()拿到所有任務(wù) 然后依次迭代并使用任務(wù).cancel()取消
          
          偏函數(shù)partial(函數(shù),參數(shù))把函數(shù)包裝成另一個(gè)函數(shù)名  其參數(shù)必須放在定義函數(shù)的前面
          
          loop.call_soon(函數(shù),參數(shù))
          call_soon_threadsafe()線程安全    
          loop.call_later(時(shí)間,函數(shù),參數(shù))
          在同一代碼塊中call_soon優(yōu)先執(zhí)行,然后多個(gè)later根據(jù)時(shí)間的升序進(jìn)行執(zhí)行
          
          如果非要運(yùn)行有阻塞的代碼
          使用loop.run_in_executor(executor,函數(shù),參數(shù))包裝成一個(gè)多線程,然后放入到一個(gè)task列表中,通過wait(task列表)來運(yùn)行
          
          通過asyncio實(shí)現(xiàn)http
          reader,writer=await asyncio.open_connection(host,port)
          writer.writer()發(fā)送請求
          async for data in reader:
              data=data.decode("utf-8")
              list.append(data)
          然后list中存儲(chǔ)的就是html
          
          as_completed(tasks)完成一個(gè)返回一個(gè),返回的是一個(gè)可迭代對象    
          
          協(xié)程鎖
          async with Lock():
          

          Python 進(jìn)階

          • 進(jìn)程間通信:
            • Manager(內(nèi)置了好多數(shù)據(jù)結(jié)構(gòu),可以實(shí)現(xiàn)多進(jìn)程間內(nèi)存共享)
          from multiprocessing import Manager,Process
          def add_data(p_dict, key, value):
              p_dict[key]=value
          
          if __name__=="__main__":
              progress_dict=Manager().dict()
              from queue import PriorityQueue
          
              first_progress=Process(target=add_data, args=(progress_dict, "bobby1", 22))
              second_progress=Process(target=add_data, args=(progress_dict, "bobby2", 23))
          
              first_progress.start()
              second_progress.start()
              first_progress.join()
              second_progress.join()
          
              print(progress_dict)
          
          • Pipe(適用于兩個(gè)進(jìn)程)
          from multiprocessing import Pipe,Process
          #pipe的性能高于queue
          def producer(pipe):
              pipe.send("bobby")
          
          def consumer(pipe):
              print(pipe.recv())
          
          if __name__=="__main__":
              recevie_pipe, send_pipe=Pipe()
              #pipe只能適用于兩個(gè)進(jìn)程
              my_producer=Process(target=producer, args=(send_pipe, ))
              my_consumer=Process(target=consumer, args=(recevie_pipe,))
          
              my_producer.start()
              my_consumer.start()
              my_producer.join()
              my_consumer.join()
          
          • Queue(不能用于進(jìn)程池,進(jìn)程池間通信需要使用Manager().Queue())
          from multiprocessing import Queue,Process
          def producer(queue):
              queue.put("a")
              time.sleep(2)
          
          def consumer(queue):
              time.sleep(2)
              data=queue.get()
              print(data)
          
          if __name__=="__main__":
              queue=Queue(10)
              my_producer=Process(target=producer, args=(queue,))
              my_consumer=Process(target=consumer, args=(queue,))
              my_producer.start()
              my_consumer.start()
              my_producer.join()
              my_consumer.join()
          
          • 進(jìn)程池
          def producer(queue):
              queue.put("a")
              time.sleep(2)
          
          def consumer(queue):
              time.sleep(2)
              data=queue.get()
              print(data)
          
          if __name__=="__main__":
              queue=Manager().Queue(10)
              pool=Pool(2)
          
              pool.apply_async(producer, args=(queue,))
              pool.apply_async(consumer, args=(queue,))
          
              pool.close()
              pool.join()
          
          • sys 模塊幾個(gè)常用方法
            • argv 命令行參數(shù)list,第一個(gè)是程序本身的路徑
            • path 返回模塊的搜索路徑
            • modules.keys() 返回已經(jīng)導(dǎo)入的所有模塊的列表
            • exit(0) 退出程序
          • a in s or b in s or c in s簡寫
            • 采用any方式:all() 對于任何可迭代對象為空都會(huì)返回 True
          # 方法一
          True in [i in s for i in [a,b,c]]
          # 方法二
          any(i in s for i in [a,b,c])
          # 方法三
          list(filter(lambda x:x in s,[a,b,c]))
          
          • set集合運(yùn)用
            • {1,2}.issubset({1,2,3})#判斷是否是其子集
            • {1,2,3}.issuperset({1,2})
            • {}.isdisjoint({})#判斷兩個(gè)set交集是否為空,是空集則為True
          • 代碼中中文匹配
            • [u4E00-u9FA5]匹配中文文字區(qū)間[一到龥]
          • 查看系統(tǒng)默認(rèn)編碼格式
          import sys
          sys.getdefaultencoding()    # setdefaultencodeing()設(shè)置系統(tǒng)編碼方式
          
          • getattr VS getattribute
          class A(dict):
              def __getattr__(self,value):#當(dāng)訪問屬性不存在的時(shí)候返回
                  return 2
              def __getattribute__(self,item):#屏蔽所有的元素訪問
                  return item
          
          • 類變量是不會(huì)存入實(shí)例__dict__中的,只會(huì)存在于類的__dict__中
          • globals/locals(可以變相操作代碼)
            • globals中保存了當(dāng)前模塊中所有的變量屬性與值
            • locals中保存了當(dāng)前環(huán)境中的所有變量屬性與值
          • python變量名的解析機(jī)制(LEGB)
            • 本地作用域(Local)
            • 當(dāng)前作用域被嵌入的本地作用域(Enclosing locals)
            • 全局/模塊作用域(Global)
            • 內(nèi)置作用域(Built-in)
          • 實(shí)現(xiàn)從1-100每三個(gè)為一組分組
          print([[x for x in range(1,101)][i:i+3] for i in range(0,100,3)])
          
          • 什么是元類?
            • 即創(chuàng)建類的類,創(chuàng)建類的時(shí)候只需要將metaclass=元類,元類需要繼承type而不是object,因?yàn)閠ype就是元類
          type.__bases__  #(<class 'object'>,)
          object.__bases__    #()
          type(object)    #<class 'type'>
          
          class Yuan(type):
                  def __new__(cls,name,base,attr,*args,**kwargs):
                      return type(name,base,attr,*args,**kwargs)
              class MyClass(metaclass=Yuan):
                  pass
          
          • 什么是鴨子類型(即:多態(tài))?
            • Python在使用傳入?yún)?shù)的過程中不會(huì)默認(rèn)判斷參數(shù)類型,只要參數(shù)具備執(zhí)行條件就可以執(zhí)行
          • 深拷貝和淺拷貝
            • 深拷貝拷貝內(nèi)容,淺拷貝拷貝地址(增加引用計(jì)數(shù))
            • copy模塊實(shí)現(xiàn)神拷貝
          • 單元測試
            • 一般測試類繼承模塊unittest下的TestCase
            • pytest模塊快捷測試(方法以test_開頭/測試文件以test_開頭/測試類以Test開頭,并且不能帶有 init 方法)
            • coverage統(tǒng)計(jì)測試覆蓋率
          class MyTest(unittest.TestCase):
              def tearDown(self):# 每個(gè)測試用例執(zhí)行前執(zhí)行
                  print('本方法開始測試了')
          
              def setUp(self):# 每個(gè)測試用例執(zhí)行之前做操作
                  print('本方法測試結(jié)束')
          
              @classmethod
              def tearDownClass(self):# 必須使用 @ classmethod裝飾器, 所有test運(yùn)行完后運(yùn)行一次
                  print('開始測試')
              @classmethod
              def setUpClass(self):# 必須使用@classmethod 裝飾器,所有test運(yùn)行前運(yùn)行一次
                  print('結(jié)束測試')
          
              def test_a_run(self):
                  self.assertEqual(1, 1)  # 測試用例
          
          • gil 會(huì)根據(jù)執(zhí)行的字節(jié)碼行數(shù)以及時(shí)間片釋放 gil,gil 在遇到 io 的操作時(shí)候主動(dòng)釋放
          • 什么是 monkey patch?
            • 猴子補(bǔ)丁,在運(yùn)行的時(shí)候替換掉會(huì)阻塞的語法修改為非阻塞的方法
          • 什么是自省(Introspection)?
            • 運(yùn)行時(shí)判斷一個(gè)對象的類型的能力,id,type,isinstance
          • python 是值傳遞還是引用傳遞?
            • 都不是,python是共享傳參,默認(rèn)參數(shù)在執(zhí)行時(shí)只會(huì)執(zhí)行一次
          • try-except-else-finally中 else 和 finally 的區(qū)別
            • else在不發(fā)生異常的時(shí)候執(zhí)行,finally無論是否發(fā)生異常都會(huì)執(zhí)行
            • except一次可以捕獲多個(gè)異常,但一般為了對不同異常進(jìn)行不同處理,我們分次捕獲處理
          • GIL 全局解釋器鎖
            • 同一時(shí)間只能有一個(gè)線程執(zhí)行,CPython(IPython)的特點(diǎn),其他解釋器不存在
            • cpu 密集型:多進(jìn)程+進(jìn)程池
            • io 密集型:多線程/協(xié)程
          • 什么是 Cython
            • 將 python 解釋 成 C 代碼工具
          • 生成器和迭代器
            • 實(shí)現(xiàn)__next__和__iter__方法的對象就是迭代器
            • 可迭代對象只需要實(shí)現(xiàn)__iter__方法
            • 使用生成器表達(dá)式或者yield的生成器函數(shù)(生成器是一種特殊的迭代器)
          • 什么是協(xié)程
            • 比線程更輕量的多任務(wù)方式
            • 實(shí)現(xiàn)方式
            • yield
            • async-awiat
          • dict 底層結(jié)構(gòu)
            • 為了支持快速查找使用了哈希表作為底層結(jié)構(gòu)
            • 哈希表平均查找時(shí)間復(fù)雜度為o(1)
            • CPython 解釋器使用二次探查解決哈希沖突問題
          • Hash擴(kuò)容和Hash沖突解決方案
            • 循環(huán)復(fù)制到新空間實(shí)現(xiàn)擴(kuò)容
            • 沖突解決:
            • 鏈接法
            • 二次探查(開放尋址法):python使用
          for gevent import monkey
          monkey.patch_all()  #將代碼中所有的阻塞方法都進(jìn)行修改,可以指定具體要修改的方法
          
          • 判斷是否為生成器或者協(xié)程
          co_flags=func.__code__.co_flags
          
          # 檢查是否是協(xié)程
          if co_flags & 0x180:
              return func
          
          # 檢查是否是生成器
          if co_flags & 0x20:
              return func
          
          • 斐波那契解決的問題及變形
          #一只青蛙一次可以跳上1級臺(tái)階,也可以跳上2級。求該青蛙跳上一個(gè)n級的臺(tái)階總共有多少種跳法。
          #請問用n個(gè)2*1的小矩形無重疊地覆蓋一個(gè)2*n的大矩形,總共有多少種方法?
          #方式一:
          fib=lambda n: n if n <=2 else fib(n - 1) + fib(n - 2)
          #方式二:
          def fib(n):
              a, b=0, 1
              for _ in range(n):
                  a, b=b, a + b
              return b
          
          #一只青蛙一次可以跳上1級臺(tái)階,也可以跳上2級……它也可以跳上n級。求該青蛙跳上一個(gè)n級的臺(tái)階總共有多少種跳法。
          fib=lambda n: n if n < 2 else 2 * fib(n - 1)
          
          • 獲取電腦設(shè)置的環(huán)境變量
          import os
          os.getenv(env_name,None)#獲取環(huán)境變量如果不存在為None
          
          • 垃圾回收機(jī)制
            • 引用計(jì)數(shù)
            • 標(biāo)記清除
            • 分代回收
          #查看分代回收觸發(fā)
          import gc
          gc.get_threshold()  #output:(700, 10, 10)
          
          • True 和 False 在代碼中完全等價(jià)于1和0,可以直接和數(shù)字進(jìn)行計(jì)算,inf 表示無窮大
          • C10M/C10K
            • C10M:8核心cpu,64G內(nèi)存,在10gbps的網(wǎng)絡(luò)上保持1000萬并發(fā)連接
            • C10K:1GHz CPU,2G內(nèi)存,1gbps網(wǎng)絡(luò)環(huán)境下保持1萬個(gè)客戶端提供FTP服務(wù)
          • yield from 與 yield 的區(qū)別:
            • yield from 跟的是一個(gè)可迭代對象,而 yield 后面沒有限制
            • GeneratorExit 生成器停止時(shí)觸發(fā)
          • 單下劃線的幾種使用
            • 在定義變量時(shí),表示為私有變量
            • 在解包時(shí),表示舍棄無用的數(shù)據(jù)
            • 在交互模式中表示上一次代碼執(zhí)行結(jié)果
            • 可以做數(shù)字的拼接(111_222_333)
          • 使用 brea k就不會(huì)執(zhí)行 else
          • 10進(jìn)制轉(zhuǎn)2進(jìn)制
          def conver_bin(num):
              if num==0:
                  return num
              re=[]
              while num:
                  num, rem=divmod(num,2)
                  re.append(str(rem))
              return "".join(reversed(re))
            conver_bin(10)
          
          • list1=['A', 'B', 'C', 'D'] 如何才能得到以list中元素命名的新列表 A=[],B=[],C=[],D=[]呢
          list1=['A', 'B', 'C', 'D']
          
          # 方法一
          for i in list1:
              globals()[i]=[]   # 可以用于實(shí)現(xiàn)python版反射
          
          # 方法二
          for i in list1:
              exec(f'{i}=[]')   # exec執(zhí)行字符串語句
          
          • memoryview與bytearray不常用,只是看到了記載一下
          # bytearray是可變的,bytes是不可變的,memoryview不會(huì)產(chǎn)生新切片和對象
          a='aaaaaa'
          ma=memoryview(a)
          ma.readonly  # 只讀的memoryview
          mb=ma[:2]  # 不會(huì)產(chǎn)生新的字符串
          
          a=bytearray('aaaaaa')
          ma=memoryview(a)
          ma.readonly  # 可寫的memoryview
          mb=ma[:2]      # 不會(huì)會(huì)產(chǎn)生新的bytearray
          mb[:2]='bb'    # 對mb的改動(dòng)就是對ma的改動(dòng)
          
          • Ellipsis類型
          # 代碼中出現(xiàn)...省略號的現(xiàn)象就是一個(gè)Ellipsis對象
          L=[1,2,3]
          L.append(L)
          print(L)    # output:[1,2,3,[…]]
          
          • lazy惰性計(jì)算
          class lazy(object):
              def __init__(self, func):
                  self.func=func
          
              def __get__(self, instance, cls):
                  val=self.func(instance)    #其相當(dāng)于執(zhí)行的area(c),c為下面的Circle對象
                  setattr(instance, self.func.__name__, val)
                  return val`
          
          class Circle(object):
              def __init__(self, radius):
                  self.radius=radius
          
              @lazy
              def area(self):
                  print('evalute')
                  return 3.14 * self.radius ** 2
          
          • 遍歷文件,傳入一個(gè)文件夾,將里面所有文件的路徑打印出來(遞歸)
          all_files=[]    
          def getAllFiles(directory_path):
              import os                                       
              for sChild in os.listdir(directory_path):                
                  sChildPath=os.path.join(directory_path,sChild)
                  if os.path.isdir(sChildPath):
                      getAllFiles(sChildPath)
                  else:
                      all_files.append(sChildPath)
              return all_files
          
          • 文件存儲(chǔ)時(shí),文件名的處理
          #secure_filename將字符串轉(zhuǎn)化為安全的文件名
          from werkzeug import secure_filename
          secure_filename("My cool movie.mov") # output:My_cool_movie.mov
          secure_filename("../../../etc/passwd") # output:etc_passwd
          secure_filename(u'i contain cool \xfcml\xe4uts.txt') # output:i_contain_cool_umlauts.txt
          
          • 日期格式化
          from datetime import datetime
          
          datetime.now().strftime("%Y-%m-%d")
          
          import time
          #這里只有l(wèi)ocaltime可以被格式化,time是不能格式化的
          time.strftime("%Y-%m-%d",time.localtime())
          
          • tuple使用+=奇怪的問題
          # 會(huì)報(bào)錯(cuò),但是tuple的值會(huì)改變,因?yàn)閠[1]id沒有發(fā)生變化
          t=(1,[2,3])
          t[1]+=[4,5]
          # t[1]使用append\extend方法并不會(huì)報(bào)錯(cuò),并可以成功執(zhí)行
          
          • __missing__你應(yīng)該知道
          class Mydict(dict):
              def __missing__(self,key): # 當(dāng)Mydict使用切片訪問屬性不存在的時(shí)候返回的值
                  return key
          
          • +與+=
          # +不能用來連接列表和元祖,而+=可以(通過iadd實(shí)現(xiàn),內(nèi)部實(shí)現(xiàn)方式為extends(),所以可以增加元組),+會(huì)創(chuàng)建新對象
          #不可變對象沒有__iadd__方法,所以直接使用的是__add__方法,因此元祖可以使用+=進(jìn)行元祖之間的相加
          
          • 如何將一個(gè)可迭代對象的每個(gè)元素變成一個(gè)字典的所有鍵?
          dict.fromkeys(['jim','han'],21) # output:{'jim': 21, 'han': 21}


          網(wǎng)絡(luò)知識(shí)

          • 什么是 HTTPS?
            • 安全的 HTTP 協(xié)議,https 需要 cs 證書,數(shù)據(jù)加密,端口為443,安全,同一網(wǎng)站 https seo 排名會(huì)更高
          • 常見響應(yīng)狀態(tài)碼
          204 No Content //請求成功處理,沒有實(shí)體的主體返回,一般用來表示刪除成功
          206 Partial Content //Get范圍請求已成功處理
          303 See Other //臨時(shí)重定向,期望使用get定向獲取
          304 Not Modified //請求緩存資源
          307 Temporary Redirect //臨時(shí)重定向,Post不會(huì)變成Get
          401 Unauthorized //認(rèn)證失敗
          403 Forbidden //資源請求被拒絕
          400 //請求參數(shù)錯(cuò)誤
          201 //添加或更改成功
          503 //服務(wù)器維護(hù)或者超負(fù)載
          
          • http 請求方法的冪等性及安全性
          • WSGI
          # environ:一個(gè)包含所有HTTP請求信息的dict對象
          # start_response:一個(gè)發(fā)送HTTP響應(yīng)的函數(shù)
          def application(environ, start_response):
              start_response('200 OK', [('Content-Type', 'text/html')])
              return '<h1>Hello, web!</h1>'
          
          • RPC
          • CDN
          • SSL(Secure Sockets Layer 安全套接層),及其繼任者傳輸層安全(Transport Layer Security,TLS)是為網(wǎng)絡(luò)通信提供安全及數(shù)據(jù)完整性的一種安全協(xié)議。
          • SSH(安全外殼協(xié)議) 為 Secure Shell 的縮寫,由 IETF 的網(wǎng)絡(luò)小組(Network Working Group)所制定;SSH 為建立在應(yīng)用層基礎(chǔ)上的安全協(xié)議。SSH 是目前較可靠,專為遠(yuǎn)程登錄會(huì)話和其他網(wǎng)絡(luò)服務(wù)提供安全性的協(xié)議。利用 SSH 協(xié)議可以有效防止遠(yuǎn)程管理過程中的信息泄露問題。SSH最初是UNIX系統(tǒng)上的一個(gè)程序,后來又迅速擴(kuò)展到其他操作平臺(tái)。SSH在正確使用時(shí)可彌補(bǔ)網(wǎng)絡(luò)中的漏洞。SSH客戶端適用于多種平臺(tái)。幾乎所有UNIX平臺(tái)—包括HP-UX、Linux、AIX、Solaris、Digital UNIX、Irix,以及其他平臺(tái),都可運(yùn)行SSH。
          • TCP/IP
            • 雖然按道理,四個(gè)報(bào)文都發(fā)送完畢,我們可以直接進(jìn)入CLOSE狀態(tài)了,但是我們必須假象網(wǎng)絡(luò)是不可靠的,有可以最后一個(gè)ACK丟失。所以TIME_WAIT狀態(tài)就是用來重發(fā)可能丟失的ACK報(bào)文。
            • 因?yàn)楫?dāng)Server端收到Client端的SYN連接請求報(bào)文后,可以直接發(fā)送SYN+ACK報(bào)文。其中ACK報(bào)文是用來應(yīng)答的,SYN報(bào)文是用來同步的。但是關(guān)閉連接時(shí),當(dāng)Server端收到FIN報(bào)文時(shí),很可能并不會(huì)立即關(guān)閉SOCKET,所以只能先回復(fù)一個(gè)ACK報(bào)文,告訴Client端,"你發(fā)的FIN報(bào)文我收到了"。只有等到我Server端所有的報(bào)文都發(fā)送完了,我才能發(fā)送FIN報(bào)文,因此不能一起發(fā)送。故需要四步握手。
            • 三次握手(SYN/SYN+ACK/ACK)
            • 四次揮手(FIN/ACK/FIN/ACK)
            • TCP:面向連接/可靠/基于字節(jié)流
            • UDP:無連接/不可靠/面向報(bào)文
            • 三次握手四次揮手
            • 為什么連接的時(shí)候是三次握手,關(guān)閉的時(shí)候卻是四次握手?
            • 為什么TIME_WAIT狀態(tài)需要經(jīng)過2MSL(最大報(bào)文段生存時(shí)間)才能返回到CLOSE狀態(tài)?
          • XSS/CSRF
          • HttpOnly 禁止 js 腳本訪問和操作 Cookie,可以有效防止 XSS


          Mysql

          • 索引改進(jìn)過程
            • 線性結(jié)構(gòu)->二分查找->hash->二叉查找樹->平衡二叉樹->多路查找樹->多路平衡查找樹(B-Tree)
          • Mysql面試總結(jié)基礎(chǔ)篇
          • https://segmentfault.com/a/1190000018371218
          • Mysql面試總結(jié)進(jìn)階篇
            • https://segmentfault.com/a/1190000018380324
          • 深入淺出Mysql
            • http://ningning.today/2017/02/13/database/深入淺出mysql/
          • 清空整個(gè)表時(shí),InnoDB是一行一行的刪除,而MyISAM則會(huì)從新刪除建表
          • text/blob數(shù)據(jù)類型不能有默認(rèn)值,查詢時(shí)不存在大小寫轉(zhuǎn)換
          • 什么時(shí)候索引失效
            • 應(yīng)盡量避免在 where 子句中使用 !=或 <> 操作符,否則引擎將放棄使用索引而進(jìn)行全表掃描
            • 盡量避免在 where 子句中使用 or 來連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,即使其中有條件帶索引也不會(huì)使用,這也是為什么盡量少用 or 的原因
            • 如果列類型是字符串,那一定要在條件中將數(shù)據(jù)使用引號引用起來,否則不會(huì)使用索引
            • 應(yīng)盡量避免在 where 子句中對字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描
            • 對于多列索引,不是使用的第一部分,則不會(huì)使用索引
            • 以%開頭的like模糊查詢
            • 出現(xiàn)隱式類型轉(zhuǎn)換
            • 沒有滿足最左前綴原則
            • 失效場景:
          例如:
          select id from t where substring(name,1,3)='abc' – name;
          以abc開頭的,應(yīng)改成:
          select id from t where name like 'abc%' 
          例如:
          select id from t where datediff(day, createdate, '2005-11-30')=0 – '2005-11-30';
          應(yīng)改為:
          

          不要在 where 子句中的 “=” 左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算,否則系統(tǒng)將可能無法正確使用索引

          應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描

          如:
          select id from t where num/2=100 
          應(yīng)改為:
          select id from t where num=100*2;
          

          不適合鍵值較少的列(重復(fù)數(shù)據(jù)較多的列)比如:set enum列就不適合(枚舉類型(enum)可以添加null,并且默認(rèn)的值會(huì)自動(dòng)過濾空格集合(set)和枚舉類似,但只可以添加64個(gè)值)

          如果MySQL估計(jì)使用全表掃描要比使用索引快,則不使用索引

          • 什么是聚集索引
            • B+Tree葉子節(jié)點(diǎn)保存的是數(shù)據(jù)還是指針
            • MyISAM索引和數(shù)據(jù)分離,使用非聚集
            • InnoDB數(shù)據(jù)文件就是索引文件,主鍵索引就是聚集索引


          Redis 命令總結(jié)

          • 為什么這么快?
            • 因?yàn)镽edis是基于內(nèi)存的操作,CPU不是Redis的瓶頸,Redis的瓶頸最有可能是機(jī)器內(nèi)存的大小或者網(wǎng)絡(luò)帶寬。既然單線程容易實(shí)現(xiàn),而且CPU不會(huì)成為瓶頸,那就順理成章地采用單線程的方案了(畢竟采用多線程會(huì)有很多麻煩!)。
            • 基于內(nèi)存,由 C 語言編寫
            • 使用多路I/O復(fù)用模型,非阻塞 IO
            • 使用單線程減少線程間切換
            • 數(shù)據(jù)結(jié)構(gòu)簡單
            • 自己構(gòu)建了 VM 機(jī)制,減少調(diào)用系統(tǒng)函數(shù)的時(shí)間
          • 優(yōu)勢
            • 性能高 – Redis 能讀的速度是110000次/s,寫的速度是81000次/s
            • 豐富的數(shù)據(jù)類型
            • 原子 – Redis 的所有操作都是原子性的,同時(shí) Redis 還支持對幾個(gè)操作全并后的原子性執(zhí)行
            • 豐富的特性 – Redis 還支持 publish/subscribe(發(fā)布/訂閱), 通知, key 過期等等特性
          • 什么是 redis 事務(wù)?
            • 將多個(gè)請求打包,一次性、按序執(zhí)行多個(gè)命令的機(jī)制
            • 通過 multi,exec,watch 等命令實(shí)現(xiàn)事務(wù)功能
            • Python redis-py pipeline=conn.pipeline(transaction=True)
          • 持久化方式
            • save(同步,可以保證數(shù)據(jù)一致性)
            • bgsave(異步,shutdown時(shí),無AOF則默認(rèn)使用)
            • RDB(快照)
            • AOF(追加日志)
          • 怎么實(shí)現(xiàn)隊(duì)列
            • push
            • rpop
          • 常用的數(shù)據(jù)類型(Bitmaps,Hyperloglogs,范圍查詢等不常用)
            • skiplist(跳躍表)
            • intset或hashtable
            • ziplist(連續(xù)內(nèi)存塊,每個(gè)entry節(jié)點(diǎn)頭部保存前后節(jié)點(diǎn)長度信息實(shí)現(xiàn)雙向鏈表功能)或double linked list
            • 整數(shù)或sds(Simple Dynamic String)
            • String(字符串):計(jì)數(shù)器
            • List(列表):用戶的關(guān)注,粉絲列表
            • Hash(哈希):
            • Set(集合):用戶的關(guān)注者
            • Zset(有序集合):實(shí)時(shí)信息排行榜
          • 與 Memcached 區(qū)別
            • Memcached只能存儲(chǔ)字符串鍵
            • Memcached用戶只能通過APPEND的方式將數(shù)據(jù)添加到已有的字符串的末尾,并將這個(gè)字符串當(dāng)做列表來使用。但是在刪除這些元素的時(shí)候,Memcached采用的是通過黑名單的方式來隱藏列表里的元素,從而避免了對元素的讀取、更新、刪除等操作
            • Redis和Memcached都是將數(shù)據(jù)存放在內(nèi)存中,都是內(nèi)存數(shù)據(jù)庫。不過Memcached還可用于緩存其他東西,例如圖片、視頻等等
            • 虛擬內(nèi)存–Redis當(dāng)物理內(nèi)存用完時(shí),可以將一些很久沒用到的Value 交換到磁盤
            • 存儲(chǔ)數(shù)據(jù)安全–Memcached掛掉后,數(shù)據(jù)沒了;Redis可以定期保存到磁盤(持久化)
            • 應(yīng)用場景不一樣:Redis出來作為NoSQL數(shù)據(jù)庫使用外,還能用做消息隊(duì)列、數(shù)據(jù)堆棧和數(shù)據(jù)緩存等;Memcached適合于緩存SQL語句、數(shù)據(jù)集、用戶臨時(shí)性數(shù)據(jù)、延遲查詢數(shù)據(jù)和Session等
          • Redis實(shí)現(xiàn)分布式鎖
            • 使用setnx實(shí)現(xiàn)加鎖,可以同時(shí)通過expire添加超時(shí)時(shí)間
            • 鎖的value值可以是一個(gè)隨機(jī)的uuid或者特定的命名
            • 釋放鎖的時(shí)候,通過uuid判斷是否是該鎖,是則執(zhí)行delete釋放鎖
          • 常見問題
            • 當(dāng)訪問量劇增、服務(wù)出現(xiàn)問題(如響應(yīng)時(shí)間慢或不響應(yīng))或非核心服務(wù)影響到核心流程的性能時(shí),仍然需要保證服務(wù)還是可用的,即使是有損服務(wù)。系統(tǒng)可以根據(jù)一些關(guān)鍵數(shù)據(jù)進(jìn)行自動(dòng)降級,也可以配置開關(guān)實(shí)現(xiàn)人工降級
            • 數(shù)據(jù)過期,進(jìn)行更新緩存數(shù)據(jù)
            • 初始化項(xiàng)目,將部分常用數(shù)據(jù)加入緩存
            • 請求訪問數(shù)據(jù)時(shí),查詢緩存中不存在,數(shù)據(jù)庫中也不存在
            • 短時(shí)間內(nèi)緩存數(shù)據(jù)過期,大量請求訪問數(shù)據(jù)庫
            • 緩存雪崩
            • 緩存穿透
            • 緩存預(yù)熱
            • 緩存更新
            • 緩存降級
          • 一致性Hash算法
            • 使用集群的時(shí)候保證數(shù)據(jù)的一致性
          • 基于redis實(shí)現(xiàn)一個(gè)分布式鎖,要求一個(gè)超時(shí)的參數(shù)
            • setnx
          • 虛擬內(nèi)存
          • 內(nèi)存抖動(dòng)


          Linux

          • Unix五種i/o模型
            • select
            • poll
            • epoll
            • 并發(fā)不高,連接數(shù)很活躍的情況下
            • 比select提高的并不多
            • 適用于連接數(shù)量較多,但活動(dòng)鏈接數(shù)少的情況
            • 阻塞io
            • 非阻塞io
            • 多路復(fù)用io(Python下使用selectot實(shí)現(xiàn)io多路復(fù)用)
            • 信號驅(qū)動(dòng)io
            • 異步io(Gevent/Asyncio實(shí)現(xiàn)異步)
          • 比 man 更好使用的命令手冊
            • tldr:一個(gè)有命令示例的手冊
          • kill -9和-15的區(qū)別
            • -15:程序立刻停止/當(dāng)程序釋放相應(yīng)資源后再停止/程序可能仍然繼續(xù)運(yùn)行
            • -9:由于-15的不確定性,所以直接使用-9立即殺死進(jìn)程
          • 分頁機(jī)制(邏輯地址和物理地址分離的內(nèi)存分配管理方案):
            • 操作系統(tǒng)為了高效管理內(nèi)存,減少碎片
            • 程序的邏輯地址劃分為固定大小的頁
            • 物理地址劃分為同樣大小的幀
            • 通過頁表對應(yīng)邏輯地址和物理地址
          • 分段機(jī)制
            • 為了滿足代碼的一些邏輯需求
            • 數(shù)據(jù)共享/數(shù)據(jù)保護(hù)/動(dòng)態(tài)鏈接
            • 每個(gè)段內(nèi)部連續(xù)內(nèi)存分配,段和段之間是離散分配的
          • 查看 cpu 內(nèi)存使用情況?
            • top
            • free 查看可用內(nèi)存,排查內(nèi)存泄漏問題


          設(shè)計(jì)模式

          單例模式

          # 方式一
          def Single(cls,*args,**kwargs):
              instances={}
              def get_instance (*args, **kwargs):
                  if cls not in instances:
                      instances[cls]=cls(*args, **kwargs)
                  return instances[cls]
              return get_instance
          @Single
          class B:
              pass
          # 方式二
          class Single:
              def __init__(self):
                  print("單例模式實(shí)現(xiàn)方式二。。。")
          
          single=Single()
          del Single  # 每次調(diào)用single就可以了
          # 方式三(最常用的方式)
          class Single:
              def __new__(cls,*args,**kwargs):
                  if not hasattr(cls,'_instance'):
                      cls._instance=super().__new__(cls,*args,**kwargs)
                  return cls._instance
          

          工廠模式

          class Dog:
              def __init__(self):
                  print("Wang Wang Wang")
          class Cat:
              def __init__(self):
                  print("Miao Miao Miao")
          
          
          def fac(animal):
              if animal.lower()=="dog":
                  return Dog()
              if animal.lower()=="cat":
                  return Cat()
              print("對不起,必須是:dog,cat")
          

          構(gòu)造模式

          class Computer:
              def __init__(self,serial_number):
                  self.serial_number=serial_number
                  self.memory=None
                  self.hadd=None
                  self.gpu=None
              def __str__(self):
                  info=(f'Memory:{self.memoryGB}',
                  'Hard Disk:{self.hadd}GB',
                  'Graphics Card:{self.gpu}')
                  return ''.join(info)
          class ComputerBuilder:
              def __init__(self):
                  self.computer=Computer('Jim1996')
              def configure_memory(self,amount):
                  self.computer.memory=amount
                  return self #為了方便鏈?zhǔn)秸{(diào)用
              def configure_hdd(self,amount):
                  pass
              def configure_gpu(self,gpu_model):
                  pass
          class HardwareEngineer:
              def __init__(self):
                  self.builder=None
              def construct_computer(self,memory,hdd,gpu)
                  self.builder=ComputerBuilder()
                  self.builder.configure_memory(memory).configure_hdd(hdd).configure_gpu(gpu)
              @property
              def computer(self):
                  return self.builder.computer
          



          數(shù)據(jù)結(jié)構(gòu)和算法

          python實(shí)現(xiàn)各種數(shù)據(jù)結(jié)構(gòu)

          快速排序

          def quick_sort(_list):
              if len(_list) < 2:
                  return _list
              pivot_index=0
              pivot=_list(pivot_index)
              left_list=[i for i in _list[:pivot_index] if i < pivot]
              right_list=[i for i in _list[pivot_index:] if i > pivot]
              return quick_sort(left) + [pivot] + quick_sort(right)
          

          選擇排序

          def select_sort(seq):
              n=len(seq)
              for i in range(n-1)
              min_idx=i
                  for j in range(i+1,n):
                      if seq[j] < seq[min_inx]:
                          min_idx=j
                  if min_idx !=i:
                      seq[i], seq[min_idx]=seq[min_idx],seq[i]
          

          插入排序

          def insertion_sort(_list):
              n=len(_list)
              for i in range(1,n):
                  value=_list[i]
                  pos=i
                  while pos > 0 and value < _list[pos - 1]
                      _list[pos]=_list[pos - 1]
                      pos -=1
                  _list[pos]=value
                  print(sql)
          

          歸并排序

          def merge_sorted_list(_list1,_list2):   #合并有序列表
              len_a, len_b=len(_list1),len(_list2)
              a=b=0
              sort=[]
              while len_a > a and len_b > b:
                  if _list1[a] > _list2[b]:
                      sort.append(_list2[b])
                      b +=1
                  else:
                      sort.append(_list1[a])
                      a +=1
              if len_a > a:
                  sort.append(_list1[a:])
              if len_b > b:
                  sort.append(_list2[b:])
              return sort
          
          def merge_sort(_list):
              if len(list1)<2:
                  return list1
              else:
                  mid=int(len(list1)/2)
                  left=mergesort(list1[:mid])
                  right=mergesort(list1[mid:])
                  return merge_sorted_list(left,right)
          

          堆排序heapq模塊

          from heapq import nsmallest
          def heap_sort(_list):
              return nsmallest(len(_list),_list)
          

          from collections import deque
          class Stack:
              def __init__(self):
                  self.s=deque()
              def peek(self):
                  p=self.pop()
                  self.push(p)
                  return p
              def push(self, el):
                  self.s.append(el)
              def pop(self):
                  return self.pop()
          

          隊(duì)列

          from collections import deque
          class Queue:
              def __init__(self):
                  self.s=deque()
              def push(self, el):
                  self.s.append(el)
              def pop(self):
                  return self.popleft()
          

          二分查找

          def binary_search(_list,num):
              mid=len(_list)//2
              if len(_list) < 1:
                  return Flase
              if num > _list[mid]:
                  BinarySearch(_list[mid:],num)
              elif num < _list[mid]:
                  BinarySearch(_list[:mid],num)
              else:
                  return _list.index(num)
          



          面試加強(qiáng)題

          • 關(guān)于數(shù)據(jù)庫優(yōu)化及設(shè)計(jì)
            • 使用hash一致算法
            • setnx
            • setnx + expire
            • 使用redis
            • 如果InnoDB表的數(shù)據(jù)寫入順序能和B+樹索引的葉子節(jié)點(diǎn)順序一致的話,這時(shí)候存取效率是最高的。為了存儲(chǔ)和查詢性能應(yīng)該使用自增長id做主鍵。
            • 對于InnoDB的主索引,數(shù)據(jù)會(huì)按照主鍵進(jìn)行排序,由于UUID的無序性,InnoDB會(huì)產(chǎn)生巨大的IO壓力,此時(shí)不適合使用UUID做物理主鍵,可以把它作為邏輯主鍵,物理主鍵依然使用自增ID。為了全局的唯一性,應(yīng)該用uuid做索引關(guān)聯(lián)其他表或做外鍵
            • https://segmentfault.com/a/1190000018426586
            • 如何使用兩個(gè)棧實(shí)現(xiàn)一個(gè)隊(duì)列
            • 反轉(zhuǎn)鏈表
            • 合并兩個(gè)有序鏈表
            • 刪除鏈表節(jié)點(diǎn)
            • 反轉(zhuǎn)二叉樹
            • 設(shè)計(jì)短網(wǎng)址服務(wù)?62進(jìn)制實(shí)現(xiàn)
            • 設(shè)計(jì)一個(gè)秒殺系統(tǒng)(feed流)?
            • https://www.jianshu.com/p/ea0259d109f9
            • 為什么mysql數(shù)據(jù)庫的主鍵使用自增的整數(shù)比較好?使用uuid可以嗎?為什么?
            • 如果是分布式系統(tǒng)下我們怎么生成數(shù)據(jù)庫的自增id呢?
            • 基于redis實(shí)現(xiàn)一個(gè)分布式鎖,要求一個(gè)超時(shí)的參數(shù)
            • 如果redis單個(gè)節(jié)點(diǎn)宕機(jī)了,如何處理?還有其他業(yè)界的方案實(shí)現(xiàn)分布式鎖碼?

          緩存算法

          • LRU(least-recently-used):替換最近最少使用的對象
          • LFU(Least frequently used):最不經(jīng)常使用,如果一個(gè)數(shù)據(jù)在最近一段時(shí)間內(nèi)使用次數(shù)很少,那么在將來一段時(shí)間內(nèi)被使用的可能性也很小

          服務(wù)端性能優(yōu)化方向

          • 使用數(shù)據(jù)結(jié)構(gòu)和算法
          • 數(shù)據(jù)庫
            • slow_query_log_file開啟并且查詢慢查詢?nèi)罩?/span>
            • 通過explain排查索引問題
            • 調(diào)整數(shù)據(jù)修改索引
            • 索引優(yōu)化
            • 慢查詢消除
            • 批量操作,從而減少io操作
            • 使用NoSQL:比如Redis
          • 網(wǎng)絡(luò)io
            • 批量操作
            • pipeline
          • 緩存
            • Redis
          • 異步
            • Asyncio實(shí)現(xiàn)異步操作
            • 使用Celery減少io阻塞
          • 并發(fā)
          • 多線程
          • Gevent

          好了,今天的分享就到這里,喜歡就點(diǎn)個(gè)贊吧!最后,如果你對軟件測試感興趣,歡迎百度搜索“特斯汀軟件測試騰訊課堂”或關(guān)注公眾號“特斯汀軟件測試”,里面涵蓋很多精彩免費(fèi)視頻或干貨知識(shí)


          主站蜘蛛池模板: 国产一区二区在线观看| 人妻天天爽夜夜爽一区二区| 无码人妻精品一区二区三区在线| 中文激情在线一区二区| 91国在线啪精品一区| 3d动漫精品啪啪一区二区免费| 国产成人久久精品麻豆一区| 国产成人免费一区二区三区| 波多野结衣一区二区三区| 久久亚洲AV午夜福利精品一区| 国产精品免费一区二区三区| 国产视频一区二区| 国产一区中文字幕在线观看| 欧美日韩精品一区二区在线视频 | 国模精品一区二区三区| 韩国福利视频一区二区| 中文字幕乱码亚洲精品一区| 亚洲一区二区三区国产精品无码| 无码欧精品亚洲日韩一区| 中文字幕无码一区二区三区本日| 亚洲高清成人一区二区三区| 能在线观看的一区二区三区| 日本强伦姧人妻一区二区| 在线观看日韩一区| 日本在线视频一区| 一区国严二区亚洲三区| 国产成人精品无码一区二区三区| 看电影来5566一区.二区| 麻豆一区二区在我观看| 中文字幕日韩一区二区三区不卡| 亚欧色一区W666天堂| 一区二区三区亚洲| av一区二区三区人妻少妇| 国产精品福利一区| 国产91一区二区在线播放不卡| 日韩人妻无码一区二区三区| 久久国产视频一区| 色综合视频一区二区三区44| 秋霞鲁丝片一区二区三区| 精品一区二区三区免费观看 | 黑巨人与欧美精品一区|