文章介紹了wmproxy，一個用Rust編寫的HTTP/HTTPS代理、SOCKS5代理等工具，具有內(nèi)網(wǎng)穿透、流量控制等功能。通過數(shù)據(jù)流控的例子，展示了如何通過RateLimitLayer和PollSemaphore進(jìn)行高效的數(shù)據(jù)調(diào)度和限制流量。
wmproxy
wmproxy已用Rust實現(xiàn)http/https代理, socks5代理, 反向代理, 靜態(tài)文件服務(wù)器，四層TCP/UDP轉(zhuǎn)發(fā)，內(nèi)網(wǎng)穿透，后續(xù)將實現(xiàn)websocket代理等，會將實現(xiàn)過程分享出來，感興趣的可以一起造個輪子。
項目地址
國內(nèi): https://gitee.com/tickbh/wmproxy
github: https://github.com/tickbh/wmproxy
溫柔的小姐姐
??我的名字叫 流控，至于我的工作你們看到我的名字也想必很清楚，我被創(chuàng)造出來為了的這世界更美好，期望這世界永遠(yuǎn)不會堵車，所以他們稱我為溫柔的小姐姐。
與數(shù)據(jù)不得不說的故事
??數(shù)據(jù)是個急性子的家伙，每次看他總是充充忙忙的帶著一大推的大部分，想在我這里橫沖直撞的。這就不得不說上一次他那急忙的模樣了。
??還記得上次他帶著一大幫的兄弟，成千上萬個的，知道的人知道他們在護(hù)送重要資料，不知道的還以為他們?nèi)ゴ蛘棠兀?/p>
??我守護(hù)的是一個廣場，還有廣場后面的一條路。
??那一次他帶著兄弟來的太快，就跟我說：“流控姐姐，快點(diǎn)通往廣場的門打開，我這邊有兄弟們來了”。
??我就把門打開，讓他帶著他的兄弟們過來快速的進(jìn)入廣場。
??不一會兒廣場慢慢的有點(diǎn)擠了起來，他就跟我說：“你快點(diǎn)把廣場前面的路開大點(diǎn)，后面的兄弟來的太快，這條路又不能快速的通過，會把你的廣場擠滿的”。
??我就說：“不行哦，我接到上級的指令，通知說現(xiàn)在這條路只能開這么大，每秒通過100人最多了（限速1M/S），前面那條大路現(xiàn)在的人太多了，你這邊要是太多的人會全部堵在一起的。”
??他就急忙的問：“那怎么辦，我現(xiàn)在數(shù)據(jù)很重要，也很急，你看旁邊那些無關(guān)的也一直在占用著路，你能不能向你的上級反饋一下？”
??我就說：“我現(xiàn)在就幫你反饋一下，但是要等下上級的調(diào)度哦。暫時你還是只能通過這么多！”
??我轉(zhuǎn)身向上級說：“這邊有大量的重要數(shù)據(jù)擁堵在廣場這，他們請求調(diào)高優(yōu)先級，提高緩沖區(qū)及通行速度。”
??上級答：“我現(xiàn)在去協(xié)調(diào)一下，把其它的數(shù)據(jù)叫他們先緩緩，你叫他先耐心等待下”
??眼看著上級的指定還沒有下來，但是廣場上已經(jīng)快擠滿了人了，我趕緊去那個廣場的入口處理，我就把那個廣場前的那個閘機(jī)打開，不讓新的人進(jìn)來。要不然等下廣場出事故了。
??數(shù)據(jù)兄弟看著我，我也表示我暫時也無能為力，我說：“讓你后面的兄弟緩緩，我這廣場暫時容納不下那么多人了（數(shù)據(jù)緩沖區(qū)已滿，不再接收新的數(shù)據(jù)，也不會讀出socket上的數(shù)據(jù)，反向的壓著流量的傳輸）。”
??此時正在我們焦急等待的時候，上級傳來了指令，說其它位置已經(jīng)暫緩處理了，你當(dāng)下可以把廣場外圍開起來，并把廣場前面的路兩邊都放開（優(yōu)先級調(diào)高，優(yōu)先傳輸重要數(shù)據(jù)）。
??我就立馬啟動了擴(kuò)容的按鈕，只見廣場外圍的大圈全部打開，可以容納10倍的人，并把廣場前的出口路打開，可以通行10000人/s（限速100M/S）。
??數(shù)據(jù)說：“快快快，已經(jīng)可以通行了，快把閘機(jī)打開，我要趕緊帶著兄弟們把資料送到。”
??只看到廣場出去的人比進(jìn)入的人多了很多，廣場一下子空了起來。
??很快數(shù)據(jù)就全部帶著他的兄弟走了，去完成任務(wù)了，說：“等我完成這任務(wù)，我向你來討教討教你這邊的管理法，怎么能保證高效的完成調(diào)度的任務(wù)”。
當(dāng)起了老師
數(shù)據(jù)完成了他的任務(wù)，回來的時候在跟我請教了起來。
??數(shù)據(jù)說：“我就是想問問，你的那個廣場是怎么個情況，怎么一滿了就可以自動防止人進(jìn)入，然后一空了就可以通知人進(jìn)入的。”
??我跟他解答說：“我這是一個異步處理的一把刀，我可以在空閑的時候完全的不占用任何的資源，在忙碌的時候又可以把全部的CPU用上。完成高效的運(yùn)轉(zhuǎn)。”
??數(shù)據(jù)問：“那你用了什么秘密法寶，他這么厲害？”
??我說：“我就是用了一種古代就開始在用的——旗語，也就是PollSemaphore，我這里存一把旗，并存了一把鑰匙，當(dāng)我有鑰匙的時候，也就是廣場人沒滿的時間，你來了我就放你進(jìn)場，這樣子我也不用管廣場里有沒有滿。當(dāng)你進(jìn)入后，如果 廣場滿了，他會將我手上的鑰匙拿走。沒有鑰匙的話，新進(jìn)來的人我就不會讓你們進(jìn)入了。”
??數(shù)據(jù)問：“那如果廣場有位置的話，那你怎么樣才能重新得到鑰匙？”
??我說：“這就是我高效的時候了，剛剛我鑰匙交出去的時候，我已經(jīng)調(diào)用了self.sem.poll_acquire(cx)，當(dāng)廣場有人出去的話，他就會通知Waker，然后我就可以主動去找他拿到鑰匙了，這樣子我就可以重新?lián)碛需€匙了。”
??數(shù)據(jù)說：“原來你緩沖區(qū)是這樣子的吖，那你出口的那條路上，怎么限定人流量的？”
??我說：“這個就要有請RateLimitLayer了，他有定義了per每個周期的時間就比如每秒，或者每分鐘，或者每小時，nums就是每個周期內(nèi)可以通行的字節(jié)數(shù)。下面是詳細(xì)的定義。”
pub struct RateLimitLayer {
/// 周期內(nèi)可以通行的數(shù)據(jù)
nums: u64,
/// 每個周期的時間
per: Duration,
/// 當(dāng)前周期下，還剩下可通行的數(shù)據(jù)
left_nums: u64,
/// 下一個時間重新計算的日期
util: Instant,
sleep: Pin<Box<Sleep>>,
}
??數(shù)據(jù)問：“那如果當(dāng)前周期耗完的話，是不是還沒有到下個周期前就不能繼續(xù)通行了？”
??我答：“確實是的，你當(dāng)前周期耗光了可用的額度，那不能通行了哦，我就會向Pin::new(&mut self.sleep).poll(cx).is_pending()，如果他現(xiàn)在不能用，就等會到那個時間，他就會通知我啦。他通知我，我就會重置掉到前的數(shù)據(jù)，這樣子你就可以繼續(xù)通行了。”
self.left_nums = self.nums;
self.util = Instant::now() + self.per;
self.sleep.as_mut().set(tokio::time::sleep_until(Instant::now() + self.per));
??數(shù)據(jù)說：“小姐姐你好厲害，還好有你在這里嚴(yán)格的控制著，我才能那么準(zhǔn)時的到達(dá)”。
??我答：“那是，請叫我溫柔的一刀，該嚴(yán)格的時候我就會嚴(yán)格，不嚴(yán)格那只會更麻煩。你說是吧。”
流控在互聯(lián)網(wǎng)中是很重要的概念，因為基本上大部分的公網(wǎng)出口都不是無限的，就同一個網(wǎng)站，API的接口重要性肯定會比靜態(tài)文件重要性來的高，所以為了使系統(tǒng)更穩(wěn)定，感謝流控小姐姐使出這溫柔的一刀。
該文章在 2024/12/5 19:01:50 編輯過
400 186 1886
