江南大学系列-绝色校花柳纤共2章免费阅读冲精彩无弹窗...
现场打新乱象依然潜藏
2025年01月07日，故事说明：用身边故事，讲世故人情
江南大学系列-绝色校花柳纤共2章免费阅读冲精彩无弹窗...
一文读懂客户端请求是如何到达服务器的(干货)原创2019-08-17 20:57·架构师之路互联网是人类历史上最伟大的发明创造之一而构成互联网架构的核心在于TCP/IP协议那么TCP/IP是如何工作的呢我们先从数据包开始讲起1、数据包一、HTTP请求和响应步骤http请求全过程请求响应以上完整表示了HTTP请求和响应的7个步骤下面从TCP/IP协议模型的角度来理解HTTP请求和响应如何传递的2、TCP/IP概述我们以RFC 1180中的图作为参考上图展示了四层TCP/IP协议图其中network applications是应用程序属于应用层；TCP和UDP主要是传输数据属于传输层TCP确保端对端的可靠传输并尽量确保网络健康运行而UDP是简单不可靠传输；IP主要解决路由问题属于网络层；ARP是网络地址转换主要用来转换IP地址和MAC地址介于数据链路层和网络层之间可以看成2.5层；ENET在这里是数据链路层网卡驱动属于这一层主要做具体的介质传输前面示例中的广告请求抓包就是在数据链路层抓取值得注意的是ARP在linux系统里属于网络层而在RFC里是介于数据链路层和网络层之间在《TCP/IP详解》一书里ARP被放到了数据链路层当解决实际问题的时候我们应该把ARP放到网络层上图给出使用TCPCopy在不同层发包的使用方法如果TCPCopy从数据链路层发包由于没有享受到ARP服务用户需要在使用TCPCopy的时候额外加上MAC地址；而如果TCPCopy从IP层发包则无需指定MAC地址本课程主要讲述TCP相关案例没有特殊说明的话TCP特指传输层的TCP3、什么是TCPTCP即传输控制协议是一种面向连接的、可靠的、基于字节流的通信协议TCP的主要工作是定义端口标识应用程序的身份实现端对端的可靠通信并进行拥塞控制防止互联网崩塌TCP有如下关键特性：由于TCP是面向连接的协议所以是一种有状态的协议而有状态的协议往往比较复杂因此TCP学习起来也比较困难通过状态图来查看一下TCP状态的复杂性：上图展示了错综复杂的TCP状态图然而现实更加复杂现实中的TCP状态图其实是这样的：图中不仅SYN_RCVD状态能够收到reset数据包（图中RSTreset数据包是重置连接的数据包可以使TCP状态瞬间变为CLOSED状态而CLOSED状态是无法追踪的）而且FIN_WAIT1、FIN_WAIT2、ESTABLISHED、SYN_SENT和CLOSE_WAIT都能被reset数据包打回到CLOSED状态不仅如此TCP状态还受到超时的影响例如Linux系统一旦连接处于FIN_WAIT_2在60秒内（默认）如果没有接收到对端的FIN数据包系统会把此连接状态FIN_WAIT_2直接变到CLOSED状态虽然Linux这样做是为了防止攻击但这种超时就干掉连接状态的做法很可能误杀了很多正常连接从而使问题更加捉摸不定在互联网领域很多诡异的问题跟TCP状态有关系课程后续会有较多案例来讲述这些灵异问题4、端口当我们去连接服务器程序时需要指明服务器端口为什么需要端口呢因为系统是通过端口来区分不同应用程序TCP通过端口找到上层应用需要注意的是端口号是有限的端口号最大为65535能够利用的端口数量随配置而定例如在压力测试过程中一台机器可以利用的TCP端口是有限的能够利用的连接（客户端端口客户端IP服务器应用端口服务器IP地址）是有限的为了解决这个问题可以配置多IP地址来扩大可用连接数量系统支持同一个端口不同的IP地址来绑定不同的应用Linux高版本系统下在绑定同一个IP地址的情况下我们还可以利用REUSEPORT机制使不同应用程序共享同一个监听端口这对高性能服务器开发是非常有用的我们开发的数据库中间件cetus就利用这个机制来解决短链接风暴的问题5、IP网络层的主要工作是定义网络地址区分网段子网内MAC寻址对不同子网的数据包进行路由IP的主要作用就是在复杂的网络环境中将数据包发给最终的目标地址IP是面向无连接的是无状态的协议IP为什么被设计成无状态呢1. 无状态协议处理简单2. 通信之前无需建立连接3. TCP已经面向连接服务了IP层可以委托TCP来解决面向连接的问题4. 由于不带有状态互联网路由起来更加自由容错性也更强值得注意的是现实中的IP层往往都带有安全过滤甚至有些路由器防火墙等中途设备还会干涉应用（例如通过reset数据包来干涉TCP会话）为了更好的做安全检测IP层还增加了connection tracking在无状态协议上面来追踪上层连接这种方式提高了安全性但有时也会带来新的问题我们后面有案例具体讲述connnection tracking带来的坑的故事6、TCP Socket应用程序通过TCP socket接口来调用TCP服务从而达到传递数据的目的每一个TCP socket会被绑定到一个端口TCP socket双向都可以通信在发送数据的同时还可以接收数据值得注意的是应用程序发送完数据只代表通过TCP socket委托给TCP的工作已经完成不代表发送给对端完毕应用发送数据和TCP传输数据不是同步的7、How TCP/IP Works当用户通过TCP socket接口发送请求后TCP协议模块接管了请求传递TCP先把请求拆分成一个个更小的数据分段（假设TCP offload没有开启的情况下）通过IP层发送出去在IP层这些数据分段会被封装成IP数据包通过数据链路层发送给互联网（见下图）这些数据包经过互联网的多个路由器到达目的地由于IP网络是无状态的协议每一个数据包走的路径可能不一样而且到达的顺序也有可能不一样这就要求对端的TCP需要重新组装数据包以确保向应用层传递的数据是用户能够识别的用户请求这样服务器应用程序就可以处理用户发起的请求了下图中假设用户请求拆分成两个IP数据包第一个IP数据包可能经过ABCG如下图第二个数据包可能经过ABEG（在B点选择了E节点导致路径不同）如下图导致数据包在B节点走向不同路径的原因可能有很多种例如C节点暂时不如E节点通畅或者临时发生了网络拥塞这与在高速道路驾驶的原理差不多由于网络环境多变还可能第二个数据包先到达服务器这时TCP会负责处理out of order的情况；如果网络传递过程中某一个路由器由于过于繁忙把第一个数据包丢了那么客户端的TCP会负责重传第一个数据包确保服务器端的TCP能够不会因为丢包而收不到第一个数据包如果用户请求内容很大如上传一个大文件就会被拆分成大量数据分段而TCP传输这些数据分段的时候往往还会考虑整个互联网能够接收的程度和对方能够接收的程度发送数据过于贪婪不仅会连累整个互联网对方也未必能够接收得了而且还可能使自己速度更慢这有点像道路驾驶一样不能过于自私遵守一定的交通规则才能使道路通畅在互联网传输数据方面这些交通规则算法就是赫赫有名的网络拥塞控制算法而对方能否接收得了则通过发送窗口的方式进行控制总体来说一次发送数据的大小是根据对方的接收窗口大小和拥塞控制算法来综合决定的从上面可以看出IP负责在互联网传输数据而TCP负责数据传输可靠并且尽量使网络健康运行两者合作完成了请求的传递这也是互联网应用工作的普遍方式需要注意的是TCP负责跟TCP进行交互应用层无需去实现TCP的功能只需要委托给TCP来完成数据传输这种隔离的方式给应用层的开发/运维/测试带来了方便另外当出现TCP相关问题时解决问题的难度也大大增加8、TCP经验知识在多年实战过程中我们发现以下TCP经验对工作很有帮助总结如下：1. 距离越远延迟越大重传概率越大2. 网络状况好坏直接影响应用程序性能3. 不同环境采用不同的拥塞算法4. 拥塞控制算法是互联网的精华是互联网大获成功的关键因素之一5. TCP是有状态协议采用异步处理6. 抓包分析是找到TCP相关问题根本原因的利器7. TCP客户端和TCP服务器端之间的交互是应用层所有应用公共的交互部分理解了这部分原理可以解决大量TCP相关问题9、IP经验知识在IP经验知识方面我们大致总结如下：1. 数据包选择路径不是固定的到达的顺序也可能是乱序的2. 安全过滤坑多的地方3. 无状态协议简化互联网架构是互联网大获成功的关键因素之一4. IP层对TCP传递过来的数据包很少分片处理5. 中途设备不仅仅具备路由功能而且还会干涉TCP会话（灵异问题的温床）10、结束语TCP/IP网络是互联网的基石了解TCP/IP是如何工作的对于我们解决问题是非常有帮助的
反高景气，反萧条和反脆弱刘四爷也干过这个营生，至少说明这个人心狠手辣，对劳苦大众没有什么同情心，只为渔利赚昧心钱。