gf457832386 / awesome-cloudnative-papers Goto Github PK

0-总结

作者 ：印度 “Benay Kumar Ray” Jadavpur大学

期刊等级：TSC(B类期刊)  软件工程/系统软件/程序设计语言  

发表时间：2018年

内容总结：

• 问题背景：单个CSP难以动态满足所有类型的资源需求，因此，一组CSP形成一个联盟来提供服务，根据作者设定每个CSP会动态加入或者退出一个联盟。

• 动机：最大化每个CSP的QoS和利润

• 解决方案：制定了一个享乐主义的联盟博弈来模拟CSP之间的联盟。Beta混合法被用来确定联盟中每个CSP的信任程度。我们设计了一种启发式的方法来建立联盟的集合，这是一个纳什稳定的联盟结构，也是单独稳定的。拟议的CGCFF机制是稳健的，因为 (i)CSP可以通过增加其在联盟中的资源可用性来承受更高的资源需求，(ii)CSP可以利用其在联盟中的闲置和未充分利用的资源，在低资源需求期间与联盟的其他成员共享他们的资源。此外，CGCFF机制的好处是，它允许受信任的CSP加入他们满意度最高的联盟。对拟议的联盟形成游戏进行了全面的性能评估。
  尽管本文提出了一种针对云服务提供商的联盟形成技术，但它也可以应用于其他服务提供商，这些服务提供商（a）遵守资源的可用性限制，（b）旨在实现联盟内服务的利润最大化，以及（c）受单个服务提供商的信任影响。

• 效果：比较指标：Average Satisfaction Level、Average Profit、Average Availability、Average Quality of Federation、Average Satisfaction Level of SP in Federation、Average SP Profit、Average Federation Size、Average Execution Time (s)

主要贡献：

0-总结

作者：“Neda Khorasani” 马什哈德费多西大学，伊朗

期刊等级：CCFC

发表时间：2020

摘要：

当工作负载增加时，云联邦帮助云提供商扩容通过租用其他提供商的资源。更多的是，云提供商有闲置和未被利用的资源可以卖他们的资源给其他提供商，以此来在一个联邦中盈利。在云联邦环境中最重要的一个问题就是资源和云提供商的管理。博弈游戏似乎是一个很好的方式建立云联。本文基于众所周知的Cournot和Bertrand博弈，为集中式联合云环境中的云供应商之间的资源管理引入了一个新的模型。为了解决异质资源的问题，本文介绍了一种物理资源单元，它具有特定的计算功能，可以在云供应商之间共享。此外，通过引入供应商之间新的收入分享方法，本文增加了不同供应商之间的合作。此外，通过引入供应商之间新的收入分享方法，本文增加了不同供应商之间的合作。这个模型由联合的Cloudsim工具实现，实验表明，Cournot模型在整体效益和响应性方面优于其他模型。另外，模型可以响应可接受的请求数量，同时获得更多的利润。此外，Cournot所提出的模型在时间上比其他方法更好。

关于云联邦领域论文摘要速读

论文背景
发表于2020年的EuroSys会议
作者是谷歌公司，该Autopilot已经用于谷歌。
问题动机
由于资源具备动态性，分配和实际使用的差距影响性能和利用率，比如申请100c只用了10c，同样也会造成不同集群之间负载不均衡，因此设计autopilot来自动校正用户预设申请值。

核心思路
主要是垂直扩缩容，通过一些机器学习等技术，预测资源的合理水位，然后调整 CPU/memory limites。通过这种方法，google 将job的资源slack从46%缩小到了23%，极大的节省了资源浪费。
具体算法
1 滑动窗口算法
（0）历史数据汇聚处理
这篇文章会用到大量的历史数据用来预测，因此需要将历史数据进行存储，主要包括：
ri[τ] 表示每个task的 CPU/MEM 资源使用量，每秒1个采样点
si[t]将 ri[τ] 的数据按照5分钟聚合，相当于每个task五分钟的使用量
s[t] 将si[t] 的数据按照 job 级别汇聚，另外job级别的汇聚，将每个task 的数据直接聚合

因为要对所有的 task 和 job 记录这种原始数据，假如每秒一个点，1000w个 job，1亿个容器，这个信息量非常大。autopilot 用了一种很巧妙的方式，它不存每一个采样点的数据，而是用了一种Bucket的方式，比如 CPU，分了400个bucket，每个bucket代表0.25个百分点，采样点属于哪个bucket就落在对应的计数器上+1，最终不管累计多少，维护一个 job 或者 task，只需要 400 * sizeof(int) 内存即可。

（1) 指数衰减权重
对于历史数据，权重计算公式为：

其中τ是数据的age，数据越久远，权重衰减的越快。另一个核心概念是t1/2，这是半衰期，对于 CPU 是12小时，内存是 48 小时。通常在线流量，CPU由于天级别存在波峰波谷，但内存是常驻的，很少会发生天级别内的变化。

（2)峰值预测
基于当前的历史数据，取最近N个样本的最大值。

b[j]是集合的元素，代表历史数据第j个桶的value值
要求是S[τ][j]>0, 代表数值在第j个桶的个数，该个数即为历史数据里在这个区间桶里的个数。

（3）均值计算
加权平均

这里用到（1）中的指数衰减权重，数据越久远，权重越小。
b[j]是集合的元素，代表历史数据第j个桶的value值
（4）j-%ile 分位值预测

j-%ile分位值的预测

2 增强学习