alexifeng / gitblog Goto Github PK

我得承认raw去噪这个项目给我快做秃了，前期主要是熟悉项目及流程还好。后面的话完全是在虚空索敌。
甲方的结果是基于多帧图像进行去噪的，而我是单帧图像去噪。这就意味着在高噪声环境下我就不可能比他效果好。举个极端例子。

这是我的原图像。但这用多帧去噪的结果呢？

我这辈子不可能做出来这个效果😭这已经不是去噪任务了，是diffusion了，我给你画一个草出来吧。
这就是我这段时间在进行的虚空索敌，一直在尽可能优化我的效果，但我根本不知道什么时候是个头。我跟导师说过不止一次，我能保证看得到的细节我都比对方好。但是我没法评价一张图片，因为有些已经被高噪盖住的信息我不可能给他恢复出来。
这段时间真的搞的很累，肉眼可见的憔悴。总算是大概差不多终于结束了。
okk

我从来没想过有一天我会这么厌恶写代码，难道是gpt用多了的后遗症。
对于我这个人来说，居然会有一天不喜欢程序，还是挺奇怪的。
也可能是我迷失太久了。

我是一个赛博世界的流浪汉。
流连于各个网站，闲逛在每个网站。
在这个赛博世界里，我没有家，没有一个地方属于我，所有人都是面具社交。
hnx就是我在这个赛博世界认识的一个人。
我至今不知道她对我到底是怎样的一种感情。
虽然我一直觉得我写东西还行， 但是像她那样喜欢的人却不多，这让我受宠若惊。她提过不止一次了，她很喜欢看我写的东西。
我对自己的人生迷茫，虽然在这个内卷的社会里，这句话很搞笑听着。
但我的确迷茫。

我想开一个公众号写东西的，但是每个身份证只能绑定一个公众号。而我一直在绑着我们寝室的号。
我思考了半天，也不想把公众号转给别人。所以我还是不开了。
我也不知道我能在哪写，先把github的博客当做家吧。

我喜欢什么样的女生？
聪明的，最主要是聪明的。
聪明不代表精明。
我喜欢学习好的，可能这点受我妈影响。
我喜欢不太社会的，但是内心其实特别丰富有趣的。
非典型好学生。
不管是ly还是hnx，我可能喜欢的就是世界上的另一个我。

sum41的金属味儿我觉得真的挺重的
它的吉他和钢琴总有一种散乱的感觉，就好像喝多了一样，一点也不稳。
那种混乱的感觉，好像用冷水冲澡的时候全身在发抖一样。

祝你和小帅过得幸福吧。

writting in logseq

• 我前天去找了一次心理辅导。
• 她说我已经几乎把能做的事情都做了， 接下来就是需要给自己一段时间。就好像吃药一样，总有个起效的过程。
• 我觉得这句话是让我还有点开心的，可能因为我觉得认可了我的思维和判断的能力。毕竟让我变e的直接原因就是对自我的否认。然后接下来三点是最重要的。
  • 专注当下，包括冥想，正念这些。因为只有当下的才是实际的，未来和过去都不靠谱。思绪会前后跑，我要把它拉到此刻。
  • 以后当有任何要焦虑的感觉的时候要问自己一些问题。
    • 我焦虑的具体是什么事
    • 是否存在最后期限，有的话是多久
    • 我最晚什么时候做能保证完成
  • 此外，学会适应自己的状态，而不是去改变。因为我现在暂时改变不了，也可能的确就应该尝试去适应。
    • 比如说在自己脑子放空的时候就去冥想，思维活跃的时候就去工作，还是那句话，适应自己的状态。以及了解新的自己到底是个什么状态。
• 总结自己的一周-两周，然后再去找心理辅导。
• 然后就是静静等待我变好。

https://blog.csdn.net/hanss2
之前在搜401毕业论文Latex模板的时候搜到的这个人。震惊于其的学习效率及博客产出量大质量高。

https://github.com/yihong0618/gitblog
该博客的原作者，同样觉得他的博客更新的很勤。都是很自律的dalao。

我感觉我的人生越过越拧巴。
就好像有一根麻绳把我捆住，当我尝试挣脱的时候，它会越来越紧，一点点勒进我的皮肤。

我摸鱼大概摸了一个月？差不多。这怎么都6月26日了，我什么时候从大连回深圳的我都没印象了。感觉自己好像断片了一个月一样。
7月10日左右好像还有中期，我是不是得准备一下。

这一个月除了玩游戏什么也没做，还有完全的拒绝沟通，拒绝和所有人沟通，所有人，我爸我妈，导师，组里的人，所有所有的人。
我不是故意的，在我内心好像我做错了什么事情一样，我不敢去面对任何人。对不起。

Join the black parade alone.

我突然回想起我上高中的事情，其实我语文成绩突然提高并不一定全是宋词的功劳。还有一个原因是高一的时候我突然开始写日记和qq空间的日志，写很多。说实话那个文笔我看着比我现在好多了，我现在写的啥破流水账。
反正就是综合原因提升的水平吧。

我现在戴着森海的二代大馒头听nightwish的歌，听的是Nemo.感觉还是这个耳机听歌有感觉，虽然戴久了耳朵疼。第一次接触nightwish还是甜咖啡制作的cs的mv。
梦回小学了这波是hhh

我发现一个非常准的评测我是否在状态的指标，就是我不在状态的时候不会听歌。那段时间（几天，几周）都不会听。
一旦我开始想正经的事，我就会开始听歌。

这段时间喜欢在河边坐着，这个坐着的行为与沉迷玩游戏呈现了很明显的反差，说明我在尝试逃离目前的这种断片的状态。

在河边坐着也引申出来了夜跑的想法。上周我的想法是能跑则跑，跑不了走一走也是好的。
这周开始我决定制定目标，比如说穿着我的rider25，这周总共跑10km。

想想高中和大学的自己从来不关注穿的什么鞋，笑死。也是那个时候没胖，光脚跑都没问题。

今晚第一次跑，我得承认我现在是真的跑不动，我跑一公里都费老劲了。今天死活才凑出来2.5km。深刻体会到了什么叫：我胖了，但是我小腿没胖。它撑着以前的我还差不多，现在它真的撑不住啊。
没事，我相信只要开始就会逐渐进步，贵在坚持。而且我虽然跑不动，但好消息是我这两次跑的挺开心的，有点回到之前的感觉。而且每次一开始跑我就会思考人生，嗯，我从小就这样。

I'm in love with my lust,
burning angel wings to dust.
——Wish I had an angel ,Nightwish

这句歌词我可太熟悉了。

我这是意识流写作？感觉内容怎么残缺不堪的。

没事，只要开始做怎么都不晚，对吧。我觉得我还是挺有信心的。

蜂巢行动制定中，好了就会执行。

这个坑遇到过两次了，多卡联合训练的时候模型直接存储会多一个module。很多时候用dataparallel测试不太现实。
解决办法1：

# save model
if num_gpu ==  1:
    torch.save(model.module.state_dict(), 'net.pth')
 else:
    torch.save(model.state_dict(),  'net.pth')

办法2：
把训练好的模型里的model字符删除(我目前用的主要是这种）反正也不麻烦。

pth = torch.load('./626.pth')
from collections import OrderedDict
new_state_dict = OrderedDict()
for k, v in pth.items():
    name =  k[7:] # remove  'module'
    new_state_dict[name]=v
model.load_state_dict(new_state_dict)
model.eval()

原文链接：https://blog.csdn.net/szn1316159505/article/details/129225188

在赶毕业论文，很累
没有光明的未来，甚至都不知道自己的未来。
连行尸走肉都算不上。
我又想hnx了。

也就是说，除了我所谓的挣扎的灵魂，我和我讨厌的这些事情别无二致。
贪吃、肥胖、懒惰、熬夜、注意力不集中，那些我看到的别人的让我厌恶的点，都发生在我身上。
除了所谓的挣扎的灵魂。
他们即是我，我即是他们。

看抖音很多时候是在将自己寄托于别人，希望别人能够帮自己生活。

感觉我们活在一群精神病人给我们编织的世界里。
如果我们喜欢的演员和歌手，他们的品德低下，道德败坏。
那我们喜欢他们什么呢，我们喜欢的是什么。
还是说善恶其实一体。
还是说我们只是借他们之口发疯。
就像我觉得抖音是大部分社畜的精神寄托，帮他们去做他们想做的事情。
终究还是各取所需嘛，我不知道。

我大概是又e了吧。
就像我看的那本书一样，其实根本不存在这层障壁，但我会自己把自己隔绝。

我在一边担心，一边拖延，一边觉得自己又要搞砸所有事。
不知道我还能活多久，下辈子我想当个啥呢？
嗯。。。。我小的时候希望我下辈子能成为一只猫或者狗，在上学的时候可以无忧无虑的在外面逛，享受着美好的天气。

我最近特别想家，不知道为什么。不是想大连，是想富拉尔基。可能因为我在逃避吧。

我希望我能成为一朵生在抑郁中的花，一朵充满痛苦但美丽的花。我要创造属于我的价值。

🔗 BV1mF411F7DT-[12:43]

抑郁情绪会让人丧失思维的客观性，而不是事情的全貌。
如果你觉得你是个失败者，就会不停的寻找论据证明自己失败，但是忽略那些自己还行的证据，比如说有天赋。看到了证据也会觉得无足轻重。

这点我同意，这种抑郁情绪就跟上头一样，比如说前段时间我觉得我对自己做了一个复盘，在这个过程中我发现自己什么都不行。即使别人会跟我说你对idea很敏感，而且思维活跃，但是我会因为没有成果而否定这一点。并且会忽略这些，因为我觉得它根本没有实现出来。而且它并没有什么意义，太虚幻了

长期只有负反馈，生活中就变得挫折（我现在真的这么觉得），从而加强了抑郁情绪。这样会更让我带着负面情绪去看待问题。随着时间变长也会更觉得自己是失败者。这个时候就陷入了认知扭曲，需要做认知矫正。

但是我没那么失败，我需要通过增加积极情绪来抑制消极情绪，这个比例要接近3：1才能达到抑制并变得积极的结果。

不能简单的去抑制消极情绪。那无非是从负分变成0分，而0分依然没有什么意义。只有当是正的分数的时候，才会更好的预防消极情绪，防止再次陷入。

我突然觉得等我扛过这段时间并且找到喜欢的人的时候第一件事情就是大哭一场，我现在根本不敢哭。

这种积极的事情一定是小事
比如说我更瘦了这种行为

如何有积极情绪？

1、写下今天遇到的一件好事
（甚至比如做了一次正念呼吸，学会发掘）

2、记录下事情发生时的心情

有成就感，因为有效，我知道怎么应对焦虑了

3、说明为什么会发生这样的事

我选择去跟着课程去练习

4、如何让这样的好事今后更多的发生
以后可以先试试，不要先根据自己的判断有没有效。

每天坚持记录一到三件好事持续两周，思维就开始从习惯性负面转到正面，等于在做认知调整
这两个例子都是由行为推动产生（不要躺着，你只有行动才会有好的事情），这也是最需要的，多做一些事情来有好的体验
不要躺着，因为情绪会消耗能量，而且啥也不做也很难获得外界正反馈，还会陷入内耗

你需要的其实是通过行动带来外界的正反馈从而调整自己，但是这个正反馈不需要太大
这个正反馈是调整自己看待事物的角度来获得不一样的体验（但是我的理解还是去感知一些小的正反馈，虽然与视频那个例子相悖）
也就会更积极了

当我们将一个目标定位我们的满足点的时候，就会出现对比。
比如说，我拥有一段稳定的亲密关系，我才会快乐。
我有了很大的成果，我才会快乐
然后我就一定会拿现状和经历的事情进行对比，对比会带来差距，这个差距无能为力的时候就会感到绝望。

我现在就是这样，这个点与我的现实有差距，可能不是能力差距，是时间差距。而亲密关系上一次次拒绝会让我感到绝望，也就是完全不知道怎么办的感觉。

哪怕我们暂时没有，我们也有权利（或者说必须）快乐。如果不具备感知快乐的能力，就会把期待寄托到那些大的外界硬性事物上。但是那些事情本身是外部因素，它就不是由自己决定的，那不是你能决定的事情。对结果影响也是有限的。

我在想这和oor的歌里面的歌词矛盾吗，不矛盾。日本人的中二表达的是一种永远不放弃的精神，而没有说在这个过程中我就必须得痛苦。但是它的确过于夸大了目标的重要，这也是日本人又热血又抑郁的原因吧。

如果你的快乐很小，那就会很容易去帮你对抗负面情绪。

最主要的是在这个正反馈的过程中人也会变得更为积极，也就更容易获得你想获得的外部因素。（也就是需要自助）

看重小的幸福和有理想的我绝对不矛盾，它是先因后果的关系。如果没有这样的支撑走不下去

不要总看蝙蝠侠，而且电影和漫画里只是展示出他的光辉神性。我现在已经发现我会陷入情绪了，我就不是那样的人，我就不能按照那样的方法去要求自己。

快乐的到终点和充满痛苦的到终点，如果可以选择的话，那一定是选择前者。前者依然需要奋斗，依然会遇到问题，只是在这个过程中你没有那么煎熬。

我的确是干大事的人，但是如果我不把自己撑起来，我也没法得到我想要的结果，在这个路上我就会倒下。

噢是不是应该换一种思维思考这句话，这个**太悲观了。

我是干大事的人，我需要通过小的正反馈逐步积累让自己变得更强，实现自己的梦想。就跟我大学的时候一样，当我有一个远大目标的时候，要学会倒退，一步一步推到脚面前。当你想实现自己的大目标的时候，也是这个道理，得一步一步走上去。你状态好了，自然会吸引人。不然为什么感觉后期对ly就是一种很奇怪的状态，你说对吧。

我还真不怀疑他这个想法，我之前觉得这很傻，但是我现在很能理解他这个视频。这种感知快乐的能力也是大心脏的一部分。

我们之前想的解压方式是错的，它们并没有真正考虑抑郁情绪的核心，只是单纯的抑制抑郁情绪。

让自己更整洁也是正面情绪，感觉自己更帅了一点

我感觉我是能进行自我调节的，但是我目前主要问题是抗压的时候，所以减少负面情绪。

我想先讲两个lemma，这是我从小就相信的故事。当然这个小指的是高中大学时期。这两个故事引导了我很长一段时间的行事风格。
1.古德里安是我很喜欢的一个二战将领，我很欣赏他的指挥理念及风格。我很喜欢他的一句话

疑虑是经常会产生的。如果撇开疑虑不管，只有能在任何条件下当机立断、大胆行动的人才能取得胜利。我们的后代宁肯原谅错误行动，也不赞成无所作为。

我当年甚至在高中语文课上都把这句话分享到班级里，嗯语文老师居然没打我，还让大家一起读，嗯对我还是真的宽容啊。。。

2.很久以前我看过一个故事，而且对我一直有很大的影响。

曾经有这样一只狼，每天都卧在草上，勤奋的磨牙。有一天狐狸看到了，就对他说：“天气这么好，大家在休息娱乐，你也加入我队伍中吧！”野狼没有说话，继续磨牙，把他的牙齿磨得又尖又利。狐狸奇怪的问道：“森林这么静，猎人和猎狗已经回家了，老虎也不在这里徘徊，又没有任何危险，你何必那么用劲磨牙呢？”野狼停下来回答说：“我磨牙并不是为了娱乐，你想想，如果有一天我被猎人或老虎追逐，到那时，我想磨牙也来不及了。而平时我把牙磨好，到那时就可以保护自己了。”

如果说真正改变我整个人的节点就是成立 LC。听着也觉得有点可笑，这都五年前的事情了，我怎么还会想到这件事，然后打算把一切都归结到它上？
但我并不打算那么做，那是逃避，我只是在进行自我剖析的时候，发现它真的是对我极其重要的一个时间节点。或者说我的人生从它之后开始改变。

在我大一的时候，首先有着极强的个人成就动机，原因也非常单纯，我希望能够证明我能配得上我喜欢的女生。嗯，在这个动机的驱使下，我去思考如何赚钱，正赶上互联网的好时候，我开始研究做应用。然后发现做个软件/应用/网站似乎并不难， 而且很快做出来一个，在我做完第一版并投入应用市场以后，我印象很深，那是一个11 点多还是 12 点多的半夜。我坐在椅子上开始陷入沉思，做一个应用就这么简单？那我大学到底是要学什么。。。
这大概是我的第一次龙场悟道。我觉得其实没什么结果。但是很幸运的是那个时候刚刚出现一个应用叫开发者头条（掘金都是后面的事情了），我第一次打开它的时候，我印象同样十分深刻，别说文章了，我连标题都看不懂。但是幸运得是文章都还算比较通俗，一边百度一边看，我当时眼界进展飞快。
结果就是，那我应该去学一些跟计算机有关的基础知识，比如说操作系统到底是什么，比如说数据库的原理，比如说。
也通过头条发现了很多技术公众号，比如老王。那个时候的公众号和现在的不一样，内容的确算是很硬核。很多文章现在看都是非常不错的。
然后我就开始学编程语言，Java 和 C#一起看，Ruby 和 Python 也是，也算是同时在学四门语言？hhh
在这个过程中，我意识到了要学的应该是计算机的那些基础知识，比如说，操作系统，数据库的实现这些。它们有非常优秀的设计思路，而且这些**长久不衰，被广泛运用到各种应用层的程序上。
就像一丑说的，我从前端入门，但离前端一直是越来越远。的确，从我入门之后，我几乎再也没认真研究过前端知识了。大三用 Vue 做了个前端应用的课设，再就没有去做过什么正经的东西了。
跑题啦，其实这段跑题主要是想说我的第二个动机：在逐渐学习的过程中，我找到了学习的乐趣。在我不喜欢她以后，第一个成功动机就这样被替代掉了.

建立LC给我带来了极强的成就动机，但是在这个事情结束之后，空虚感会遍布全身。再加上谈个并不算成功的恋爱，继续磨灭掉身上的锐气。

那么我后面为什么变了呢？我觉得是因为我迷失了自己。我经常不会再认真的思考自己.
LC散了之后我好像失去了很多意义。大概就是那个时候开始的。

原来我已经迷茫了 5 年，或者说逃避了 5 年。仔细想想，我现在最骄傲的事情，还是成立这个社团，换句话说，这五年并没有什么事情能够真的让我满意，过得很浑浑噩噩大概.

说实话，我觉得之前这段恋爱谈的也是失败的。在之前我认为一个好的恋爱关系是会让双方共同进步的，但是很显然它没做到。

想想的确是这样，当时说是考研的我却天天摸鱼，在北京和深圳读研的时候间歇性的灵光一闪，大部分时间还是在摸鱼。我一天能有 60%的时间在摸鱼？我觉得远不止。

这导致这 5 年内我当然会有一些进步和改变，但不多。所以这 5 年对我来说其实是停滞的，我没什么进步。心智有成长吗？似乎也没有。

当你现在什么都不好的时候，不要去尝试做一些事情，
听起来似乎和我从小的观点并不一致。我一直信奉的就是执行力。

我知道不会有人看我的博客，尤其是这样的主观因素过于明显的文章。
如果真的有人认真阅读了这篇文字，请你务必告诉我，我会感到非常的荣幸。

去年年底的时候做了一个AI-ISP的项目，我负责的是raw域的去噪。与我们常见的ai算法不同，它是直接作用于相机原始数据的，更偏向底层数据处理，这也让我在做的过程中也对ISP部分有了一点了解。在这里写下一个入门笔记，仅供参考。

从宏观角度来讲，我们看到的照片通常经历了如下一个流程：光通过镜头打到CMOS传感器上-》得到原始数据（Bayer Mosaic）-》Demosaic-》白平衡，Gamma校正...-》出图

光打到CMOS传感器上

这个地方我特意提到了光打到CMOS传感器上，因为这是radiation noise形成的主要原因，而这与我后面要做的项目密切相关。

Bayer Raw

raw格式文件通常是照片的原始文件，它是Bayer Mosaic的，可以简单理解为它并不是以RGB格式存储的，而是以RGGB/BGGR/RGBG...等方式进行存储的。当拍摄彩色图像的时候，最朴素的采样逻辑是用多块单色滤镜（红绿蓝三原色）拍摄单色图像，然后组合成一副彩色图像。但是这样造假高，而且必须要保证滤镜的位置完全对齐，不然一旦有像素偏差就会出现重影。Bayer则只用了一块滤镜，在不同位置设置不同的颜色，由于人眼对绿色比较敏感，所以绿色用的更多（这也解释了为什么Bayer Raw的格式里面都有两个Green,同时解释了demosaic之后的图片是绿色的）。
RGGB这只是滤色矩阵的编码方式，指的是一个2*2的像素方阵里各个颜色的顺序。直接附上一张图比较清晰。

Demosaic

为了将Bayer Raw重建为我们熟悉的RGB图像，需要对图像中的每一个像素点进行插值, 利用其周围像素点的色彩值来估计出缺失的另外两个色彩值, 最终得到一个每个像素点包含红、绿、蓝三个像素值的全彩色图, 这个过程就叫做Demosaic。如果使用了与滤色矩阵不适配的demosaic方法将会转出很奇怪的结果，轻则颜色错误，重则全是马赛克。opencv里有demosaic算法可以直接调用。这个阶段之后，图片就成为我们平时场景的格式了。在这个基础上再进行awb等操作。

对于正常相机拍出来的raw图片，通常可以使用rawpy进行直接读取并进行后处理，直接得到全彩色图像。而对于那种没有数据头的纯数据图像，可以使用numpy进行读取，然后用opencv做demosaic得到全彩色图像，然后再另寻办法做awb等后处理操作。关于raw格式图片的读取，通常有raw8，raw10，raw12，raw14，raw16这些格式。其实就是每一个像素值占多少位。而这里存在一些问题，比如用numpy进行文件读取的时候只有uint8和uint16，对于其他格式没法直接读取。我自己测试的结果是12位可以用uint16直接读，但是10位就会出问题。虽然raw的位数有很多种，但是处理起来其实很简单。最简单的处理方法就是直接扩大位数，以raw8转raw10为例，只需要对所有数据*4（也就是2的2次方）即可。而10位转8位只需要/4就可以。这样可以将图片全都转到raw8来处理，当然其他格式之间也可以互相转。raw8是最常用的，因为opencv显示图片之类的方法默认只支持8位图像。其实这个操作我觉得很像normalize之后再还原回去。

有一个坑就是如果使用m1版的conda是装不了rawpy的，pip会提示找不到。这不是你的问题，我扫了一眼github貌似是不推荐在m1版上使用。

关于使用numpy+opencv处理图像以及raw格式转换附上一个参考代码

import numpy as np
def raw_convert(raw,source,target):
    return raw*np.power(2,float(target-source)).astype(np.uint16)
def read_raw(file_name,shape):
    # 从raw文件中读取数据
    data = np.fromfile(file,dtype="uint16")
    data.resize(shape)
    return data
def raw2png(raw,path)
    dst=cv2.cvtColor(raw.astype("uint8"), cv2.COLOR_BayerBG2BGR)#我之前看文档，这一步应该直接就做demosaic了
    cv2.imwrite(str(path), dst)

Bayer格式之间互转

参考这个库https://github.com/Jiaming-Liu/BayerUnifyAug
**由于算法的关系（具体可以看仓库指向的论文）Bayer互转后分辨率会稍有变化，当你在numpy resize的时候格式不再是原来分辨率。可以在转完之后直接print一下现在的shape

Many nouns are also used in course "Parallel Computing"

parser = argparse.ArgumentParser()
parser.add_argument("--local_rank", default=-1)
FLAGS = parser.parse_args()
local_rank = int(FLAGS.local_rank)

# 新增3：DDP backend初始化
#   a.根据local_rank来设定当前使用哪块GPU
torch.cuda.set_device(local_rank)
#   b.初始化DDP，使用默认backend(nccl)就行。如果是CPU模型运行，需要选择其他后端。
dist.init_process_group(backend='nccl')
device = torch.device("cuda", local_rank)
model=SimpleNet().to(device) #init model
model = DDP(model, device_ids=[local_rank], output_device=local_rank)  #use DDP

and then,must use distributedsampler,distribute different data to each process.

train_sampler  = torch.utils.data.distributed.DistributedSampler(train_dataset)

use one process to save model

if dist.get_rank()==0:
    meg.save(model.module, save_path+str(cur_epoch)+ ".pth")

then should use barrier?I've no idea.