现aoce_vulkan_extra把GPUImage里从P到Z的大部分滤镜用vulkan的ComputeShader实现了,也就是最后一部分的移植,整个过程相对前面来说比较简单,大部分我都是直接复制以前的实现改改就行了,还是列一些说明.
PerlinNoise 柏林燥声生成一张静态图
柏林燥声的原理网上很多讲解的,用于生成平滑的图案,其实可以稍微改下,如加个如时间戳,就可变成一张平滑的动态图.
PinchDistortion 收缩,凹面镜
实现类似BulgeDistortion(鱼眼效果),都是针对UV变形,BulgeDistortion在设定圆心处UV缩小,意思在原圆心处相同的地方取更近的像素,这样就导致图像看起来向外扩张.
而PinchDistortion在设定圆心处,周边UV放大,意思在圆心处相同的地方取更远的UV像素,就导致图像看起来向里缩.
PoissonBlend 泊松融合
GPUImage的实现应该是一种简化实现,后面会移植按上面原理求泊松重建方程的实现.
现暂时按照GPUImage里来实现,他的实现比较简单,唯一麻烦的,需要第一张输入图与输出图Ping-pong来回处理,不同于前面savefamelayer的实现,他需要在一桢中来回循环读写,刚开始想的是如何把当前索引当做UBO传入shader,但是在一桢中把一个UBO更新多次,首先不知道能否这样实现,就算能,这种实现并不好,在这引入Vulkan里的PushConstant的概念,能完美解决这个问题,首先vkCmdPushConstants也是插入到CommandBuffer中,在提交给GPU的时候,也是确定的数值,这样每桢多次循环就可以用PushConstant来表明对应次数.感觉在渲染一批次多模型时用来指定索引也不错啊.
void VkPoissonBlendLayer::onCommand() { // ping-pong 单数次 paramet.iterationNum = paramet.iterationNum / 2 * 2 + 1; for (int32_t i = 0; i < paramet.iterationNum; i++) { int32_t pong = i % 2; inTexs[0]->addBarrier(cmd, VK_IMAGE_LAYOUT_GENERAL, VK_PIPELINE_STAGE_COMPUTE_SHADER_BIT, VK_ACCESS_SHADER_READ_BIT); inTexs[1]->addBarrier( cmd, VK_IMAGE_LAYOUT_GENERAL, VK_PIPELINE_STAGE_COMPUTE_SHADER_BIT, pong == 0 ? VK_ACCESS_SHADER_READ_BIT : VK_ACCESS_SHADER_WRITE_BIT); outTexs[0]->addBarrier( cmd, VK_IMAGE_LAYOUT_GENERAL, VK_PIPELINE_STAGE_COMPUTE_SHADER_BIT, pong == 0 ? VK_ACCESS_SHADER_WRITE_BIT : VK_ACCESS_SHADER_READ_BIT); vkCmdPushConstants(cmd, layout->pipelineLayout, VK_SHADER_STAGE_COMPUTE_BIT, 0, sizeof(int32_t), &pong); vkCmdBindPipeline(cmd, VK_PIPELINE_BIND_POINT_COMPUTE, computerPipeline); vkCmdBindDescriptorSets(cmd, VK_PIPELINE_BIND_POINT_COMPUTE, layout->pipelineLayout, 0, 1, layout->descSets[0].data(), 0, 0); vkCmdDispatch(cmd, sizeX, sizeY, 1); }}
#version 450layout (local_size_x = 16, local_size_y = 16) in;// gl_WorkGroupSizelayout (binding = 0, rgba8) uniform image2D inTex;layout (binding = 1, rgba8) uniform readonly image2D inTex1;layout (binding = 2, rgba8) uniform image2D outTex;layout (std140, binding = 3) uniform UBO { float percent;} ubo;layout(push_constant) uniform pushBlock { int pong;} constBlock;const ivec2 centerT[4] = { ivec2(1,0), ivec2(-1,0), ivec2(0,1), ivec2(0,-1)};void main(){ ivec2 uv = ivec2(gl_GlobalInvocationID.xy); ivec2 size = imageSize(inTex); if(uv.x >= size.x || uv.y >= size.y){ return; } vec4 center = vec4(0); if(constBlock.pong == 0){ center = imageLoad(inTex,uv); }else{ center = imageLoad(outTex,uv); } vec4 center1 = imageLoad(inTex1,uv); vec4 sum = vec4(0); vec4 sum1 = vec4(0); for(int i = 0; i < 4; i++){ ivec2 cuv = uv + centerT[i]; cuv = max(ivec2(0),min(cuv,size)); if(constBlock.pong == 0){ sum += imageLoad(inTex,cuv); }else{ sum += imageLoad(outTex,cuv); } sum1 += imageLoad(inTex1,cuv); } vec4 mean = sum / 4.0; vec4 diff1 = center1 - sum1 /4.0; vec4 grad = mean + diff1; vec4 result = vec4(mix(center.rgb,grad.rgb,center1.a * ubo.percent),center.a); if(constBlock.pong == 0){ imageStore(outTex,uv,result); }else{ imageStore(inTex,uv,result); }}
在N卡2070上,一次迭代在0.2-0.3ms之间.
这个后面在内部又加了一个节点,用来保存第一个输入,应该这个层会改变第一个输入的内容,而别的层可能还需要这个输入,所以添加一层保存第一层输入.
PrewittEdgeDetection
和SobelEdgeDetection没多大区别,算子不同,其实算子区别也不大,垂直与水平的正对方向上一个是1,一个是2,别的都没啥区别.
RGBDilation/RGBErosion
把原来的Dilation/Erosion的glsl文件添加下编译符,针对处理下,取第一个横向的代码贴出来.
#version 450layout (local_size_x = 16, local_size_y = 16) in;// gl_WorkGroupSize#if CHANNEL_RGBAlayout (binding = 0, rgba8) uniform readonly image2D inTex;layout (binding = 1, rgba8) uniform image2D outTex;#elif CHANNEL_R8layout (binding = 0, r8) uniform readonly image2D inTex;layout (binding = 1, r8) uniform image2D outTex;#endiflayout (binding = 2) uniform UBO { int ksize; } ubo;#if EROSION #define OPERATE min #if CHANNEL_RGBA #define INIT_VUL vec4(1.0) #elif CHANNEL_R8 #define INIT_VUL 1.0f #endif#endif#if DILATION #define OPERATE max #if CHANNEL_RGBA #define INIT_VUL vec4(0.0) #elif CHANNEL_R8 #define INIT_VUL 0.0f #endif#endif#if IS_SHARED// 限定最大核为32#if CHANNEL_RGBA shared vec4 row_shared[16][16*3];#elif CHANNEL_R8 shared float row_shared[16][16*3];#endifvoid main(){ ivec2 uv = ivec2(gl_GlobalInvocationID.xy); ivec2 size = imageSize(inTex); if(uv.x >= size.x || uv.y >= size.y){ return; } ivec2 locId = ivec2(gl_LocalInvocationID.xy); for(int i = 0; i < 3; i++){ uint gIdx = max(0,min(uv.x+(i-1)*16,size.x-1)); #if CHANNEL_RGBA row_shared[locId.y][locId.x + i*16] = imageLoad(inTex,ivec2(gIdx,uv.y)); #elif CHANNEL_R8 row_shared[locId.y][locId.x + i*16] = imageLoad(inTex,ivec2(gIdx,uv.y)).r; #endif } memoryBarrierShared(); barrier(); #if CHANNEL_RGBA vec4 result = INIT_VUL; #elif CHANNEL_R8 float result = INIT_VUL; #endif for(int i =0; i < ubo.ksize; i++){ int ix = locId.x - ubo.ksize/2 + i; #if CHANNEL_RGBA vec4 fr = row_shared[locId.y][16 + ix]; result = OPERATE(fr,result); #elif CHANNEL_R8 float fr = row_shared[locId.y][16 + ix]; result = OPERATE(fr,result); #endif } imageStore(outTex, uv, vec4(result)); }#elsevoid main(){ ivec2 uv = ivec2(gl_GlobalInvocationID.xy); ivec2 size = imageSize(inTex); if(uv.x >= size.x || uv.y >= size.y){ return; } #if CHANNEL_RGBA vec4 result = INIT_VUL; #elif CHANNEL_R8 float result = INIT_VUL; #endif for(int i = 0; i< ubo.ksize; ++i){ int x = uv.x-ubo.ksize/2+i; x = max(0,min(x,size.x-1)); #if CHANNEL_RGBA vec4 r = imageLoad(inTex,ivec2(x,uv.y)); result = OPERATE(result,r); #elif CHANNEL_R8 float r = imageLoad(inTex,ivec2(x,uv.y)).r; result = OPERATE(result,r); #endif } imageStore(outTex, uv, vec4(result)); }#endif
下面对应的Closing/Opening都不用改,加个参数表示是R8/RGBA8就行.
ShiTomasiFeatureDetection
和Noble角点检测一样,都和修改HarrisCornerDetection中的角点计算方式,别的流程一样.
SingleComponentGaussianBlur 单通道高斯模糊
在最开始设计GaussianBlur时,就支持R8/RGBA8/RGBA32F这几种,要添加也只需要修改glsl的编译符,添加对应逻辑就行.
SobelEdgeDetection/Sketch Sobel边缘检波/草图素描效果
SobelEdgeDetection利用Sobel算子计算边缘,而Sketch就是SobelEdgeDetection结果的反转.
下面的ThresholdEdgeDetection/ThresholdSketch在这二个基础上加了个Threshold用来确定结果是0还是1.
SmoothToon 高斯模糊后的卡通效果
Toon是卡通效果,而SmoothToon就是先对输入图像高斯模糊后,然后再应用卡通效果.
VoronoiConsumer 接收Voronoi映射,并使用该映射过滤传入的图像
二个输入,第二个输出需要长宽同为2^n的相同整数,根据第一张图中的UV,对应第二张图中的值,生成一个UV,然后取第一张图值,有点类似lookup映射.
ZoomBlur 将定向运动模糊应用于图像
实现大致同MotionBlur,取周边点的算法稍微不同.
中间没有移植的滤镜统计
- GPUImageParallelCoordinateLineTransform,同上篇文章里的LineGenerator,还没找到合适的使用GPGPU高效画线方法.
- GPUImageSolidColorGenerator,在vulkan里,完全可以用vkCmdClearColorImage替换,效率更高,封装实现方法就在基类VkLayer::clearColor里.
- GPUImageToneCurveFilter暂时不移植.看实现有点类似Lookup,但是需要根据传入的数据生成一张查找表.
- GPUImageTransformFilter GPUImage利用顶点着色器,可以进行更多视角转换,现aoce_vulkan模块里有上下,左右,以及90/270转换,这个后面再仔细考虑下如何完善.
归类
让GPUImage里根据里分四类,在API导出头文件VkExtraExport.hpp里根据这四类重新排下,加下注释,如果更新参数是结构,相应结构添加下对应每个参数注释.
在其layer文件夹,对多个类进行合并,如几乎所有混合模式的类,实现都在glsl上,几乎不需要针对基类VkLayer做任何修改,所以都合并在VkBlendingModeLayer文件里,色彩调整/视觉效果也合并一些普通的类在对应的VkColorAdjustmentlayer/VkVisualEffectLayer中,而图像处理的类相对来说会复杂点,大部分都是分散到各个集合中,如其中的Dilation/Erosion/Closing/Opening合并到VkMorphLayer文件中,边缘检测的几个类实现在VkEdgeDetectionLayer中.