I need a proposal written for a Master’s Thesis on Efficient Training of Remote Sensing Neural Networks. The proposal should be similar in format and length to the attached example proposal. The project should be centered on Visual Prompting and Linear Probing. The idea is to use the methods here https://arxiv.org/pdf/2203.17274.pdf to try and train a model using visual prompting, such that if we do not have access to the original model, we can still use it and get results other than what the model normally outputs, using techniques such as visual prompting or linear probing. Also, for this proposal, there should be a section for some results on training the code in https://hjbahng.github.io/visual_prompting/ which is in the above link on a new remote sensing dataset (I can provide some of these datasets or you can look for some).

Here’s some more information on the main project:

Abstract/Summary (max. 10 lines)

Remote sensing images pose unique challenges for traditional image processing and computer vision operations. The datasets are often limited in size, and the resolution of these images is significantly different than typical photographic images. In this research project, you will develop novel methods that improve the training of neural networks used to analyze and understand remote sensing images. 

Problem Statement, Challenges and Potential Benefits

Over the past decade, deep learning methods have demonstrated superior performance in many traditional computer vision applications, including object classification, detection, and semantic segmentation. Deep learning methods automatically derive features tailored for the targeted classification tasks, making such methods better for handling complicated scenarios. Deep learning methods were extended to solve remote sensing problems achieving impressive performance gains. However, several characteristics of remote sensing images pose unique challenges to deep learning methods [1]. For example, remote sensing datasets are limited in size, and their resolution is significantly different than everyday images. In this project, you will develop new systems for training deep learning networks that utilize the recent developments in computer vision, like visual prompting [2] and self-supervised learning [3]. Visual prompting allows efficient knowledge transfer from a large-scale dataset like CLIP [4] to downstream tasks. And self-supervised learning enables the encoding of different relationships between samples in the dataset. Some application areas we will consider are remote sensing scene classification [5] and segmentation [6]. 

Desirable Outcomes and Deliverables

– Systems for the efficient training and analysis of remote sensing images.

– Publications in relevant conferences/journals

Key References (max. 10)

[1] Ball, John E., Derek T. Anderson, and Chee Seng Chan Sr. “Comprehensive survey of deep learning in remote sensing: theories, tools, and challenges for the community.” Journal of applied remote sensing 11, no. 4 (2017): 042609.

[2] Bahng, H., A. Jahanian, S. Sankaranarayanan, and P. Isola. “Exploring Visual Prompts for Adapting Large-Scale Models.” arXiv preprint arXiv:2203.17274 (2022): 2022.

[3] Jaiswal, Ashish, Ashwin Ramesh Babu, Mohammad Zaki Zadeh, Debapriya Banerjee, and Fillia Makedon. “A survey on contrastive self-supervised learning.” Technologies 9, no. 1 (2020): 2.

[4] Radford, Alec, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry et al. “Learning transferable visual models from natural language supervision.” In International Conference on Machine Learning, pp. 8748-8763. PMLR, 2021.

[5] Wang, Weiquan, Yushi Chen, and Pedram Ghamisi. “Transferring CNN With Adaptive Learning for Remote Sensing Scene Classification.” IEEE Transactions on Geoscience and Remote Sensing 60 (2022): 1-18.

[6] AlMarzouqi, Hasan, and Lyes Saad Saoud. “Semantic Labeling of High Resolution Images Using EfficientUNets and Transformers.” arXiv preprint arXiv:2206.09731 (2022)